• 제목/요약/키워드: 유전체 데이터 전처리

검색결과 3건 처리시간 0.022초

빅데이터 및 고성능컴퓨팅 프레임워크를 활용한 유전체 데이터 전처리 과정의 병렬화 (Parallelization of Genome Sequence Data Pre-Processing on Big Data and HPC Framework)

  • 변은규;곽재혁;문지협
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제8권10호
    • /
    • pp.231-238
    • /
    • 2019
  • 차세대 염기 서열 분석법이 생성한 유전체 원시 데이터를 기존의 방식대로 하나의 서버에서 분석하기 위해서는 데이터 크기에 따라 수십 시간이 필요할 수 있다. 그러나 응급 환자의 진단처럼 수 시간 내에 결과를 알아야 하는 상황이 존재하기 때문에 단일 유전체 분석의 성능을 향상시킬 필요가 있다. 본 연구에서는 빅데이터 기술의 병렬화 기법과 고속의 네트워크로 연결되고 병렬파일시스템을 공유하는 고성능컴퓨팅 클러스터를 적극적으로 활용하여 분석 시간을 크게 단축시킬 수 있는 유전체 데이터 분석의 전처리 프로세스의 병렬화 방법을 제안한다. 분석 데이터의 신뢰성을 위해 기존의 검증된 분석 도구 및 알고리즘을 새로운 환경에 맞게 병렬화 하는 전략을 선택하였다. 프로세스의 병렬화, 데이터의 분배 및 병렬 병합 기법을 개발하였고 실험을 통해 성능 향상을 확인하였다.

고성능 클러스터와 분산 병렬 파일 시스템을 이용한 유전체데이터 전처리 작업의 효율적인 병렬화 기법 (An Efficient Parallelization Mechanism for Preprocessing of Genome Sequence Data on HPC environment)

  • 변은규;문지협;곽재혁
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 추계학술발표대회
    • /
    • pp.50-53
    • /
    • 2018
  • 차세대 염기서열 분석법이 생성한 유전체 원시 데이터를 기존의 방식대로 하나의 서버에서 분석하기 위해서는 수십 시간이 필요할 수 있고 이러한 시간을 최대한 줄여야 하는 응급 상황도 존재한다. 따라서 본 연구에서는 고속의 네트워크로 연결되고 병렬 파일 시스템을 공유하는 서버 클러스터를 활용하여 분석 시간을 크게 단축 시킬 수 있는 유전체 데이터 분석의 전처리 프로세스의 병렬화 방법을 제안한다. 기존의 검증된 분석도구를 기반으로 프로세스의 병렬화, 데이터의 분배 및 병렬 병합 기법을 개발하였고 실험을 통해 성능을 향상 시킬 수 있음을 증명하였다.

유전체 데이터의 유래(Provenance) 관리를 위한 메타데이터의 설계 (Design of Metadata for Provenance Management of Genome Data)

  • 송명선;장재우;엄정호;최동훈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.1195-1198
    • /
    • 2011
  • 최근 의료 분야에 대한 관심이 높아짐에 따라 유전체 데이터를 수집하고 관리하여 분석하는 기술에 대한 많은 연구가 수행되고 있다. 유전체 데이터는 크게 유전체 데이터를 분석하는 전처리단계와 유전체 데이터로부터 변이된 유전체 데이터를 생성하는 후처리단계를 통해 분석된다. 이러한 분석 과정은 많은 시간이 소요되며, 후처리단계에서 결과 데이터는 분석 알고리즘 및 처리 기법에 따라 상이한 결과 데이터를 생성한다. 또한, 유전체 데이터의 각 파이프라인 별 분석된 데이터의 관리가 필요하다. 본 논문에서는 유전체 데이터의 특성을 고려하여, 유전체 데이터 유래 관리를 위한 메타데이터를 설계한다. 아울러 데이터 유래 메타데이터는 자신의 이전데이터들의 결과데이터에 신속한 접근이 가능해야하며, 자신과 유사한 데이터 유래를 지닌 파이프라인의 상세 정보를 신속하게 검색하는 색인구조가 필요하다. 따라서 이를 고려한 유래 메타데이터 검색 알고리즘을 설계한다.