• 제목/요약/키워드: partitions

검색결과 449건 처리시간 0.03초

Apache Spark을 이용한 병렬 DNA 시퀀스 지역 정렬 기법 구현 (Implementation of Parallel Local Alignment Method for DNA Sequence using Apache Spark)

  • 김보성;김진수;최도진;김상수;송석일
    • 한국콘텐츠학회논문지
    • /
    • 제16권10호
    • /
    • pp.608-616
    • /
    • 2016
  • Smith-Waterman(SW) 알고리즘은 DNA 시퀀스 분석에서 중요한 연산 중 하나인 지역 정렬을 처리하는 알고리즘이다. SW 알고리즘은 동적 프로그래밍 방법으로 최적의 결과를 도출할 수 있지만 수행시간이 매우 길다는 문제가 있다. 이를 해결하기 위해서 다수의 노드를 이용한 병렬 분산 처리 기반의 SW 알고리즘이 제안되었다. Apache Spark을 기반으로 하는 병렬 분산 DNA 처리 프레임워크인 ADAM에서도 SW 알고리즘을 병렬로 처리하고 있다. 하지만, ADAM의 SW 알고리즘은 Smith-Waterman 이 동적프로그래밍 기법이라는 특성을 고려하지 않고 있어 최대의 성능을 얻지 못하고 있다. 이 논문에서는 ADAM의 병렬 SW 알고리즘을 개선한다. 제안하는 병렬 SW 기법은 두 단계에 걸쳐 실행된다. 첫 번째 단계에서는 지역정렬 대상인 DNA 시퀀스를 다수의 파티션(partition)으로 분할하고 분할된 각 파티션에 대해서 SW 알고리즘을 병렬로 수행한다. 두 번째 단계에서는 파티션 각각에 대해서 독립적으로 SW를 적용함으로써 발생하는 오류를 보완하는 과정을 역시 병렬로 수행한다. 제안하는 병렬 SW 알고리즘은 ADAM을 기반으로 구현하고 기존 ADAM의 SW와 비교를 통해서 성능을 입증한다. 성능 평가 결과 제안하는 병렬 SW 알고리즘이 기존의 SW에 비해서 2배 이상의 좋은 성능을 내는 것을 확인하였다.

상용 데이타 마이닝 도구를 사용한 정량적 연관규칙 마이닝 (Mining Quantitative Association Rules using Commercial Data Mining Tools)

  • 강공미;문양세;최훈영;김진호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권2호
    • /
    • pp.97-111
    • /
    • 2008
  • 상용 데이타 마이닝 도구에서는 기본적으로 이진 속성에 대한 연관규칙 마이닝만을 지원한다. 그러나, 일반적인 트랜잭션 데이타베이스는 이진 속성 뿐 아니라 정량적 속성을 포함한다. 이에 따라, 본 논문에서는 상용 데이타 마이닝 도구를 사용하여 정량적 연관규칙을 마이닝하는 체계적인 접근법을 제안한다. 이를 위해, 우선 상용 데이타 마이닝 도구를 사용하여 정량적 연관규칙을 찾아내기 위한 전체적인 프레임워크를 제안한다. 제안한 프레임워크는 정량적 속성을 이진 속성으로 변환하는 전처리 과정과 마이닝된 이진 연관규칙을 다시 정량적 연관규칙으로 변환하는 후처리 과정으로 구성된다. 다음으로, 전처리 과정을 위한 구간 분할의 개념을 제시하고, 기존의 평균 및 중앙치 기반 양분할 기법과 동일 너비 및 동일 깊이 기반 다분할 기법을 구간 분할의 개념으로 정형적으로 재정의한다. 그런데, 이들 기존 분할 기법은 속성 값의 분포를 고려하지 않은 문제점이 있다. 본 논문에서는 이를 해결하기 위하여 표준편차 최소화 기법을 제안한다. 표준편차 최소화 기법은 이웃한 속성 값의 표준편차 변화가 작다면 동일한 구간에 포함시키고, 표준편차 변화가 크다면 다른 구간으로 분할하는 매우 직관적인 분할 기법이다. 또한, 후처리 과정으로는 이진 연관규칙들을 통합하고 이를 다시 정량적 연관규칙으로 변환하는 방법을 제안한다. 마지막으로, 다양한 실험을 통하여 제안한 프레임워크가 바르게 동작함을 보이고, 표준편차 최소화 기법이 다른 기법에 비하여 우수함을 입증한다. 이 같은 결과를 볼 때, 제안한 프레임워크는 일반 사용자가 상용 데이타 마아닝 도구를 사용하여 정량적 연간규칙을 쉽게 마이닝 할 수 있는 매우 실용적인 접근법이라 생각한다.

요약된 Partitioned-Layer Index: Partitioned-Layer Index의 임의 접근 횟수를 줄이는 Top-k 질의 처리 방법 (Abstracted Partitioned-Layer Index: A Top-k Query Processing Method Reducing the Number of Random Accesses of the Partitioned-Layer Index)

  • 허준석
    • 한국멀티미디어학회논문지
    • /
    • 제13권9호
    • /
    • pp.1299-1313
    • /
    • 2010
  • Top-k 질의는 데이터베이스에서 사용자가 가장 원하는 k개의 객체를 구하는 질의이다. Top-k 질의를 효율적으로 처리하는 대표적인 연구로 Partitioned-Layer Index (간단히, PL-index) 방법이 있다. PL-index는 데이터베이스를 여러 개의 더 작은 데이터베이스로 분할하고 각 분할된 데이터베이스에 대해 sublayer들의 list (간단히, sublayer list)를 구성한다. 이때, 분할된 데이터베이스에 대해서 top-i 결과가 될 수 있는 객체들을 그 분할된 데이터베이스에 대한 i번째 sublayer로 구성한다. 그리고 주어진 질의에 맞춰 그 sublayer list들을 병합함으로써 질의 결과를 구한다. PL-index는 질의 처리 시 데이터베이스로부터 읽어 들이는 객체의 개수가 매우 작다는 장점을 가지지만, sublayer list들을 병합할 때에 임의 접근(random access)이 많이 발생하기 때문에 디스크 기반의 데이터베이스 환경에서 질의 처리 성능이 저하된다. 이에 본 논문에서는 임의 접근 횟수를 줄임으로써 디스크 기반의 데이터베이스 환경에서 PL-index의 질의 처리 성능을 크게 향상시키는 요약된(Abstracted) Partitioned-Layer Index (간단히, APL一index)를 제안한다. 먼저, PL-index의 각 sublayer를 가상의 (점) 객체로 요약함으로써 sublayer list들을 이러한 점 객체들의 list들(즉, APL-index)로 변형한다. 그리고 APL-index에 대해 질의 처리를 가상으로 수행하여 실제 질의 처리 시 접근할 sublayer를 예측한다, 그리고 예측된 sublayer들을 sublayer list별로 한꺼번에 읽어 들임으로 PL-index에서 발생하는 임의 접근 횟수를 줄인다. 합성 데이터와 실제 데이터에 대한 실험을 통하여 제안한 APL-index가 PL-index의 임의 접근 횟수를 크게 줄일 수 있음을 보인다.

다중 방송 채널에 데이터 할당을 위한 두 단계 저장소-적재 알고리즘 (Two Level Bin-Packing Algorithm for Data Allocation on Multiple Broadcast Channels)

  • 권혁민
    • 한국멀티미디어학회논문지
    • /
    • 제14권9호
    • /
    • pp.1165-1174
    • /
    • 2011
  • 데이터 방송 시스템에서 서버는 방송 채널을 통하여 데이터들을 지속적으로 전파하고, 이동 클라이언트는 자신이 원하는 데이터가 방송 채널에 나타나기를 기다리기만 하면 된다. 그러나 방송 채널은 많은 데이터들에 의해 공유되어야 하므로, 원하는 데이터를 수신하기까지 예상 지연시간이 증가할 수 있다. 본 논문은 전체 데이터들의 예상 지연시간을 최소화하기 위하여 다중 방송 채널에 적절하게 데이터를 할당하기 위한 주제를 연구하여 TLBP(Two Level Bin-Packing)로 명명된 새로운 데이터 할당 기법을 제안한다. 본 논문은 우선 평균 예상지연시간의 이론적 하한 값을 소개하고, 이 값에 기초하여 저장소의 용량을 결정한다. TLBP 기법은 저장소-적재 알고리즘을 이용하여 전체 데이터들을 다수 개의 그룹으로 분할하고, 각 그룹의 데이터들을 각 채널에 배정한다. TLBP는 저장소-적재 알고리즘을 두 단계로 적용함에 의해, 동일 방송 채널에 할당된 데이터들의 액세스 확률의 차이를 방송 스케줄에 반영할 수 있어 성능을 향상시킬 수 있다. TLBP와 세가지의 기존 기법과 성능을 비교하기 위하여 시뮬레이션이 수행되었다. 시뮬레이션 결과에 의하면 TLBP는 합리적인 실행부담을 가지면서도 평균 예상지연시간의 성능에 있어서 다른 기법보다 우수한 성능을 보인다.

능력 스펙트럼법을 이용한 건물 지진 손실 평가 방법 (A Methodology of Seismic Damage Assessment Using Capacity Spectrum Method)

  • 변지석
    • 한국지진공학회논문집
    • /
    • 제9권3호
    • /
    • pp.1-8
    • /
    • 2005
  • 본 연구는 지진으로 인하여 발생한 건물의 피해액을 보다 객관적으로 예측 평가할 수 있는 ACM(Advanced Component Method) 개발 방법에 관한 것이다. ACM은 지금까지의 재래식 손실 평가방법에 사용된 구조 기술자들의 주관적인 관점과 전문가적 견해에서 탈피하여, 지진의 크기에 따른 구조형식이 각기 다른 건물들의 내진 성글 평가 기술에 바탕을 둔 지진 손실 평가 방법이다. 그 과정을 살펴보면 먼저 선별된 전형적인 건축 구조물에 대하여 비선형 정적 내진 해석인 pushover 해석을 실행하여 그들의 건물 능력도와 각 부재의 비선형 응답을 계산한다. 지진하중은 ADRS(Acceleration-Displacement Response Spectrum)의 응답 가속도와 응답 변위의 형태로 표현하여 이를 건물 능력도와 함께 능력 스펙트럼법(Capacity Spectrum Method) 기법을 이용하여 건물의 내진 성능점을 찾는다. 또한 전체 건물을 주요 구조체인 기둥, 보, 슬래브 등과 비구조체인 비내력 벽판, 외벽 장식용 요소 등을 각각 분리하여 건물 각 부재들의 지진 응답 변위에 따른 피해율을 산출한다. 이들 각 부재들의 피해는 그 부재들의 특성에 따른 적절한 보수보강기법과 그에 따른 비용산정 모델을 이용하여 각 부재의 금전적인 피해액으로 전환한다. 마지막으로 Monte Carlo기법을 이용하여 지금까지 얻은 건물의 응답과 각 부재들의 지진에 따른 피해율, 그리고 그 부재들의 비용산정 모델을 종합하여 전체 건물의 최종의 피해율을 얻는다. 특히, 현존하는 건물에 사용된 재료와 설계 가정 하중의 가변성에 따른 건물 거동에 대한 불확실성 등을 고려하기 위하여 Latin Hypercube 추출 기법을 사용하며, 마지막으로 본 연구의 사례평가를 위하여 과거 일어났던 지진 피해정보와 손실 자료들을 바탕으로 ACM방법과 재래식 방법을 이용한 건물 손실 평가 방법을 비교 분석하였다.

적응형 정점 군집화를 이용한 메쉬 분할 (A Mesh Partitioning Using Adaptive Vertex Clustering)

  • 김대영;김종원;이혜영
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제15권3호
    • /
    • pp.19-26
    • /
    • 2009
  • 본 논문에서는 분할 축과 평면의 위치를 동적으로 결정하는 적응형 KD 트리 구조를 이용한 정점 군집화(Adaptive Vertex Clustering) 알고리즘과 이를 이용한 새로운 메쉬 분할 방법을 소개하고자 한다. 정점 군집화는 주로 한 개의 거대한 3차원 메쉬를 여러 개의 파티션(Partition)으로 분할하여 효율적으로 처리하고자 할 때 사용되는 기법으로, 옥트리 구조를 이용한 공간 분할 기법과 K-평균 군집화(K-Means Clustering) 방법 등이 있다. 그러나 옥트리 방식은 공간 분할 축과 이에 따른 분할된 공간의 크기가 고정되어 있어서 파티션 메쉬 면의 정렬 상태가 고르지 못하고 포함된 정점의 개수가 균등하지 못한 단점이 있다. 또한, K-평균군집화는 균등한 파티션을 얻을 수 있는 반면 반복처리와 최적화를 위해 많은 시간이 소요된다는 단점이 있다. 본 논문에서는 적응형 정점 군집화를 통해 빠른 시간에 균등한 메쉬 분할을 생성하는 알고리즘을 제안하고자 한다. 본 적응형 KD 트리는 메쉬가 포함된 경계상자(Bounding Box) 공간을 정점의 개수와 분할 축의 크기를 기준으로 계층적으로 분할한다. 그 결과 각 파티션 메쉬는 컴팩트성(compactness)의 특성을 유지하며 균등한 수의 정점을 포함하게 되어 각 파티션의 균등한 처리시간 및 메모리 소요량 등의 장점을 살려 향후 메쉬 간소화 및 압축 등의 다양한 메쉬 처리에 활용될 수 있기를 기대한다. 본 방법을 적용한 3차원 모델의 실험 통계와 분할된 파티션 메쉬의 시각적인 결과도 함께 제시하였다.

  • PDF

자동화 수평 배치 블록을 위한 시뮬레이션 기반 컨테이너 장치 전략 평가 (Simulation-based Evaluation of Container Stacking Strategy for Horizontal Automated Block)

  • 김민주;박태진;강재호;류광렬;김갑환
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2005년도 춘계학술대회 논문집
    • /
    • pp.359-367
    • /
    • 2005
  • 컨테이너 물동량의 증가에 의한 생산성 향상이 필요아 인건비 등의 비용 절감의 이점으로 인해 국내외적으로 컨테이너 터미널의 자동화가 추진되고 있다. 이에 따라 기존의 수동 야드 크레인과는 다른 자동화 야드 크레인인 RMG의 특성을 고려한 새로운 장치 전략이 필요하다. 본 논문에서는 교차 불가능한 2대의 RMG를 사용하는 수평배치블록을 대상으로 작업 생산성을 평가할 수 있는 시뮬레이션 모델을 개발하고 두 가지 컨테이너 장치 전략을 실험하였다. 첫 번째 장치 전략은 기존 장치장 공간 계획과 유사하게 하나의 선박에 대한 본선 작업 컨테이너들을 가능한 모으고, 본선 작업과 반입출 작업을 각각의 크레인에 전담시키는 집중화 전략이다. 두 번째 장치 전략은 두 크레인이 한 선박에 대한 본선 작업을 번갈아 수행함으로써 본선 작업의 효율을 높일 수 있도록 블록 공간을 둘로 나누고 각 구역별로 담당할 크레인을 할당하는 분산화 전략이다. 시뮬레이션 실험 결과 집중화 전략은 양하와 반출이 동시에 발생하는 수입용 블록에 유리하였으며, 분산화 전략은 적하와 반입이 동시에 발생하는 수출용 블록에 효과적인 것으로 확인되었다.

  • PDF

VOD 서버에서 효율적인 연속미디어 서비스를 위한 동적 버퍼 분할 기법 (Dynamic Buffer Partitioning Technique for Efficient Continuous Media Service in VOD Servers)

  • 권춘자;최창열;최황규
    • 정보처리학회논문지A
    • /
    • 제9A권2호
    • /
    • pp.137-146
    • /
    • 2002
  • VOD 서버는 비디오와 같은 연속미디어를 여러 사용자에게 매끄럽게 서비스하기 위해 데이터의 일부를 미리 서버 버퍼로 읽어 들여 정교하게 관리한다. 이때 서버 버퍼로 읽어 들인 연속미디어 데이터를 다른 사용자가 재사용하면 저장장치로의 접근 횟수가 줄어들고 사용자의 대기 시간이 감소된다. 본 논문에서는 서버의 버퍼를 그룹으로 분할하고 각 그룹에서 활용도가 가장 낮은 버퍼 공간을 동적으로 재분할하여 새로운 사용자에게 할당하는 동적 버퍼 분할 기법을 제안하고, 이를 다중 스트림과 클립 데이터, 그리고 VCR 기능을 처리하도록 확장한다. 제안된 기법에서는 버퍼 활용도가 높아져 병행 사용자의 수가 증가되고, 저장장치의 대역폭 한계에 서서히 도달하여 사용자의 평균 대기시간이 감소된다. 시뮬레이션을 통해 동적 버퍼 분할 기법과 기존의 버퍼 분할 기법에 대한 사용자 평균 대기시간과 병행 사용자의 수를 관찰한 결과, 평균 대기 시간은 최소 50% 이상 감소되고 병행 사용자의 수는 1∼7% 증가함을 확인하였다.

TRIZ기법에 의한 물류창고의 화재원인 및 4M에 따른 예방대책 분석 (Classification of Fire Causes in Warehouses Using the TRIZ Technique and Analysis of Preventive Measures Accordingto 4M)

  • 한상훈;공하성
    • 문화기술의 융합
    • /
    • 제6권3호
    • /
    • pp.401-412
    • /
    • 2020
  • 이 연구는 TRIZ기법에 의한 물류창고 화재의 원인분석과 4M을 적용하여 화재예방대책을 제시하였다. 연구결과는 다음과 같다. 첫째, 창의적 문제해결기법인 TRIZ기법을 적용하여 물류창고 화재원인의 모순을 제시하였다. 둘째, 인적 요인, 물류창고의 화재대책으로 관리자의 안전 기준, 근로자 안전의식 강화, 샌드위치 패널의 작업자 시공기술 강화 등을 방안을 분석하였다. 셋째, 기계, 설비적 요인, 물류창고의 화재대책으로 안전시설, 안전장치 확대 설치, 화재 진압장비 도입 및 개발, 샌드위치 패널의 내화성능 향상방안을 제시하였다. 넷째, 작업, 환경적 요인, 물류창고의 화재대책으로 작업공법에 대한 안전수칙 및 관리감독 강화, 물건 적재 장소에 대한 방화구획설정, 성능위주설계 기반으로 한 방화구획의 설정방안을 제시하였다. 마지막으로, 관리적 요인, 물류창고의 화재예방대책으로 화재 위험도가 낮은 특정소방대상물, 화재안전기준을 적용하기 어려운 특정소방대상물에 샌드위치 패널이 불연재료 이상 재질 규정을 검토, 물류냉동 창고에 스프링클러설비를 설치, 샌드위치 패널 구조인 물류창고에는 바닥면적의 크기와 관계없이 자동설비의 설치를 의무화하되 소급적용하는 방안을 제안한다.

통계적 여과 기법기반의 센서 네트워크를 위한 퍼지로직을 사용한 보안 경계 값 결정 기법 (Determination Method of Security Threshold using Fuzzy Logic for Statistical Filtering based Sensor Networks)

  • 김상률;조대호
    • 한국시뮬레이션학회논문지
    • /
    • 제16권2호
    • /
    • pp.27-35
    • /
    • 2007
  • 개방된 환경에 배치된 센서 네트워크의 모든 센서 노드들은 물리적 위협에 취약하다. 공격자는 노드를 물리적으로 포획하여 데이터 인증에 사용하는 인증키와 같은 보안 정보들을 획득할 수 있다. 공격자는 포획된 노드, 즉 훼손된 노드들 통해 허위 보고서를 센서 네트워크에 쉽게 삽입시킬 수 있다. 이렇게 삽입된 허위 보고서는 사용자로 하여금 허위 경보를 유발시킬 수 있을 뿐만 아니라, 전지로 동작하는 센서 네트워크의 제한된 에너지를 고갈시킨다. Fan Ye 등은 이런 위협에 대한 대안으로 전송과정에서 허위 보고서를 검증할 수 있는 통계적 여과 기법을 제안하였는데, 이 기법에서는 허위 보고서에 대한 보안성과 소비 에너지양이 서로 대치되는 관계에 있기 때문에, 허위 보고서 검증을 위한 메시지 인증 코드의 수를 나타내는 보안 경계 값의 결정은 매우 중요하다. 본 논문에서는 충분한 보안성을 제공하면서 에너지를 보존할 수 있는 보안 경계 값 결정을 위한 퍼지 규칙 시스템을 제안한다. 퍼지 로직은 노드가 훼손되지 않은 인증키를 가지고 있을 확률, 훼손된 구획의 수, 노드의 잔여 에너지를 고려하여 보안 경계 값을 결정한다. 퍼지 기반 보안 경계 값은 충분한 보안성을 제공하면서 에너지를 보존할 수 있는 보안 경계 값을 결정 할 수 있다.

  • PDF