• 응용통계연구
• /
• 제29권6호
• /
• pp.1077-1094
• /
• 2016

아파치 스파크는 빠르고 범용성이 뛰어난 클러스터 컴퓨팅 패키지로, 복구 가능한 분산 데이터셋이라는 새로운 추상화를 통해 데이터를 인메모리에 유지하면서도 결함 감내성을 얻을 수 있는 방법을 제공한다. 이러한 추상화는 하드디스크에 직접 데이터를 읽고 쓰는 방식으로 결함 감내성을 제공하는 기존의 대표적인 대용량 데이터 분석 기술인 맵 리듀스 프레임워크에 비해 상당한 속도 향상을 거두었다. 특히 로지스틱 회귀 분석이나 K-평균 군집화와 같은 반복적인 기계 학습 알고리즘이나 사용자가 실시간으로 데이터에 관한 질의를 하는 대화형 자료 분석에서 스파크는 매우 효율적인 성능을 보인다. 뿐만 아니라, 높은 범용성을 바탕으로 하여 기계 학습, 스트리밍 자료 처리, SQL, 그래프 자료 처리와 같은 다양한 고수준 라이브러리를 제공한다. 이 논문에서는 스파크의 개념과 프로그래밍 모형에 대해 소개하고, 이를 통해 몇 가지 통계 분석 알고리즘을 구현하는 방법에 대해 소개한다. 아울러, 스파크에서 제공하는 기계 학습 라이브러리인 MLlib과 R 언어 인터페이스인 SparkR에 대해 다룬다.

• 방송공학회논문지
• /
• 제2권1호
• /
• pp.56-64
• /
• 1997

HDTV의 경우 기존의 DTV에 비해 약 4∼6 배의 많은 화소수를 처리해야 하므로 HDTV의 한 프레임을 몇개의 분할화면으로 나누어서 각각의 분할화면을 병렬처리하는 방식을 많이 이용하고 있다. 본 논문에서는 HDTV한 프레임을 4개의 분할화면으로 나누어서 처리하는 시스템 구조를 채택하고, 국부분산을 이용한 새로운 장면전환 검출 방식을 제안하였으며 또한 장면전환 검출시 계산된 각각의 분할화면 영상의 활동도를 이용하여 적응적으로 비트를 할당하는 새로운 적응적 다중채널 율제어 방식을 제안하였다 시뮬레이션 결과 제안된 장면전환 검출방식은 HDTV동영상의 장면전환을 정확히 검출하였으며, 제안된 적응적 다중채널 율제어 방식은 각 밴드별로 일정하게 비트할당을 한 것과 비교하였을 때 우수한 성능을 보여주었다.

• 한국통신학회논문지
• /
• 제15권1호
• /
• pp.58-70
• /
• 1990

본 논문에서는 저 전송률 비디오 코덱의 영상 데이터 압축을 위한 실시간 이차원 이상여현변환기 구현에 대해 기술한다. 제안된 구조는 벡터 내적 연산의 병렬 처리에 효율적인 분산연산을 이용하였으며 동시성을 최대로 활용하고 있어 CCITT에서 제안하는 완전 CSIF 30 프레임/초의 처리성능을 만족한다. 또한 제안된 구조를 비트 수준으로 모의시험을 수행하여 CCITT에서 제안하는 IDCT 정확도 사양을 만족함을 보였다. 실제로 효율적인 VLSI 실현을 위해 설계방법론을 연구하고 SUN3/150C를 중심으로 모듈발생기 지향적 설계환경을 구축하였다. 구축된 설계환경을 이용하여 제안된 구조의 핵심모듈을 이중 금속선 2m CMOS 기술로써 구현하였으며 설계된 이차원 DCT 칩의 크기는 약 3.9mmx4.8mm이다.

• 정보처리학회논문지D
• /
• 제11D권4호
• /
• pp.755-764
• /
• 2004

최근, 바이오 관련 장비, 기술들이 발전함에 따라, 바이오 관린 데이터나 그것을 제공하는 호스트들이 급속하게 증가하고 있나. 또한, 이러한 데이터들은 개발 커뮤니티들의 수만큼, 분산되고 이질적인 면을 가시고 있어서, 바이오 관련 데이터베이스의 통합과 연동기능의 세공이 중요한 문제가 되고 있다. 그러나, 현재까지 진행되고 있는 많은 통합 연구 시스템의 대부분이 링크기반, 데이터웨어하우징 구축 기반으로 하고 있어서, 데이터 스키마나 데이터의 변경시, 실시간 업데이트와 같은 문제점을 보인다. 이러한 비효율적인 면을 개선시키고자, 플랫폼. 스키마의 변화에 구애 받지 않고 서비스를 가능하게 하는 웹 서비스 기술을 이용한 통합 시스템이 제안되고 있다. 본 논문에서도 이러한 흐름에 맞추어, 웹 서비스를 이용한 바이오 서열 데이터의 데이터베이스와, 통합 검색 시스템을 개발하였다 개발된 시스템은 BSML을 포함한 다양한 포맷의 데이터로 서열정보를 제공하며, 또한 외부 데이터베이스의 검색을 병렬로 처리하여, 검색 성능을 향상시키도록 하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 추계학술대회
• /
• pp.236-239
• /
• 2021

AI 기술의 성장과 함께 지식 그래프의 크기는 지속적으로 확장되고 있다. 지식 그래프는 주로 트리플이 연결된 RDF로 표현되며, 많은 RDF 저장소들이 RDF 데이터를 압축된 형태의 ID로 변환한다. 그러나 RDF 데이터의 크기가 특정 기준 이상으로 클 경우, 테이블 탐색으로 인한 높은 처리 시간과 메모리 오버헤드가 발생한다. 본 논문에서는 해시 ID 매핑 테이블 기반 RDF 변환을 분산 병렬 프레임워크인 맵리듀스에서 처리하는 방법을 제안한다. 제안한 방법은 RDF 데이터를 정수 기반 ID로 압축 변환하면서, 처리 시간을 단축하고 메모리 오버헤드를 개선한다. 본 논문의 실험 결과, 약 23GB의 LUBM 데이터에 제시한 방법을 적용했을 때, 크기는 약 3.8배 가량 줄어들었으며 약 106초의 변환 시간이 소모되었다.

• 정보처리학회논문지D
• /
• 제11D권5호
• /
• pp.1011-1020
• /
• 2004

대규모의 데이터를 다루는 여러 시스템에서 데이터를 다수의 병렬 디스크에 분산시켜 저장한 후 질의 처리시 동시에 여러 개의 디스크를 접근함으로써 입출력 성능의 향상을 위한 많은 노력들이 행해져 왔다. 대부분 이전 연구들은 데이터 공간을 이루는 각 차원이 겹치지 않는 여러개의 구간으로 나누어져 전체 데이터 공간이 그리드 형태로 분할되어 있다는 가정하에 각 차원의 구간 번호로 결정되는 그리드 셀에 대해서 효과적으로 디스크 번호를 할당하는 알고리즘 개발에 집중되었다. 하지만, 그들은 데이터 공간을 그리드 형태로 분할하는 방법이 전체 디클러스터링 알고리즘 성능에 미치는 영향을 간과하였다. 본 논문에서 우리는 효과적인 그리드 분할을 통하여 매핑 함수를 이용하는 디클러스터링 알고리즘의 성능을 향상 시켰다. 이를 위하여 영역 질의 크기가 주어졌을 때 겹치는 그리드 셀의 수를 예측하는 모델을 제시하였으며 이를 이용하여 가능한 그리드 분할 방법들 중에서 질의 크기를 감소시키는 분할 방법을 선택하였다. 일반적으로, 다차원 데이터에 대해서는 이진 분할을 하지만 본 논문에서는 더 작은 수의 차원을 선택해서 여러 번 분할함으로써 질의를 만족하는 그리드 셀의 수를 감소시켰다. 다양한 실험 결과에 의하면 본 논문에서 제시한 예측 모델은 질의 크기와 차원에 관계없이 0.5% 이내의 에러율을 보이는 것으로 나타났다. 또한 효과적인 그리드 분할을 통하여 다차원 데이터에 대해서 가장 성능이 좋은 것으로 소개되고 있는 Kronecker sequence 매핑 함수를 이용하는 디클러스터링 알고리즘의 성능을 최대 23배까지 향상시킬 수 있음을 알 수 있었다.

• 한국정보과학회논문지:시스템및이론
• /
• 제33권7호
• /
• pp.429-439
• /
• 2006

데스크탑 그리드는 컴퓨팅 집약적인 분산 어플리케이션을 수행하는데 있어서 유망한 플랫폼으로 부각되고 있다. 그러나 비 신뢰적이고 예측할 수 없는 자원의 특성 때문에 데스크탑 그리드에서 병렬 어플리케이션의 효율적인 스케줄링은 어려운 문제로 알려져 있다. 이에 따라서 빈약한 스케줄링 능력과 함께 현재 데스크탑 그리드는 고 처리 어플리케이션(high throughput application)의 실행에는 적합하지만 빠른 반환 시간을 요구하는 어플리케이션의 실행을 지원하는데 있어서 어려움을 갖는다. 빠른 반환 시간을 요구하는 어플리케이션의 효율적인 실행은 어플리케이션의 전체 실행 시간(makespan)을 축소함으로써 해결할 수 있는 문제로써 데스크탑 그리드가 이를 지원할 수 있게 하는 것은 매력적인 제안이 될 것이다. 본 논문에서는 데스크탑 그리드에서 효율적인 어플리케이션의 실행을 지원하기 위한 새로운 스케줄링 방법을 제안한다. 7주간의 시간동안 40대의 데스크탑에서 추출된 추적(trace) 데이타의 분석을 통해서 데스크탑 사용 경향성과 비 신뢰적인 데스크탑의 영향이 스케줄링의 성능을 개선하는데 있어서 활용 될 수 있음을 확인하였고 이 요소들을 고려함으로써 데스크탑 그리드의 비 신뢰적이고 예측할 수 없는 자원의 특성을 스케줄링에 적절하게 반영 할 수 있는 스케줄링 기법이 제안되었다. 제안된 스케줄링 기법은 실제 데스크탑들의 행동 패턴을 반영한 추적 기반 시뮬레이션(trace-driven simulation)을 통해서 기존의 스케줄링 방법들과 스케줄링 성능이 비교되었고 시뮬레이션 결과를 통해서 제안된 스케줄링 기법이 기존의 데스크탑 스케줄링 기법들에 비해서 병렬 어플리케이션의 전체 실행 시간을 축소하고 중지(suspension)와 장애(failure)의 발생 빈도를 줄이는 것을 보여준다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제24권3호
• /
• pp.21-31
• /
• 2018

태풍, 해일, 홍수, 범람 등에 관련된 자연재난 데이터를 빠르고 효과적으로 가시화하여 재난 재해 상황에서 정확한 의사결정을 할 수 있도록 지원하는 시스템을 소개한다. 재난정보를 포함하는 데이터는 적게는 수백 MB에서 많게는 수십, 수백 GB로 구성되어 있으므로 개인이 지닌 컴퓨터로는 처리할 수 없다. 그렇기 때문에 본 시스템은 클라이언트-서버 기반의 시스템을 제공하여 고성능 서버에서 가시화 결과를 생성하고 클라이언트에서는 결과를 받아 출력하는 형태로 구현되었다. 서버는 클라이언트의 요청을 처리하고 내장된 고성능 클러스터로 렌더링된 결과를 클라이언트로 전송한다. 클라이언트는 원하는 기간을 지정하여 가시화된 결과를 이미지, 동영상, 3D 그래픽 모델 중 원하는 형태로 서버로부터 제공받아 표출할 수 있으며 사용자 친화적인 GUI와 효과적으로 가시화 결과를 볼 수 있는 다양한 기능을 사용자에게 제공한다.

• 한국융합학회논문지
• /
• 제7권5호
• /
• pp.15-21
• /
• 2016

최근 프로세서의 집적도는 급속도로 발전하고 있으나 클락 스피드는 증가하지 않는 대신에 프로세서 내의 코어 수가 늘어나고 있는 실정으로 프로그래밍 속도 향상을 위한 방법에 대한 연구가 필수적이라 할 수 있다. 이에 본 논문에서는 현재 연산 가속화를 위해 사용되는 매니 코어 프로세서의 대표적인 인텔 제온 파이의 성능 분석을 위하여 퀀텀 에스프레소를 활용하였다. 또한 제온 파이에서 MPI 실행시 랭크의 수를 변화시키면서 성능 벤치마킹을 수행하여 하드웨어적인 성능 특성을 연구하였다. 그 결과 물리 코어가 57개인 제온파이 프로세서의 하나의 코어당 4개의 작업을 처리할 때 가장 좋은 성능을 나타내고 있으며, 물리 코어 하나에 MPI 랭크수를 4개 이상 확장하면 성능향상이 거의 일어나지 않는다. 이러한 융합 기술을 통하여 퀀텀 에스프레소의 성능 향상과 제온 파이의 하드웨어적인 특성을 확인할 수 있다.

• 한국전자통신학회논문지
• /
• 제13권1호
• /
• pp.207-212
• /
• 2018

빅데이터 시대에 각광받고 있는 데이터 분석 도구인 R은 강력한 통계 분석 기능과 데이터 가시화 기능을 제공함으로 인해 그 사용자를 급속히 넓혀 가고 있다. 오픈소스 기반으로서의 다양한 기능 확장성이 R의 강점인데 반해 규모 확장성이 미흡함으로 인해 대용량 데이터 처리에서의 성능 제약이 발생한다. 이를 보완하기 위한 확장 패키지 중 하나인 RHadoop은 R로 작성된 코드에 대해 하둡 플랫폼 기반 병렬 분산 처리를 지원하므로 데이터 분석 성능을 높일 수 있다. 본 논문에서는 인터넷을 통해 공개되는 실제 보건의료 빅데이터를 이용한 데이터 분석에서 RHadoop을 활용할 때 얻을 수 있는 성능 개선을 평가함으로써 RHadoop의 유효성을 검증한다. 본 연구를 통해 R과 RHadoop에서 국민건강보험 진료내역정보를 각각 분석한 결과 8개의 데이터 노드로 구성된 RHadoop 클러스터가 R과 비교하여 최대 8배 이상 성능을 개선시킬 수 있음을 입증하였다.