• 정보처리학회논문지A
• /
• 제11A권3호
• /
• pp.181-188
• /
• 2004

인터넷 기반 분산/병렬 처리 시스템인 PDP(Parallel/Distributed Processing)는 인터넷의 유휴상태 호스트들을 이용하여 대용량 작업을 병렬로 처리해서 전체 수행 시간을 감소시킨다. 본 연구에서는 실시간 네트워크 모니터링을 활용하여 수시로 변화하는 네트워크 환경에 적응하여 병렬/분산 처리되는 방안을 제안한다. 실시간 네트워크 모니터링 정보를 PDP 주요 핵심 알고리즘들에 적용하여 네트워크 과부하 및 결함으로 발생하는 작업 지연 요소에 적응적으로 대처함으로써 전체 성능이 향상됨을 보인다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.195-198
• /
• 2015

최근 TV 서비스의 가입자 및 TV 프로그램 콘텐츠의 급격한 증가에 따라 빅데이터 처리에 적합한 추천 시스템의 필요성이 증가하고 있다. 본 논문은 사용자들의 간접 평가 데이터 기반의 추천 시스템 디자인 시, 누적된 사용자의 과거 이용내역 데이터를 저장하지 않고 새로 생성된 사용자 이용내역 데이터를 학습하는 효율적인 알고리즘이면서, 시간 흐름에 따라 사용자들의 선호도 변화 및 TV 프로그램 스케줄 변화의 추적이 가능한 토픽 모델링 기반의 알고리즘을 제안한다. 빅데이터 처리를 위해서는 분산처리 형태의 알고리즘을 피할 수 없는데, 기존의 연구들 중 토픽 모델링 기반의 추론 알고리즘의 병렬분산처리 과정 중에 핵심이 되는 부분은 많은 데이터를 여러 대의 기계에 나누어 병렬분산 학습하면서 전역변수 데이터를 동기화하는 부분이다. 그런데, 이러한 전역데이터 동기화 기술에 있어, 여러 대의 컴퓨터를 병렬분산처리하기위한 하둡 기반의 시스템 및 서버-클라이언트간의 중재, 고장 감내 시스템 등을 모두 고려한 알고리즘들이 제안되어 왔으나, 네트워크 대역폭 한계로 인해 데이터 증가에 따른 동기화 시간 지연은 피할 수 없는 부분이다. 이에, 본 논문에서는 빅데이터 처리를 위해 사용자들을 클러스터링하고, 클러스터별 제안 알고리즘으로 전역데이터 동기화를 수행한 것과 지역 데이터를 활용하여 추론 연산한 결과, 클러스터별 지역별 TV프로그램 시청 토큰 별 은닉토픽 할당 테이블을 유지할 때 추천 성능이 더욱 향상되어 나오는 결과를 확인하여, 제안된 구조의 추천 시스템 디자인의 효율성과 합리성을 확인할 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 추계학술발표대회
• /
• pp.1102-1105
• /
• 2015

인터넷 발전이 가속화되고 SNS가 보급된 이후 과거와는 비교할 수 없을 정도로 큰 데이터 트래픽이 발생하고 있다. 기존의 DBMS는 이를 효과적으로 처리할 수 없었기 때문에 Hadoop과 같은 NoSQL이 탄생하였고, 최근 NoSQL 및 기존 SQL DBMS의 협업을 통해 유연하고 강력한 데이터 관리를 수행하는 연구가 진행되었다. 효율적인 질의 처리를 위한 대표적인 연구로 SQL 기반 분산 병렬 질의 처리 기법과 Hive등이 존재한다. 그러나 기존의 기법은 분산 병렬 환경을 고려하지 않아 SQL DBMS의 질의 결과를 효율적으로 Hive에 전송하지 못한다. 본 논문에서는 SQL DBMS에서 Hive로의 효율적인 SQL 데이터 이동을 위해 네트워크 비용을 최소화하는 기법을 제안하고, 제안하는 기법의 우수성을 제시한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 춘계학술발표대회
• /
• pp.44-47
• /
• 2018

시계열 데이터 처리를 위해 방대한 양의 데이터를 스토리지에서 빠르게 읽어와 처리하려는 움직임이 많아지고 있다. 이를 위해 스토리지의 read latency 를 개선하기 위한 여러 기법들이 제안되었지만, 이 기법들은 분산 노드의 스토리지 자원을 충분히 활용하지 못한다는 한계가 있다. 따라서 우리는 시계열 데이터를 실시간으로 처리하기 위해 스토리지에 병렬적으로 접근하여 read latency 를 개선하는 기법을 제안한다. 제안된 기법은 분산 환경에서 스토리지에 병렬적으로 접근하여, 각 노드에서 부분적으로 데이터를 읽어와 전체 데이터를 읽어오는 지연시간을 줄인다. 우리는 제안된 기법을 여러 노드로 구성된 분산 환경에서 구현하였다. 제안된 기법을 적용한 결과, 전체 데이터를 읽어오는 read latency 가 기존 기법보다 28.04% 줄어든 것을 확인하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(A)
• /
• pp.25-26
• /
• 2010

대용량 데이터의 효율적 분석을 위해 데이터 뷰브가 연구되었으며, 데이터 큐브 계산의 고비용 문제점을 해결하기 위하여 큐브의 일부 영역만을 계산하는 빙산 큐브가 등장하였다. 빙산 큐브는 저장 공간의 감소, 집중적인 분석 등의 장점이 있으나, 여전히 많은 계산과 저장 공간을 필요로 하는 단점이 있다. 본 논문에서는 이러한 문제점을 해결하는 실용적인 방법으로 대용량 문제를 분산하여 처리하는 분산 병렬 컴퓨팅 기술인 맵리듀스(MapReduce) 프레임워크를 사용하여 분산 병렬 빙산 큐브인 MR-Naive와 MR-BUC 알고리즘을 제안한다. 실험을 통해 맵리듀스 프레임워크를 통한 빙사 큐브 계산이 효율적으로 분산 병렬 처리 됨을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2005년도 추계학술발표대회 및 정기총회
• /
• pp.1417-1420
• /
• 2005

고속 네트워크로 연결된 대형 병렬 컴퓨터 및 클러스터 시스템의 사용이 증가되면서, 대용량 스토리지의 효율적인 활용을 위한 분산 및 병렬 파일 시스템에 대한 관심이 증가하고 있다. 특히 다수의 컴퓨터에 장착된 디스크 또는 스토리지를 네트워크로 연결하여 하나의 논리적이 파일 시스템으로 구성하는 분산 및 병렬 파일 시스템은 유휴 자원의 활용, bandwidth 및 throughput의 증대라는 장점으로 많은 연구가 진행 중이다. 본 논문에서는 대표적인 분산 및 병렬 파일 시스템을 대상으로 소규모 클러스터 시스템에서 성능 및 특징을 비교, 분석하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.535-536
• /
• 2021

빅데이터를 활용한 기계학습 모델을 개발하기 위해서는 빅데이터 처리를 위한 플랫폼과 딥러닝 프레임 워크 등 고급 분석을 수행할 수 있는 도구의 활용이 동시에 요구된다. 그러나 빅데이터 플랫폼과 딥러닝 프레임워크를 자유롭게 활용하기 위해서는 상당한 수준의 기술적 지식과 경험이 필요하다. 또한 빅데이터를 이용한 딥러닝 모델을 개발할 경우 분산처리와 병렬처리에 대한 지식과 추가적인 작업이 요구된다. 본 연구에서는 빅데이터를 활용한 기계학습 모형을 자유롭게 개발 및 공유하고 분산 딥러닝을 위한 시스템적 지원을 통해 분야별로 딥러닝 모형을 개발하는 응용 연구자들이 활용할 수 있는 플랫폼을 제시하였다. 본 연구를 통해 다양한 분야의 연구자들이 자신의 데이터를 이용하여 모형을 개발할 경우 분산처리와 병렬처리를 위한 기술적 제약을 극복하고 보다 빠르고 효율적인 방법으로 모형을 개발하고 현업에 활용할 수 있을 것으로 기대한다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제5권2호
• /
• pp.196-208
• /
• 1999

본 논문에서는 시뮬레이션 속도 향상을 위하여 VHDL(Very high speed integrated circuit Hardware Description Language)로 기술된 디지털 회로 시뮬레이션을 위한 병렬 분산 VHDL 시뮬레이터(Parallel Distributed VHDL Simulator : PDVS)를 개발한다. 개발된 프로그램을 대규모 병렬 프로그래밍 환경에서도 수행될 수 있도록 하기 위해서 표준 통신 라이브러리인 MPI(Message Passing Interface)를 이용하여 구현된다. PDVS 의 전체적인 시스템구성도, PDVS 에 사용된 시뮬레이션 프로토콜, 전역가상시간 계산 메카니즘 및 논리적 프로세스의 내부 구성요소들간의 관계와 PDVS의 제어 흐름도를 제시한다. 그리고 본 연구에서는 병렬 분산 시뮬레이션의 병렬성 정도를 분석하기 위하여 디지털 회로의 크기 변화와 처리되는 사건수(grain size)의 변화에 따른 성능 결과를 제시한다. 이 연구에서 4배크기의 디지털 회로를 적용한 경우는 프로세서를 12개 사용할 때에 8배의 속도향상을 얻었다. 그리고 처리되는 사건의 수가 200인 경우는 프로세서를 32개 사용할 때에 12배의 속도향상을 얻었다. 또한 동일한 방법을 SGI Origin 2000, Cray T3e 및 IBM SP2에 적용함으로서 그 성능의 간접적인 비교결과도 제시한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2001년도 추계학술발표논문집 (상)
• /
• pp.255-258
• /
• 2001

광선추적기법은 사진과 같은 고해상도의 영상을 만들어내는 렌더링 기법중의 하나이다. 이 기법은 이미지를 합성하는데 많은 양의 계산 시간을 필요로 한다. 병렬처리 기법이 광선추적에 계산양의 처리 기간을 감소하기 위하여 사용될 수 있다. 본 논문에서는 병렬 광선추적 기법을 MPI(Message Passing Interface)를 사용하여 IBM Supercomputer 상에서 노드의 개수의 증가에 따른 속도 향상과 노드간에 전달되는 메시지의 크기에 따른 성능 향상을 실험하였다. 본 논문에서 실험한 병렬 광선 추적 기법으로 IBM SP 시스템 상에서 다양한 영상을 생성하였다. 영상은 분할가능하고 노드에 분배할 수 있기 때문에 병렬화 범주에 들 수 있으며 부하균형을 맞출 수 있다. 실험에서 프로세서수의 증가에 따른 이상적인 속도향상률(Speed-up rate)을 15개의 프로세서를 사용하여 얻을 수 있었다. 광선을 추적하여 영상을 합성해 낼 때 표현하고자 하는 영상이 단순한 객체로 이루어져 있다면 각 노드에 분산해줘야 할 작업의 크기는 복잡한 객체들로 구성된 영상보다 클 때 더 놓은 성능을 나타내었다. 분산작업의 크기가 작아 상대적으로 통신횟수가 증가할 때 렌더링시 효율저하를 나타내었다.

• 정보처리학회논문지A
• /
• 제9A권3호
• /
• pp.341-350
• /
• 2002

네트워크 환경이 좋아지고 인터넷 사용이 급증함에 따라 이동 에이전트(Mobile Agent) 기술이 정보검색, 네트워크관리, 전자상거래, 병렬/분산처리 분야에 널리 활용되고 있다. 최근에 다수의 연구자들이 이동 에이전트를 기반으로 한 병렬/분산처리 개념을 연구하고 있다. SPMD(Single Program Multiple Data)는 하나의 프로그램이 병렬환경에 참여하는 모든 컴퓨터에 전송되어 다른 자료를 사용하여 작업을 수행하는 병렬처리 방법이다. 따라서 하나의 프로그램을 모든 컴퓨터에 빠르게 전송하는 것은 전체 수행시간을 줄이기 위한 주요한 요소 중의 하나이다. 본 논문에서는 이동 에이전트 시스템으로 구성된 병렬환경에서 SPMD의 병렬처리를 효율적으로 수행하기 위해, 바이노미얼 트리를 이용하여 하나의 이동 에이전트 코드를 모든 컴퓨터에 빠르게 전송하는 새로운 방법을 제안한다. 제안된 방법은 IBM's Aglets에서 실험적 평가를 통하여 다른 방법과 비교되었으며 다른 방법에 비해서 상당히 좋은 성능을 보였다. 또한 본 문에서는 바이노미얼 트리에서 에이전트 전송 중에 발생될 수 있는 결함허용에 관한 문제를 다룬다.