• Journal of the Korea Society of Computer and Information
• /
• v.18 no.11
• /
• pp.13-21
• /
• 2013

The goal of this paper is to provide performance improvement and stability for satellite data correction of some distortions due to cloud or radiance through distributed processing on cluster. To do this, we proposed and implemented SGE(Sun Grid Engine) based distributed processing methods using local storages and a status table. In the verification, the experiment result revealed that the proposed system on seven nodes improved the processing speed by 138.81% as compare to the existing system and provided good stability as well. This result showed that the proposed distributed processing work is more appropriate to process CPU bound jobs than I/O bound jobs. We expect that the proposed system will give scientists improved analysis performance in various fields and near-real time analysis services.

• Electronics and Telecommunications Trends
• /
• v.26 no.1
• /
• pp.80-88
• /
• 2011

데이터의 효과적인 활용이 경쟁력 확보에 주요한 요인이나, 데이터 폭증은 유용한 정보를 얻는데 필요한 처리 시간의 지연을 야기하고 있다. 개인 맞춤형 서비스, 방범 방재 서비스 등 모니터링 & 대응 서비스를 위해 분석할 데이터의 양이 급증하고 있으며, 텍스트, 영상, 오디오 등 비정형 데이터에 대한 실시간 분석 필요성이 증대하고 있다. 대량의 폭증하는 데이터에 대한 실시간 분석 처리 환경을 제공하기 위해 분산 병렬 컴퓨팅 기술과 데이터 스트림 연속 처리 기술이 활용되고 있다. 본고에서는 폭증하는 데이터 스트림 처리를 위하여 확장성 및 유연한 처리 환경을 제공하는 분산 스트림 컴퓨팅 기술에 대해 소개한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2001.04a
• /
• pp.287-290
• /
• 2001

최근의 급속한 인터넷 성장에 힘입어 분산처리의 기술 및 환경은 인터넷을 기반으로 광역환경으로 확장될 전망이다. 이러한 환경은 사용자에게 보다 투명한 분산객체간의 효율적인 상호접속이 요구될 뿐 아니라, 광역환경에서 이름이나 속성에 의해 다양한 중복된 성질을 갖고 있는 객체들의 관리가 요구된다. 또한 광역 분산 환경에서 최적의 객체를 선정하는데 분산된 시스템들간의 부하분배를 고려하여 투명성을 제공하는 메카니즘이 필요하게 된다. 따라서, 본 논문에서는 광역분산 컴퓨팅 환경에서 광역 서비스를 지원할 수 있는 이름/속성기반의 중복객체들을 관리를 위한 통합 트리 구성방법을 제안한다. 그리고 이를 통한 혼합(네이밍/트레이더)된 위치서비스(Location service)를 이용하여 무수히 산제한 중복된 분산 객체들을 효율적으로 유지하고, 최적의 객체 선정을 통해 부하균형을 유지할 수 있는 방안을 제시한다.

• Database Research
• /
• v.34 no.3
• /
• pp.58-68
• /
• 2018

Distributed computing helps to efficiently store and process large data on a cluster of multiple machines. The performance of distributed computing is greatly influenced depending on the state of the servers constituting the distributed system. In this paper, we propose a self-diagnosis system that collects log data in a distributed system, detects anomalies and visualizes the results in real time. First, we divide the self-diagnosis process into five stages: collecting, delivering, analyzing, storing, and visualizing stages. Next, we design a real-time self-diagnosis system that meets the goals of real-time, scalability, and high availability. The proposed system is based on Apache Flume, Apache Kafka, and Apache Storm, which are representative real-time distributed techniques. In addition, we use simple but effective moving average and 3-sigma based anomaly detection technique to minimize the delay of log data processing during the self-diagnosis process. Through the results of this paper, we can construct a distributed real-time self-diagnosis solution that can diagnose server status in real time in a complicated distributed system.

• Electronics and Telecommunications Trends
• /
• v.31 no.3
• /
• pp.131-141
• /
• 2016

최근 알파고를 통해 인공지능 기술이 전 세계인의 이목을 집중시켰던 반면, 인공지능 연구자들은 인공지능 부활에 결정적 역할을 한 딥러닝 기술에 주목하고 있다. 딥러닝은 다계층 인공신경망 기반의 기계학습 기술로서 최근 컴퓨터 비전, 음성인식, 자연어 처리 분야에서 인식 성능을 높이는 데 중요한 역할을 하고 있다. 딥러닝 기술을 이용하여 기계가 수천만장의 이미지를 학습하여 객체를 인식하게 하고, 수천 시간의 음성 데이터를 학습하여 사람의 말을 알아듣게 처리하는 데에는 다수의 고성능 컴퓨터가 필요하다. 따라서 딥러닝에는 다수의 컴퓨터를 효율적으로 이용하기 위한 분산처리 기술이 필수적이며 관련 연구들이 활발히 진행되고 있다. 이에 본고는 다중 컴퓨터 노드들에서 딥러닝 모델을 분산처리할 수 있는 기존의 프레임워크들을 비교 분석하고 딥러닝 분산처리 기술에 대한 발전 방향을 전망한다.

• Electronics and Telecommunications Trends
• /
• v.24 no.4
• /
• pp.41-54
• /
• 2009

인터넷 서비스 데이터량의 지속적인 증가로 대량의 원시 데이터로부터 정보를 가공 처리하는 과정, 체계화된 정보의 저장 관리 및 유용한 정보를 추출하기 위한 분석 등에 분산 컴퓨팅 기술을 적용하는 움직임이 활발히 진행되고 있다. 기존의 RDBMS 기술, MPI 분산 처리 기술 등은 대규모 데이터 처리 환경에 적용하기에는 운영 환경, 기능/성능면에서 확장성 혹은 고비용 문제가 따른다. 그러므로 저가의 서버들로 구성된 대규모 클러스터 환경을 기반으로 분산 컴퓨팅 기술을 적용한 새로운 시스템들이 대규모 데이터 처리를 요하는 인터넷 서비스 응용에 이용되고 있다. 이를 기반으로 바이오인포매틱스, 과학 시뮬레이션, 비즈니스 인텔리전스 등 다른 응용 영역으로 확대하여 클라우드 서비스로 제공하려는 비즈니스 모델이 제시되고 있다. 본 논문에서는 이와 같은 분산 컴퓨팅 기술을 적용한 대규모 데이터 저장 관리 및 처리 기술 동향을 조사하고 클라우드 기반 서비스로의 발전 방향을 서술한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.04a
• /
• pp.111-114
• /
• 2012

실시간으로 발생되는 대량의 데이터를 효율적으로 저장하기 위한 연구는 분산/병렬 처리를 위한 하둡 및 NoSQL과 관련한 빅 데이터 처리 기술을 통해 진행 중에 있다. 하지만 시맨틱 웹 분야에서 발생되는 대량의 데이터를 처리하기 위한 모델은 현재 연구가 진행되고 있지 않다. 본 논문에서는 시맨틱 웹 환경에서 발생되는 대량의 온톨로지 데이터를 빅 데이터 처리가 가능한 NoSQL 분야인 HBase 데이터베이스에 분산 저장할 수 있는 매핑 규칙을 제안한다. 이와 같은 매핑 규칙을 통해 시맨틱 웹 환경에서도 대량으로 발생될 수 있는 데이터들을 효율적으로 분산 저장 할 수 있다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2018.07a
• /
• pp.193-194
• /
• 2018

본 논문에서는 IIoT(Industrial IoT) 환경에서 사용되는 수 천 개 이상의 센서 데이터를 효율적으로 처리하기 위하여 분산 게이트웨이 시스템을 제안한다. 이 시스템은 대량의 센서에서 측정되는 데이터를 단일 게이트웨이 단위로 처리할 때 늘어나는 작업부하와 처리 시간 지연, 신뢰성 및 정확성 저하를 해결하기 위하여 복수의 게이트웨이 간 연계를 통해 대량의 센서에서 측정되는 데이터를 실시간 처리가 가능한 게이트웨이로 지연시간 없이 균등 할당함으로써 작업부하의 완화와 처리 시간의 가속화, 신뢰성 및 정확성 확보를 이루어낼 수 있다. 본 논문에서는 단일 게이트웨이 시스템과 분산 게이트웨이 시스템의 비교를 통해 수천 개 이상의 센서에서 측정되는 데이터 처리 시간의 차이를 확인함으로써 IIoT 환경에서 분산 게이트웨이의 활용도 면에서 우수함을 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2013.06a
• /
• pp.375-377
• /
• 2013

텔레프레즌스 시스템은 기존의 영상회의 시스템과 비교하여, 라이프 사이즈의 출력, 고품질의 영상 및 음성 출력을 가능하게 함으로써 참석자로 하여금 실제 회의에 참석하고 있는 듯한 몰입도를 제공하여 원거리의 출장을 대체할 수 있는 시스템이다. 기존의 텔레프레즌스 시스템은 각 클라이언트의 미디어 정보를 중앙 서버에서 취합, 재구성하여 각각의 클라이언트로 전달하는 구조를 갖는다. 이러한 구조는 기능의 구현은 용이하나 모든 트래픽이 서버로 집중되어 서버가 설치되어 있는 통신 노드에 부하가 집중되는 단점을 갖는다. 이러한 문제점을 해결하기 위해 중앙 서버의 호처리 기능과 미디어 처리 기능을 통신망에 분산시키는 구조가 분산형 텔레프레즌스 구조이며, 분산 구조 하에서 각각의 클라이언트는 기존의 중앙 서버에서 처리되었던 미디어의 재구성 기능, 텔레프레즌스 서비스를 위한 고품질의 비디오 및 오디오 처리 기능, 협업을 위한 문서 공유 기능 등이 요구된다. 본 논문에서는 분산형 구조에서 요구사항을 만족하는 텔레프레즌스 클라이언트 시스템의 구현 방법에 대하여 기술한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.10a
• /
• pp.45-46
• /
• 2016

최근 GPU를 비롯한 하드웨어의 성능이 급격이 증가하면서 인공지능, 딥러닝 기술에 대한 관심이 높아지고 있다. 또한 데이터가 더욱 방대해 지면서 대용량 데이터를 처리하고 위한 딥러닝 분산 프레임워크에 대한 필요성이 제기되고 있다. 이에 본 논문에서는 대규모의 분산 환경에서 딥러닝 고속 처리를 위한 분산 프레임워크를 비교 분석하였다. 특히 최근 주목받고 있는 인메모리 기반 분산 프레임워크인 Spark, SparkNet, HeteroSpark의 특징을 비교 분석하였다.