• 한국산학기술학회논문지
• /
• 제13권6호
• /
• pp.2713-2719
• /
• 2012

위치를 기반으로 하는 서비스가 다양해짐에 따라 고가용성과 고확장성을 제공하기 위한 분산 데이터 스트림 처리 기법에 대한 연구가 널리 수행되고 있다. 기존 연구는 분산된 노드들에서 부하의 균형을 유지하기 위해 공간 데이터 스트림의 지리적인 특성을 고려하지 않고 있어 공간적으로 인접한 연산을 수행함에 있어 전체 시스템의 부하를 증가시키고 있다. 본 논문에서는 분산 환경의 공간 데이터 스트림을 처리하기 위해 공간 영역의 겹침을 고려한 연산배치 기법을 제안한다. 제안 기법에서는 인접한 공간 영역을 대상으로 하는 연산을 효율적으로 분리하기 위해 질의 영역이 겹치는 부분의 연산을 우선적으로 동일 노드에 분배하여 중복 영역에 대한 공유의 최대화를 보장한다.

• ETRI Journal
• /
• 제39권2호
• /
• pp.202-212
• /
• 2017

With the advent of the Internet-of-Things paradigm, the amount of data production has grown exponentially and the user demand for responsive consumption of data has increased significantly. Herein, we present DART, a fast and lightweight stream processing framework for the IoT environment. Because the DART framework targets a geospatially distributed environment of heterogeneous devices, the framework provides (1) an end-user tool for device registration and application authoring, (2) automatic worker node monitoring and task allocations, and (3) runtime management of user applications with fault tolerance. To maximize performance, the DART framework adopts an actor model in which applications are segmented into microtasks and assigned to an actor following a single responsibility. To prove the feasibility of the proposed framework, we implemented the DART system. We also conducted experiments to show that the system can significantly reduce computing burdens and alleviate network load by utilizing the idle resources of intermediate edge devices.

• 한국정보처리학회논문지
• /
• 제7권6호
• /
• pp.1785-1794
• /
• 2000

This paper presents a computational object model supporting CM(Continuous Media) stream interfaces including QoS(Quality of Service) required in the distributed application method for the proposed stream interface including QoS. A stream interface consists of a data channel and a control channel. In this paper, the CORBA supporting communication channel is used as the control channel and various transport protocols can be used as the dta channel of the stream interface. Also, specifications of the application QoS are included in stream interface specification. In implementation, FIFO queues and timers are used to support transmission rate, delay and jitter control mechanisms of he stream interface.

• 인터넷정보학회논문지
• /
• 제18권3호
• /
• pp.1-9
• /
• 2017

스마트-시티는 스마트-시티의 사물인터넷(Internet of Things: IoT) 디바이스를 비롯한 수많은 인프라를 지능적으로 관리하고, 다양한 스마트 어플리케이션을 도시민에게 제공한다. 스마트-시티에서는 스마트-시티 어플리케이션에서 필요한 다양한 정보를 제공하기 위하여 수많은 사물인터넷 기기들로부터 끊임없이 발생하는 대규모의 스트림 빅-데이터를 지능적으로 처리하는 기능이 필요하다. 하지만, 스마트-시티에서 대규모의 스트림 빅-데이터를 처리하는 것에는 실시간 처리와 관련된 제약들이 존재한다. 본 스마트-시티-사업단에서는 선행 연구에서 스마트-시티미들웨어와 이를 이용한 스트림-리즈닝 방법론 및 시스템을 개발하였다. 스마트-시티에서 스마트 서비스를 제공하기 위하여, 스마트-시티-사업단에서는 스트림-리즈닝을 사용하는 방법론을 사용한다. 이 스트림-리즈닝은 대용량 데이터의 실시간 처리를 필요로 한다. 따라서, 후속연구로서 스마트-시티미들웨어의 클라우드-컴퓨팅 플랫폼을 이용하여 스트림-리즈닝을 위한 실시간 분산병렬처리 클라우드-컴퓨팅 방법론과 시스템을 개발하였다. 본 논문에서는 스마트-시티에서 발생하는 사물인터넷 빅-데이터를 스트림-리즈닝에 사용하기 위하여 이 후속연구에서 개발된 클라우드 기반 실시간 분산병렬처리 연구결과를 소개한다. 스마트-시티의 각종 센서들로부터 전송되어지는 사물인터넷 빅-데이터를 사용하여 스트림-리즈닝하는 데 필요한 클라우드-컴퓨팅 기반의 실시간 분산처리 방법론과 시스템을 소개하고 있으며, 이 방법론을 선행연구에서 개발한 스마트-시티 미들웨어에 구현하여 실시간 분산처리 성능을 평가한 것을 소개한다.

• 정보처리학회논문지A
• /
• 제9A권2호
• /
• pp.207-216
• /
• 2002

본 논문에서는 CORBA환경 하에서 오디오/비디오 스트림을 효율적으로 처리하고 제어하기 위한 분산 오디오/비디오 스트림 프래임워크의 설계와 구현에 관한 내용을 기술한다. 분산 오디오/비디오 스트림 서비스 프레임워크는 오디오/비디오 스트림의 효율적인 처리와 제어 그리고 전송을 위한 소프트웨어 구성 요소들을 분산 객체들로 설계한다. 그리고 오디오/비디오 데이터의 전송 효율을 최적화하기 위하여 제어 데이터와 미디어 데이터의 전송 경로를 분리한다. 분산 객체들은 IDL로 정의하며 JAVA로 구현한다. 그리고 미디어 데이터의 캡쳐, 재생 그리고 통신 채널 등 디바이스에 의존적인 기능들은 JMF에서 제공하는 컴포넌트들로 구현한다. 스트림 통신을 위한 분산 객체들 간의 연결설정과 제어 절차를 보여주며, 검증을 위하여 테스트 시스템을 구축하여 성능을 실험한다. 실험 결과 연결설정 지연은 TCP 연결에 비해 다소 지연을 가지나, 미디어 데이터의 전송은 RTP/UDP프로토콜을 사용하여 CORBA의 IIOP 프로토콜에 비해 최적화된 성능을 보여준다. 또한 미디어 데이터를 전송할 때 서비스 품질을 측정한 결과 만족할 만한 성능을 보여준다.

• 한국콘텐츠학회논문지
• /
• 제20권8호
• /
• pp.42-53
• /
• 2020

소셜 네트워크 서비스의 발전과 함께 다양한 응용에서 객체 간의 관계를 표현하기 위한 그래프 자료구조가 자주 활용되고 있다. 최근에는 실시간 그래프 스트림에서 서브 그래프 매칭의 요구가 늘어나고 있다. 따라서 실시간 그래프 스트림에서 높은 응답성을 위한 효율적인 근사 Top-k 매칭 기술이 필요하다. 본 논문에서는 그래프 스트림 환경에서 데이터 재사용을 고려한 근사 Top-k 서브 그래프 매칭 기법을 제안한다. 제안하는 기법은 대용량 스트림을 효율적으로 처리하기 위해서 기존 분산 스트림 처리 플랫폼인 스톰을 활용하고 스트림 처리 비용을 감소시키기 위한 기존 데이터 재사용 방법을 활용한다. Top-k 결과 생성을 위해서 거리 기반의 요약 색인 기법을 제안한다. 제안하는 요약 색인은 사전에 선택된 정점 간의 거리 값만을 저장하기 때문에 색인의 부하가 적다. 제안하는 요약 색인에서의 근사 Top-k를 수행하여 사용자에게 근사한 k개의 결과를 제공한다. 제안하는 기법의 우수성을 입증하기 위해 다양한 실세계 그래프 데이터 집합에서의 성능 평가를 수행한다.

• 한국산학기술학회논문지
• /
• 제14권10호
• /
• pp.5156-5161
• /
• 2013

분산 공간 데이터 스트림 처리에서는 분산 노드의 활용도를 높이고 고장이 발생한 경우 신속하게 시스템을 복구하기 위해 하위 노드에서 처리된 튜플에 대해 상위 노드로 데이터를 백업한다. 그러나 데이터의 유입량이 증가하고 노드의 연산 결과를 다수의 하위 노드들과 공유할 때 튜플 처리가 지연되면 상위 노드의 삭제 지연으로 인해 백업 데이터의 손실을 야기할 수 있다. 본 논문에서는 노드들의 데이터 유입량과 하위 노드의 연산 처리율을 분석하고 적응적 업스트림 백업 방법을 적용하여 노드의 평균 부하율을 감소시키고, 노드 연산 결과의 공유에 따른 데이터 손실을 최소화하는 방법을 제안한다. 그리고 실험에서는 제안 기법을 통해 데이터 손실을 방지하고, 노드 모니터링에 소요되는 CPU 사용률을 평균 20% 감소시키는 결과를 나타낸다.

• 정보과학회 논문지
• /
• 제44권11호
• /
• pp.1209-1218
• /
• 2017

최근 스마트 자동차, 스마트폰과 같은 다양한 소스로부터 공간 빅데이터 스트림을 수집하는 것이 매우 용이해졌다. 공간 데이터 스트림은 편중되고 동적으로 변화하는 분포를 지니기 때문에 전체 부하가 분산 클러스터 내의 작업자들에게 효율적으로 분배되지 않을 경우 전체 시스템의 성능이 저하된다. 본 연구에서는 공간 데이터 스트림에 특화된 부하 균형화 알고리즘인 적응적 공간 키 그룹핑(ASKG)을 제안한다. ASKG의 핵심 아이디어는 공간 데이터 스트림의 최근 분포를 학습하고 이를 기반으로 향후 유입되는 데이터 스트림이 각 작업자에게 고르게 분배되도록 하는 새로운 그룹핑 스키마를 제안하는 것이다. 이를 공간 분포의 변화에 맞춰 주기적으로 반복함으로서 적응적으로 부하 불균형을 해결할 수 있다. 실제 데이터셋에 대해 작업자의 수, 입력 속도, 공간 질의 처리 시간을 변화시키며 성능을 평가한 결과, 대안 알고리즘 대비 제안 방법이 부하 불균형, 처리량, 지연 시간에서 높은 개선효과를 보였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2008년도 추계학술발표대회
• /
• pp.874-877
• /
• 2008

Nowadays the existing data processing systems can only support some simple query for sensor network. It is increasingly important to process the vast data streams in sensor network, and achieve effective acknowledges for users. In this paper, we propose a holistic distributed k-means algorithm for sensor network. In order to verify the effectiveness of this method, we compare it with central k-means algorithm to process the data streams in sensor network. From the evaluation experiments, we can verify that the proposed algorithm is highly capable of processing vast data stream with less computation time. This algorithm prefers to cluster the data streams at the distributed nodes, and therefore it largely reduces redundant data communications compared to the central processing algorithm.

• 정보처리학회논문지A
• /
• 제15A권1호
• /
• pp.17-26
• /
• 2008

본 논문에서는 WSN(wireless sensor networks)과 RFID(radio frequency identification) 시스템을 통합하여 이용할 수 있는 통합 RFID 미들웨어에서의 효과적인 캐슁 기법을 제시한다. 통합 RFID 미들웨어가 운영되는 환경은 연결된 RFID리더로부터 대규모의 데이터가 입력되고, 다수의 무선 센서로부터 끊임없이 데이터가 입력되는 상황을 가정하고 있으며 또한 특정 목적을 위해 과거에 센서로부터 입력되어 분산 저장되어 있는 히스토리 데이터도 활용될 수 있음을 가정하고 있다. 따라서 캐슁 기능을 구비한 특정 미들웨어 레이어에서 센서 노드로부터 수신되는 연속 데이터와 분산 저장되어 있는 히스토리 데이터에 대한 신속한 질의 및 응답을 위한 효율적 데이터 처리가 절실히 요구된다. 이를 위하여 본 논문에서 제안되는 캐슁 기법은 기존의 캐슁 기법 기반으로 통합 RFID 미들웨어에 특화하여 데이터 처리의 효율을 높이기 위하여 두가지 방법을 제시하고 있으며, 이는 처리 데이터의 유형에 따라 DSC(data stream cache)와 HDC(history data cache) 로 구분된다. 제안된 캐슁 기법은 다양한 파라미터를 이용한 실험을 통하여 신속한 질의 및 응답이 이루어짐을 보여주고 있다.