• Spatial Information Research
• /
• v.18 no.1
• /
• pp.69-76
• /
• 2010

Spatial data streams from sensors are useful in context-awareness for many types of applications. However, an important gap is found between spatial data stream management in real-time and complex computation for spatial context-awareness, and this brings about serious difficulty to integrate spatial data stream processing and context-awareness. In this paper, we present a system called SCONSTREAM(Spatial CONtext STREAm Management) that we have developed to resolve the gap between spatial data stream and context-awareness. The key approach of our system is to filter off unnecessary spatial data streams and convert them to the spatial context streams, which are smaller and more suitable to be processed by the context-awareness module than raw data from sensors. By experimentation, We show that SCONSTREAM resolves the functional gap between spatial stream processing and spatial context-awareness module.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2002.04a
• /
• pp.337-340
• /
• 2002

본 논문에서는 CORBA 환경 하에서 멀티미디어 스트림을 효율적으로 처리하고 제어하기 위한 멀티미디어 스트림 통신 서비스의 설계와 구현에 관한 내용을 기술한다. 제안하는 멀티미디어 스트림 통신 서비스에서는 멀티미디어 스트림의 효율적인 처리와 제어 그리고 전송을 위한 소프트웨어 구성 요소들을 분산 객체들로 설계한다. 그리고 제어 데이터와 미디어 데이터의 전송 경로를 분리하여 미디어 데이터의 전송은 RTP(Realtime Transport Protocol)로 직접적으로 전송하므로서 멀티미디어 스트림의 전송 효율을 최적화한다. 우리는 멀티미디어 스트림 통신을 위한 분산 객체들 간의 연결설정과 제어 절차를 보여주며, 테스트 시스템을 구축하여 성능을 평가한다 성능 평가 결과 연결 설정 지연은 TCP 연결에 비해 다소 지연을 가지나, 미디어 데이터의 전송은 CORBA 의 IIOP 프로토콜에 비해 최적화된 성능을 보여준다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2006.11a
• /
• pp.657-660
• /
• 2006

최근까지 데이터웨어하우스와 OLAP 에 관한 연구와 더불어 데이터 큐브(data cube)는 많은 다차원 데이터웨어하우스에서 데이터 분석과 의사 결정 지원을 위해 빠르게 OLAP 연산을 처리하기 위한 중요한 역할을 수행해 왔다. 최근에는 빠른 속도로 생성됨과 동시에 지속적으로 발생되는 연속적인 데이터로 구성된 데이터 스트림이 네트워크 트래픽 모니터링, 증권, 날씨, 콜 센터 등과 같은 많은 분야에서 생성된다. 데이터 스트림은 무한의 집합이기 때문에 기존의 데이터 큐브 방법은 처리시간과 저장공간의 문제 때문에 데이터 스트림에 적용하기 어렵다. 이에 본 논문에서는 기존의 데이터 큐브와 같은 데이터의 요약 정보를 데이터 스트림 환경에서 제한된 메모리를 이용하여 관리 할 수 있는 전원트리를 이용한 데이터 스트림 요약 기법을 제안하고, 실험을 통해 본 논문에서 제안한 방법이 데이터 스트림 환경에서 적응적으로 동작함을 증명한다.

• Electronics and Telecommunications Trends
• /
• v.26 no.1
• /
• pp.80-88
• /
• 2011

데이터의 효과적인 활용이 경쟁력 확보에 주요한 요인이나, 데이터 폭증은 유용한 정보를 얻는데 필요한 처리 시간의 지연을 야기하고 있다. 개인 맞춤형 서비스, 방범 방재 서비스 등 모니터링 & 대응 서비스를 위해 분석할 데이터의 양이 급증하고 있으며, 텍스트, 영상, 오디오 등 비정형 데이터에 대한 실시간 분석 필요성이 증대하고 있다. 대량의 폭증하는 데이터에 대한 실시간 분석 처리 환경을 제공하기 위해 분산 병렬 컴퓨팅 기술과 데이터 스트림 연속 처리 기술이 활용되고 있다. 본고에서는 폭증하는 데이터 스트림 처리를 위하여 확장성 및 유연한 처리 환경을 제공하는 분산 스트림 컴퓨팅 기술에 대해 소개한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.05a
• /
• pp.20-23
• /
• 2007

본 논문은 데이터 스트림의 저장을 위한 순환버퍼 기법을 제안한다. 빠르고 많은 입력을 가지는 데이터 스트림의 처리를 위해 DSMS(Data Stream Management System)란 새로운 시스템에 대한 연구가 활발히 진행되고 있다. 현재 입력되고 있는 데이터 스트림과 과거에 발생했던 데이터 스트림을 동시에 검색하는 하이브리드 질의를 위해서는 데이터 스트림이 디스크에 저장되어야 한다. 그러나 데이터 스트림의 빠른 입력 속도와 메모리와 디스크 공간의 한계 때문에 저장된 데이터 스트림에 대한 질의보다는, 현재 입력되고 있는 데이터 스트림에 대한 질의에 대한 연구들이 주로 이루어졌다. 본 논문에서는 제안하는 순환버퍼는 데이터 스트림의 입력과 출력을 비동기적으로 빠르게 실행할 수 있다. 또한 입력되는 네트워크 패킷의 감소와 출력 시 디스크 I/O의 감소를 위하여 순환버퍼에서는 데이터 스트림의 묶음 단위로 입출력이 진행된다. 실험을 통하여 기술이 대량으로 입력되는 데이터 스트림을 빠르게 저장시킬 수 있다는 것을 보인다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.10a
• /
• pp.573-576
• /
• 2018

아파치 카프카(Apache Kafka)는 데이터 스트림을 실시간 전달하는 분산 메시지 큐잉 플랫폼이다. 카프카는 대다수의 실시간 처리 응용에 사용되는데, 흔히 데이터 스트림의 발생지와 실시간 처리 시스템 사이(입력) 또는 실시간 처리 시스템과 처리 결과의 목적지 사이(출력)에 배치된다. 분산 기술을 도입한 카프카는 다른 메시지 큐잉 기술에 비해 대용량 데이터 스트림을 더욱 빠르게 전달 할 수 있다는 장점을 갖는다. 하지만, 카프카에 적재되는 데이터 스트림의 양과 실시간 처리 응용의 수가 증가할수록 메시지 지연시간은 매우 높아질 수 밖에 없다. 본 논문은 이러한 카프카의 메시지 지연 문제를 해결하고자 카프카의 로드 쉐딩 엔진을 제안한다. 로드 쉐딩의 세 가지 필수적인 결정에 따라, 제안하는 로드 쉐딩 엔진은 카프카의 프로뷰서에서 지연시간이 기준치를 초과할 경우 일부 메시지 전송을 제한하여 지연시간을 줄인다. 실제 실시간 처리 응용으로 실험한 결과, 단일/다중 데이터 스트리 모두 로드 쉐딩이 바르게 작동하여 지연시간이 지속적으로 증가하지 않고 오르내림이 반복되는 추세를 보였다. 본 연구는 데이터 스트림의 입출력을 카프카로 관리하는 실시간 처리 응용에 로드 쉐딩 기법을 적용한 첫 번째 시도로서, 앞으로 데이터 스트림 처리에 사용될 의미 있는 연구라 사료된다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.05a
• /
• pp.109-112
• /
• 2005

수행 과정에서의 성능 측면에서 기존의 데이터 스트림 처리 방법들은 주로 수행 과정에서의 저장 공간 사용량 및 데이터 객체당 수행 시간을 줄이는데 초점을 맞추고 있다. 이들 방법들에서 일정 시간 내에 처리될 수 있는 데이터 객체의 수보다 많은 데이터 객체가 발생된다면, 그들 중 일부는 실시간으로 처리되지 못한다. 본 논문에서는 튜플 데이터 스트림에서 발생빈도 기반의 중요 튜플 선별 방법을 제안한다. 이는 해당 데이터 스트림 처리 과정에서 전처리 과정으로 간주할 수 있다. 제안된 방법에서는 데이터 스트림의 변화를 고려하여 중요 튜플 선별을 위한 임계값을 적응적으로 조절한다. 이를 지원하기 위해서 튜플의 발생빈도 예측 방법을 제시한다.

• The KIPS Transactions:PartB
• /
• v.8B no.1
• /
• pp.66-73
• /
• 2001

본 연구는 한국전자통신연구원에서 개발한 멀티미디어 DBMS의 하부 저장 시스템인 MIDAS-III에서 기존에 지원하던 일반호일, BLOB, CLOB 형태의 데이터 이외에 멀티미디어 스트림 데이터를 추가로 지원하기 위한 연구이다. 본 논문에서는 MIDAS-III에 새롭게 추가된 데이터 형태인 멀티미디어 스트림에 대한 디스크 입출력 성능을 향상시키기 위해 스트림 데이터의 대용량, 연속재생의 특성을 고려한 데이터 저장 구조를 설계한다. 또한 디스크 스케줄러가 존재하지 않던 기존의 MIDAS-III에서 여러 형태의 데이터를 통합 지원하기 위한 2단계 디스크 스케줄러를 설계한다. 멀티미디어 스트림 데이터에 대해서는 데이터의 연속재생 특성을 고려한 선 인출 기법을 적용하여 디스크 입출력 접근 요구들을 최적화하도록 처리한다. 이에 따라 줄어든 시간만큼 BLOB, CLOB 등과 같은 다른 요구들을 처리할 수 있으므로 전체적인 성능을 향상시킬 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.11a
• /
• pp.226-229
• /
• 2007

스트리밍 환경에서 조인 연산은 기존의 기법과는 다른 처리 방법을 요구한다. 이런 문제를 해결 하기 위해 기존에 여러 가지의 다양한 기법들이 제안되었다. 하지만 지금까지 제안된 방법들은 두 개의 입력 스트림에 대한 조인만 고려하거나 단일 속성 멀티 스트림 조인에 대해서만 고려해왔다. 하지만 조인 속성이 여러개인 경우에는 한단계로 조인을 수행하는 것은 불가능하다. 이 눈문에서는 이러한 문제를 해결하기 위해서 지금까지 고려되어 왔던 환경에서 더 일반화 된 다중속성을 가지는 조인을 고려한다. 이러한 경우에는 조인이 다단계로 일어나게 되는데 이러한 환경에서는 이전 단계의 조인이 다음 단계의 조인에 영향을 미치게 된다. 그러므로 최종 조인 결과를 빠르게 만들어 내기 위해서는 여러 입력 스트림 중에서 어떤 조인을 먼저 수행하느냐에 따라 전체적인 조인결과를 만들어내는 속도가 달라지게 된다. 그러므로 전체 조인결과를 빠르게 만들어 내기 위해서 조인이 수행되는 과정에서 여러 입력 스트림중에 어떤 스트림을 먼저 수행할지를 결정함으로써 최종 조인 결과를 빠르게 만들어낼 수 있게 하는 방법을 제안한다.

• 한국IT서비스학회:학술대회논문집
• /
• 2008.11a
• /
• pp.187-190
• /
• 2008

데이터 스트림이란 제한 없이 끊임없이 흘러 들어오는 일련의 많은 양의 데이터 객체들을 의미하며, 센서 데이터 처리, 인터넷 트래픽 분석, 웹 서버 로그와 같은 다양한 트랜잭션 로그 분석등과 관련된 수많은 응용 분야에 적용 가능하기 때문에 이들을 처리 하기 위해 많은 연구가 진행되었다. 데이트 스트림을 처리하기 위해서는 미리 등록된 질의들(연속 질의)을 새롭게 들어오는 스트림 데이터들로 계산하여 그 결과를 계속적으로 생성하여야 하므로 연속 질의들은 스트림 데이터가 들어올 때마다 반복적으로 수행되며, 데이터 스트림은 매우 빠르게 입력되는 특성을 가지고 있기 때문에 보다 빠르게 질의를 처리하여야만 한다. 본 논문에서는 다수의 조인 연속 질의들이 시스템에 등록되어 있을 때, 이들을 보다 빠르게 처리할 수 있도록 여러 개의 질의에 반복적으로 적용되는 조인 연산들을 공유함으로써 최적의 질의 계획을 생성하는 기법을 제안한다.