• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제8권10호
• /
• pp.3378-3393
• /
• 2014

We have witnessed the rapid development of information technology in recent years. One of the key phenomena is the fast, near-exponential increase of data. Consequently, most of the traditional data classification methods fail to meet the dynamic and real-time demands of today's data processing and analyzing needs--especially for continuous data streams. This paper proposes an improved incremental learning algorithm for a large-scale data stream, which is based on SVM (Support Vector Machine) and is named DS-IILS. The DS-IILS takes the load condition of the entire system and the node performance into consideration to improve efficiency. The threshold of the distance to the optimal separating hyperplane is given in the DS-IILS algorithm. The samples of the history sample set and the incremental sample set that are within the scope of the threshold are all reserved. These reserved samples are treated as the training sample set. To design a more accurate classifier, the effects of the data volumes of the history sample set and the incremental sample set are handled by weighted processing. Finally, the algorithm is implemented in a cloud computing system and is applied to study user behaviors. The results of the experiment are provided and compared with other incremental learning algorithms. The results show that the DS-IILS can improve training efficiency and guarantee relatively high classification accuracy at the same time, which is consistent with the theoretical analysis.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2007년도 추계종합학술대회
• /
• pp.871-874
• /
• 2007

스트림 데이터들은 매우 용량이 크며, 짧은 보고 주기, 비동기적인 보고 시간을 가진다. 이러한 시스템의 질의는 최신의 값을 검색하는 현재질의, 과거 특정시점의 값을 검색하는 스냅샷 질의, 과거부터 현재까지의 값들을 검색하는 슬라이딩 윈도우 질의 등이 있다. 이 논문에서는 소규모 운영체제에서 파일 구조화된 데이터베이스를 이용하여 스트림 데이터들을 효율적으로 관리하는 기법을 제안하고자한다. 그리고 스트림 데이터에 대한 슬라이딩 윈도우 질의를 포함한 다양한 질의를 수용하는 질의 모델을 제안한다. 제안한 기법들을 원자로 안전 운전원 모듈에 적용하여 그 유용성을 검증하고자 한다. 운전원 모듈(COM)은 QNX 운영체제를 기반으로 하며, 파일 데이터베이스는 QNX COM의 적은 저장장치, 낮은 계산 능력을 감안하여 델타버젼과 버퍼링 등의 방법을 도입한다.

• 정보처리학회논문지A
• /
• 제8A권4호
• /
• pp.287-292
• /
• 2001

멀티미디어 서버 시스템은 고용량이어야 하며 지속적으로 늘어나는 사용자수 뿐만 아니라 추가되는 새로운 저장 공간에 대한 우수한 확장성을 제공하여야 하는 것이 필수적이다. 일반적인 스트리밍 서비스의 경우, 사용자들은 시비스 초기의 지연시간에 어느 정도 관대한 편이지만 고풍질의 서비스를 요구한다. 스트림 서버는 동영상을 사용자에게 전달할 때 데이터 저장공간으로부터 실시간으로 전송하여야 한다. 그러나 현재의 범용 서버 시스템은 이러한 요구사항을 충분히 반영하지 못할 뿐만 이니라 늘어나는 사용자 부하와 시스템 요구에 대한 고려, 그리고 미디어 데이터에 대한 반영이 이루어지지 못하여 점차 증가되는 사용자의 고화질 미디어 서비스 요구 사항을 충족시키지 못하고 있다. 본 논문에서는 리녹스를 기반으로 구현한 실시간 스트림 서버 시스템의 확장성 있는 구조가 고 대역폭 고화질 On-Demand 서버로서 효율적인 대안임을 보이며, 또한 QoS 요구 보장과 효율적인 시스템 관리 정책을 제시하여 범용 서버를 멀티미디어 저장 및 스트리밍에 적합한 환경의 클러스터로 구성하는 방법을 제시한다. 이 시스템의 특징은 서비스하고자 하는 파일들을 각 병별 저장 시스템에 쪼개어 저장하는 시스템 RAID 기술을 사 용하여 사용자 요구시 동시에 데이터를 전송하여 줌으로써 단일 미디어 서버보다 훨씬 우수한 성공을 발휘한다.

• 대한원격탐사학회:학술대회논문집
• /
• 대한원격탐사학회 2004년도 Proceedings of ISRS 2004
• /
• pp.486-488
• /
• 2004

The SRI (Super Resolution Imager) uses the CCD (Charge coupled device) detector that is used to convert the light into electronic data. The purpose of the SRI is to obtain data for high resolution images by converting incoming light into digital stream of pixel data. The SRI has a high resolution, so this electronic system needs more fast imaging data processing, detector control and data transmission systems. This report describes the required system specification and manufactured electronic system for satellite.

• 한국멀티미디어학회논문지
• /
• 제20권8호
• /
• pp.1379-1386
• /
• 2017

As the Internet of Things evolves, various IoT services are provided. IFTTT is an abbreviation for If This Then That and refers to a service that links different web-based services. This paper proposes a system that generates and manages rules that combine the possibility of IFTTT service and the real-time event processing according to the concept of IoT service. Conventional database-based data processing methods are burdened to process a lot of data of IoT devices coming in real-time. The IoT device's data can be classified into formal data such as the amount of power, temperature value and position information, and informal data such as video or image data. Thus, this system classifies the data stream of IoT devices coming in real-time using the CEP engine Esper into a file signature table, classifies the formal/informal data, and shows the condition of the device data defined by the user and the service to be provided by applying the service.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2000년도 하계종합학술대회 논문집(2)
• /
• pp.181-184
• /
• 2000

In this paper, we described a design of the input buffer system for efficiently dealing with MPEG audio bitstream to demux header and side information, audio data. In order to overcome the limitations of fixed-word manipulation in bitstream demuxing, we proposed a new variable length bit retrieval system with FSM sequencer supporting MPEG audio frame format, and serial buffer demuxing audio stream, FIFO circular buffer including header and side information.

• 한국공간정보시스템학회 논문지
• /
• 제11권1호
• /
• pp.43-54
• /
• 2009

최근 인간 중심의 미래 컴퓨터 환경인 유비쿼터스 컴퓨팅 환경 실현을 위한 기술의 연구 개발이 활발히 진행됨에 따라 시공간 데이타를 다루는 GIS 기술이 대두되고 있다. 또한, 다양한 이기종 환경에서 호환성을 제공하기 위해서 생성된 데이타를 가공하여 사용자에게 원만하게 서비스를 제공하기 위한 미들웨어의 필요성이 증가되고 있다. 이와 같은 미들웨어의 핵심 기술로는 위치 측위 시스템으로부터 끊임없이 연속으로 들어오는 데이타 스트림을 실시간으로 처리하는 기술과 다양한 컴퓨팅 디바이스간의 데이타 동기화를 위한 기술이 요구된다. 하지만, 기존의 데이타 스트림 처리 기술은 비시공간 데이타를 대상으로 개발되었기 때문에 시공간 데이타에 대한 질의 처리가 효율적으로 지원되지 않는 문제점이 있다. 따라서, 본 논문에서는 모바일 시공간 DBMS(DataBase Management System)와 서버 시공간MMDBMS (Main Memory DBMS)간의 상호운용성을 제공하기 위한 시공간 미들웨어를 설계 및 구현하였다. 시공간 미들웨어는 끊임없이 연속으로 들어오는 시공간 데이타 스트림을 실시간으로 처리하고 시공간 DBMS간의 양방향 동기화를 지원하여 이기종 장치들간의 호환성을 유지하고 질의 처리를 하는데 있어 데이타의 무결성을 보장한다. 또한, 각 시공간 DBMS와 연결된 세션의 상태를 관리하고, 시공간 미들웨어가 안정적으로 작동될 수 있기 위한 자원 관리 기능을 제공한다. 마지막으로, 본 논문에서는 시공간 미들웨어를 실시간 위치추적 시스템에 적용해 봄으로써 시공간 미들웨어의 효용성을 입증하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 추계학술발표대회
• /
• pp.184-186
• /
• 2015

본 논문에서는 PTAM을 위한 새로운 분산 스트림 프로세싱 시스템을 제안한다. PTAM은 하나의 시스템에서 동작하도록 설계되었다. 이는 PTAM이 가지고 있는 한계점을 말해주는 부분인데, PTAM은 Bundle Adjustment의 계산 부하가 커지는 경우에 map을 구축하는데 있어 많은 시간과 리소스가 필요하다. 이에 하둡을 통해 계산 부하를 분산하고, PE(Processing Element)를 Xeon phi 시스템을 통해 동작되는 시스템을 제안한다.

• 한국공간정보시스템학회 논문지
• /
• 제11권2호
• /
• pp.79-88
• /
• 2009

실시간으로 입력되는 스트림을 저장하기 위한 메모리의 크기는 동적으로 변한다. 이 데이터 스트림을 처리하는 연속질의는 저장공간의 크기를 동적으로 관리해야 한다. 이를 위해, 저장되는 현재 데이터양에 따라 즉시 페이지 단위로 메모리를 할당 및 해제하는 기본적인 메모리 관리자가 연구되었다. 그러나 이 방법은 데이터 스트림을 저장하기 위해 메모리의 할당 및 해제를 매우 빈번하게 수행하게 된다. 또한 질의가 메모리가 부족할 때 즉시 페이지를 할당하기 때문에, 특정 지연되는 질의가 대량의 페이지를 점유하는 문제를 발생시킬 수 있다. 메모리관리자에서 발생하는 이와 같은 문제에 초점을 맞추어, 본 연구는 할당 및 해제 빈도수를 감소시키고, 질의 별로 최대한 균등하게 페이지를 분배하는 메모리 관리 기법을 제안한다. 본 기법은 질의의 페이지 이용률을 이용하여 할당 및 해제 빈도수를 크게 감소시키고, 질의의 지연 상태에 따른 메모리의 할당을 통하여 특정 질의의 메모리 독점을 방지할 수 있다.

• 한국멀티미디어학회논문지
• /
• 제10권11호
• /
• pp.1384-1397
• /
• 2007

본 논문은 데이터 스트림의 하이브리드 질의를 위한 빠른 저장 방법을 제안한다. 빠르고 많은 입력을 가지는 데이터 스트림의 처리를 위해 DSMS(Data Stream Management System)란 새로운 시스템에 대한 연구가 활발히 진행되고 있다. 현재 입력되고 있는 데이터 스트림과 과거에 발생했던 데이터 스트림를 동시에 검색하는 하이브리드 질의를 위해서는 데이터 스트림이 디스크에 저장되어져야 한다. 그러나 데이터 스트림의 빠른 입력 속도와 메모리와 디스크 공간의 한계 때문에 저장된 데이터 스트림에 대한 질의보다는, 현재 입력되고 있는 데이터 스트림에 대한 질의에 대한 연구들이 주로 이루어졌다. 본 논문에서는 데이터 스트림의 입력을 받을 때 순환버퍼를 이용하여 메모리 이용률을 최대화하고 블록킹 없는 데이터 스트림의 입력을 가능하게 한다. 또한 최대한 많은 양의 데이터를 디스크에 저장하기 위하여 디스크에 있는 데이터를 압축한다. 실험을 통하여 제안되는 기술이 대량으로 입력되는 데이터 스트림을 빠르게 저장시킬 수 있다는 것을 보인다.