• The Journal of Information Systems
• /
• v.20 no.4
• /
• pp.163-180
• /
• 2011

실시간 유비쿼터스 환경의 규모성 향상을 위하여 각 처리 단계에 복수의 자원이 투입될 수 있다. 각 처리 단계에 복수의 자원이 배정되면 처리 단계 내에서 병렬로 처리되는 센서 데이터가 증가하기 때문에 후행 센서 데이터는 선행 센서 데이터의 처리 종료를 반드시 기다릴 필요가 없게 된다. 처리 과정이 서로 독립적인 센서 데이터들이 발생하면 후행 센서 데이터의 대기시간은 달라지게 된다. 본 연구에서는 복수의 자원이 사용 가능 할 때 후행 센서 데이터의 대기시간을 산출하는 알고리즘을 제안하였다. 또한 실험을통하여 센서데이터의증가가 대기시간 감소에얼마나 영향을 줄수 있는지를 알아보았다. 실험을 통해 얻어진 결과는 자원이 개수를 2배 증가시키면 대기시간의 감소는 2배 이상이라는 것이다. 복수의 자원을 각 처리 단계에서 센서데이터에 할당하는 방법에 따라 실험을 수행하였다. 첫 번째는 순차적으로 센서 데이터에게 자원을 할당하는 방법이고 두 번째는 자원이 처리해야 할 센서데이터 처리시간 합이 균등하도록 할당하는 방법이다. 두 가지 방법에 대한 실험으로 얻어진 결과는 자원을 할당함에 있어서 순차적으로 할당하는 것보다는 처리 시간 합이 균등하도록 자원을 할당하는 것이 대기시간 감소에 효과적이었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.11a
• /
• pp.88-91
• /
• 2020

발전 시설은 연간 무중단으로 운영되어야 하고, 고장이 발생하면 손해가 막대하기 때문에 발전 시설 장비에는 수십만 개의 센서 데이터가 설치되어 있다. 본 논문에서는 효율적인 센서 데이터의 수집과 시설 모니터링 및 고장 예측 등을 위한 빅데이터 스트리밍 질의 처리 시스템을 설계 및 구현하였다. 또한 실시간 데이터 수집의 효율적인 관리를 위해 인코딩 방식을 설계하였으며, 데이터 전송 성능을 측정하여 문자열로 데이터를 전송하는 것보다 평균 12%, 최대 32% 데이터 처리 성능이 향상됨을 보였다. 또한, 스트리밍 데이터에 대한 윈도우 질의 처리 성능을 측정하여 약 0.97초의 평균 집계 질의 처리 시간이 소요됨을 확인하였다. 향후에는 고장 감지를 위한 인공지능 추론 모델을 제안하는 빅데이터 스트리밍 질의 처리 시스템에 적용할 예정이다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04b
• /
• pp.154-156
• /
• 2004

센서 네트웍, 유비쿼터스 컴퓨팅 환경으로 발전하면서 스트리밍 데이터와 같이 무한한 데이터의 처리에 대한 요구가 많이 커지고 있다. 스트리밍 데이터에 대한 질의 처리는 크게 실시간으로 처리가 요구되는 질의와 과거 데이터에 대한 동향 근사치 요청질의로 나누어질 수 있다. 기존의 스트리밍 데이터 처리에 대한 연구들은 실시간 질의 처리만을 고려하고 과거 데이터에 대한 질의에 대한 고려는 미약하다. 그리고 사용자가 과거의 데이터에 대한 동향 분석을 요청하는 질의, 또는 과거 어느 시점의 데이터에 대한 요청 혹은 근사치를 요구하는 질의에 대해서는 처리를 할 수 없는 한계점이 있다. 본 논문에서는 스트리밍 데이터 프로세서의 메모리의 범위를 넘어서서 삭제되는 과거 데이터를 디스크의 I/O처리 속도에 맞추기 위해서 로드 셰딩 기법을 적용해서 저장한 후에 개념 계층을 이용해서 사용자가 원하는 데이터만을 효과적으로 저장하는 기법을 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.11a
• /
• pp.172-175
• /
• 2013

사이버물리시스템(CPS)은 실시간 제약으로 타이밍에 민감한 특징이 있으며, 산업 영역에 적용시 시스템 동작과 안전필수 로그의 특정한 패턴을 나타내는 대용량의 실시간 데이터를 생성시킨다. 본 논문은 공개소스프로젝트인 하둡에코시스템을 이용한 CPS 데이터분석 아키텍처를 소개한다. CPS 처리의 특징 때문에 그 대용량의 데이터 처리는 하나의 머신에서 분석될 수 없으므로, 하둡에코시스템을 통하여 실시간 기반으로 생성되는 데이터를 저장하고 처리하는 시스템 아키텍처를 제안한다. 하둡분산파일시스템(HDFS)은 거대한 CPS 데이터의 저장을 위한 기본 파일시스템이고, 하이브는 데이터웨어하우징 처리를 위한 CPS 데이터분석에 사용된다. 플룸은 서버들로부터 데이터를 수집하고 HDFS에서 그 데이터를 처리하기 위해 사용되며, Rhive는 데이터 마이닝과 분석을 적용하기 위해 사용된다. 이러한 아키텍처를 개관하고, 또한 효과적인 데이터 분석을 위해 사용한 시스템 설계 전략을 소개한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2014.04a
• /
• pp.77-80
• /
• 2014

최근 컴퓨터와 인터넷 이용의 확산, 스마트폰을 포함한 스마트 기기의 보급과 소셜 네트워크 이용의 확대, 위치 기반의 다양한 서비스 확대 등으로 처리해야 할 데이터 크기가 증가하는 추세이다. 이에 따라 대용량 데이터에 대한 처리가 큰 이슈로 떠오르고 있다. 그로 인해 대용량 데이터 처리를 위한 큰 규모의 분산 컴퓨팅 환경을 지원하는 프레임워크인 하둡이 개발되었으며 많은 기업에서 이를 활용하고 있는 추세이다. 하지만 대용량 데이터 중 영상, 의료, 센서 데이터 등 다차원 데이터 처리에 관한 연구는 미비한 상태이다. 기존의 다차원 데이터 처리를 위해 다양한 다차원 인덱스가 제안되었지만, 대용량 다차원 데이터 처리는 단일머신에서는 비효율적인 단점이 있다. 본 논문에서는 다차원 인덱스 기법인 그리드 파일을 하둡의 분산 병렬 처리 모델인 맵리듀스를 기반으로 생성하는 기법을 제안한다. 또한 앞서 생성된 그리드 파일을 가지고 맵리듀스를 이용한 질의처리 방법을 제안 한다. 이로 인해 단일머신에서의 그리드 파일 생성을 병렬처리 함으로써 생성 시간을 단축시키고 질의 처리 또한 맵리듀스를 이용하여 병렬 처리 함으로써 질의 시간 단축을 예상한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.11a
• /
• pp.95-97
• /
• 2013

최근 지능형 자동차에 대한 연구가 활발하게 진행 되면서, 차량에서 발생하는 데이터를 처리하기 위한 다양한 기술들이 연구되고 있다. 더불어 운전자의 상태 인식을 위한 다양한 기술들이 되면서 지능형 자동차에 대한 구색을 갖추기 위한 연구도 활발히 이루어지고 있다. 하나의 MCU에서 차량상태표현을 위한 데이터 및 운전자 상태 정보를 표현하는 데이터를 동시에 처리하려면 병목현상이 발생되기 때문에 정상적이 데이터 처리가 어려울 것이다. 본 연구에서는 실시간 데이터 처리가 가능한 RT-eCos 기반의 태스크 처리에 우선순위를 두어 차량상태정보와 운전자 상태 정보의 원활한 데이터 처리를 위한 데이터 처리 모듈을 설계하기 위한 내용을 기술한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.28-30
• /
• 2001

클라이언트-서버 환경에서 공간 데이터와 같은 대용량의 데이터를 처리하는 시스템이나 다수의 클라이언트의 요구가 발생하는 시스템에서는 데이터 처리 시 발생하는 서버 I/O 연산의 수행 비용과 질의 처리비용 및 결과 데이터의 전송 비용이 서버 사이드의 병목 현상과 질의 처리속도의 저하라는 문제점을 유발한다. 본 논문에서는 이러한 문제점을 개선하기 위한 방법으로 서버 처리비용의 분산을 위한 확장된 Peer-to-peer를 지원하는 방식을 제안하며, 이러한 확장 된 Peer-to-peer방식을 지원할 수 있는 공간데이터 관리기의 설계 및 구현상황을 제안한다. 공간데이터 관리기는 서버에 접속된 클라이언트의 정보와 클라이언트에 캐쉬된 데이터의 정보를 관리하는 공간데이터 관리기의 CIT(Client Information Table)와 이 CIT에 가용한 데이트를 캐쉬한 클라이언트가 여럿인 경웨 대상 클라이언트의 선정이 요구되며, 적은 비용으로 처리 가능한 클라인트의 선정의 위한 알고리즘과 클라이언트 사이의 확장된 Peer-to-peer 방식을 지원하기 위한 서버와 클라이언트간의 데이터 일관성 유지를 위한 데이터 유효성 관리를 제안한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.01a
• /
• pp.1-4
• /
• 2019

Edge Computing 환경에서는 데이터 처리와 시스템 제어를 위한 별도의 서버가 존재하지 않는다. 서버를 통한 중앙통제 방식이 아닌 Edge computing에 사용된 IoT기기들이 연동되어 데이터 분산 처리와 연산을 통해 전체 시스템이 동작된다. 이러한 Edge computing 시스템 구조 특성상 전체 시스템이 과부하를 피하기 위해 각 IoT 기기에서 동시다발적으로 감지되는 실시간 상황 정보를 효율적으로 처리 하여야한다. 이에 따라 실시간 상황 정보를 효율적으로 처리하거나, 다양한 데이터 분석처리 알고리즘들이 연구 개발되어 데이터 처리에 적용되어 왔다. 하지만 데이터의 정보 흐름과 타입에 초점을 맞춘 것이 아니라 예상분석 및 획일화된 알고리즘을 통해서 분석되기 때문에 해당 플랫폼이 주로 지향하는 데이터 형식에 맞지 않으면 성능저하를 수반하며 사용에 제약이 많은 문제점이 있다. 따라서 본 논문에서는 IoT 환경에서 실시간 반응성 향상을 목표로 오픈소스 기반 스트림 데이터 처리 방법에 대한 비교 분석과 Fast-reaction을 위한 데이터 처리 도구 비교 분석을 연구를 진행한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.05a
• /
• pp.915-917
• /
• 2007

최근 RFID 기술 보급이 증가되면서 이를 활용한 웹 데이터 교류가 활발해지고 있다. 이러한 RFID 기반의 웹 데이터를 신속하게 처리하기 위해서는 처리되는 데이터의 형태와 구조에 대한 연구가 필요하다. 현재 RFID 기반에서 교환되는 데이터는 서버의 정보 서버와 클라이언트의 로컬 서버로 분류되어 처리되고 있으며, 이 경우에는 교류되는 다양한 데이터가 구조화가 되지 않아서 많은 전송량으로 인하여 처리시간이 길어지는 어려움이 있다. 본 논문에서는 이러한 문제점을 해결하고자 RFID 기반에서 발생되는 데이터를 분석하고, 여기에 적합한 처리 과정을 적용하여 데이터의 처리시간을 단축하는 방법을 제안한다. 이를 통하여 RFID 기반 정보 서버의 웹 데이터 구조화를 기할 수 있으며, 우수한 전송 속도를 보장하는 시스템 환경 구축이 가능하다.

• The KIPS Transactions:PartD
• /
• v.8D no.2
• /
• pp.117-124
• /
• 2001

A data mining system includes various data mining functions such as aggregation, association and classification, among others. To express these data mining function, a powerful data mining query language is needed. In addition, a graphic user interface(GUI) based on the data mining query language is needed for users. In addition, processing a data mining query targeted for a data warehouse, which is the appropriate data repository for decision making, is needed. In this paper, we first build a GUI to enable users to easily define data mining queries. We then propose a data mining query processing framework that can be used to process a data mining query targeted for a data warehouse. We also implement a schema generate a data warehouse schema that is needed to build a data warehouse. Lastly, we show the implementation details of a query processor that can process queries that discover association rules.