• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
• /
• pp.545-546
• /
• 2020

스파크는 데이터 분석을 위한 오픈소스 툴이다. 스파크에서는 실시간 데이터 분석을 위하여 스파크 스트리밍이라는 기술을 제공한다. 스파크 스트리밍은 데이터 소스가 분석서버로 데이터 스트림을 전송한다. 이때 전송하는 데이터의 크기가 커질 경우 전송과정에서 지연이 발생할 수 있다. 제안하는 기법은 전송하고자 하는 데이터의 크기가 클 때 허프만 인코딩을 이용하여 데이터를 압축하여 전송시키므로 지연시간을 줄일 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 춘계학술발표대회
• /
• pp.72-75
• /
• 2016

스마트폰, 센서, 소셜미디어, 웹 서비스 등으로부터 발생되는 데이터의 폭증으로 인하여 빅데이터의 분석 및 활용에 대한 요구가 커져가고 있다. 특히 스마트 기기의 발달과 사용자 이용 패턴의 변화로 인하여 스트림 데이터는 끊임없이 발생되고 있지만, 기존의 하둡을 이용한 분석 시스템은 응답시간이 지연되어 빠르게 결과를 조회할 수 없는 단점으로 인하여 데이터를 실시간으로 분석하여 바로 활용할 수 있는 시스템에 대한 요구가 점점 더 증가하면서 람다 아키텍쳐가 등장하였다. 람다 아키텍쳐는 데이터 처리 과정을 배치 레이어와 스피트 레이어로 나누고, 스피드 레이어에서는 배치 결과가 나오기 전까지 스트림으로 유입되는 데이터를 실시간으로 분석하여 가장 최근의 데이터를 빠르게 조회 할 수 있도록 결과를 제공한다. 본 논문에서는 람다 아키텍쳐를 활용하여 연속적으로 유입되는 대용량의 스트림 데이터를 효과적으로 처리하여 실시간 분석과 동시에 배치 분석을 제공하는 데이터 처리 시스템을 설계하고 구현한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2015년도 춘계학술대회
• /
• pp.290-293
• /
• 2015

개개인의 데이터가 비즈니스적으로 중요하지 않을 수 있지만, 대량으로 모으면 그 안에 숨겨진 새로운 정보를 발견할 가능성이 있는 데이터의 집합체로 빅데이터 분석 활용 사례는 점차 늘어나는 추세이다. 빅데이터 분석 기술 중 전통적인 데이터 분석방법인 하둡(Hadoop)은 예전부터 현재에 이르기까지 정형 비정형 빅데이터 분석에 널리 사용되고 있는 기술이다. 하지만 하둡은 배치성 처리 시스템으로 데이터가 많아질수록 응답 지연이 발생할 가능성이 높아, 현재 기업 경영환경과 시장환경에 대한 엄청난 양의 고속 이벤트 데이터에 대한 실시간 분석이 어려운 상황이다. 본 논문에서는 급변하는 비즈니스 환경에 대한 대안으로 오픈소스 CEP(Complex Event Processing)기반 기술을 사용하여 초당 수백에서 수십만건 이상의 이벤트 스트림을 실시간으로 지연 없이 분석가능하게 하는 실시간 분석 시스템을 개발하여 병원 ERP시스템에 적용하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제22권4호
• /
• pp.21-30
• /
• 2016

위험관리 시스템은 단 시간에 의사결정하기 위해 스트림 데이터를 실시간으로 분석 할 수 있어야 한다. 많은 데이터 분석 시스템은 CPU와 디스크 데이터베이스로 구성되어 있다. 하지만, cpu 기반 시스템은 스트림 데이터를 실시간으로 분석하는데 어려움이 있다. 스트림 데이터는 1ms부터 1시간, 1일까지 생성주기가 다양하다. 한 개의 센서가 생성하는 데이터는 작다. 하지만 수 만개의 센서가 생성하는 데이터는 매우 크다. 예를 들어 10만개 센서가 1초에 1GB 데이터를 생성한다면, CPU 기반 시스템은 이를 분석 할 수 없다. 이러한 이유로 실시간 스트림 데이터 분석 시스템은 빠른 처리 속도와 확장성이 필요하다. 본 논문에서는 GPU와 하이브리드 데이터베이스를 이용한 시각화 가속 기술을 제안한다. 제안한 기술을 평가하기 위해 우리는 지하 파이프라인에 설치된 센서와 트윗 데이터를 활용하여 실시간 릭 탐지 시각적 분석 시스템에 적용했다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2013년도 추계학술발표대회
• /
• pp.172-175
• /
• 2013

사이버물리시스템(CPS)은 실시간 제약으로 타이밍에 민감한 특징이 있으며, 산업 영역에 적용시 시스템 동작과 안전필수 로그의 특정한 패턴을 나타내는 대용량의 실시간 데이터를 생성시킨다. 본 논문은 공개소스프로젝트인 하둡에코시스템을 이용한 CPS 데이터분석 아키텍처를 소개한다. CPS 처리의 특징 때문에 그 대용량의 데이터 처리는 하나의 머신에서 분석될 수 없으므로, 하둡에코시스템을 통하여 실시간 기반으로 생성되는 데이터를 저장하고 처리하는 시스템 아키텍처를 제안한다. 하둡분산파일시스템(HDFS)은 거대한 CPS 데이터의 저장을 위한 기본 파일시스템이고, 하이브는 데이터웨어하우징 처리를 위한 CPS 데이터분석에 사용된다. 플룸은 서버들로부터 데이터를 수집하고 HDFS에서 그 데이터를 처리하기 위해 사용되며, Rhive는 데이터 마이닝과 분석을 적용하기 위해 사용된다. 이러한 아키텍처를 개관하고, 또한 효과적인 데이터 분석을 위해 사용한 시스템 설계 전략을 소개한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (1)
• /
• pp.278-280
• /
• 1999

실시간 GIS 응용 프로그램에서는 기존의 GIS 시스템과는 달리 동적인 공간데이터가 신뢰성을 위해 일정한 시간 내에 갱신되어야 유효성을 유지하며, 사용자가 요청하는 질의는 일정 시간 내에 처리되어야 하는 시간제약조건을 갖는다. 이러한 GIS응용프로그램을 지원하기 위한 실시간 공간데이터베이스 시스템에서는 기존의 실시간 데이터베이스 시스템에서 고려되지 않은 동적 실시간 공간데이터와 실시간 공간질의에 대한 처리가 필요하며 질의 처리 시 실시간 데이터와 실시간트랜잭션의 시간제약조건의 만족을 초대화하기 위한 고려가 필요하다. 본 논문에서는 실시간 공간질의 처리 시 예측성을 최대화 하기 위해 질의에서 빈번히 사용되는 데이터를 주기억상주 데이터베이스에 저장하였고, 실시간 공간데이터의 관리를 위하여 공간질의어를 확장하였다. 또한 실시간 공간질의 처리 시에 실시간 데이터와 실시간트랜잭션의 시간제약조건을 최대한 만족시키기 위해 공간질의 분석과 연산 순서의 재배치 기법을 사용하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2017년도 춘계학술대회
• /
• pp.165-166
• /
• 2017

어느 곳에서나 실시간으로 데이터의 정보를 전달 받고 그를 의미 있는 데이터로 분석해 내는 것을 요구하고 있다. 이러한 분석을 위한 플랫폼에 대한 연구도 활발히 진행 중에 있다. 본 논문에서는 실시간으로 IoT 데이터를 수집하고 분석하는데 겪는 문제들을 해결해 내기 위해 중요한 요소가 무엇인지를 알아보려 한다. 기존의 데이터 수집 방법과 분석 방법보다 얼마나 더 나은지가 그 데이터의 가치를 판단하는 기준이 될 수 있다. 실시간으로 많은 곳에 있는 센서로부터 보다 빠르고 신속하게 데이터를 정확히 수집하고 저장하는 기술과 그 저장되어진 데이터로부터 값을 도출해 낼 수 있는 분석 방법이 중요하다. 따라서 IoT 환경에서의 분석 플랫폼의 중요한 요건은 대량의 데이터를 실시간 처리하고 그를 집중화 시켜 관리하는 것이라 할 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2005년도 춘계학술발표대회
• /
• pp.81-84
• /
• 2005

유비쿼터스 의료 기술이 본격화되면서 센서 네트워크를 통해 환자의 건강 관련 데이터 스트림을 수집하여 위험상황을 탐지하고 지속적인 건강 상태를 모니터링할 수 있게 되었다. 그러나 방대한 양의 스트림 데이터로부터 의미 있는 데이터를 효과적으로 찾아내기 위해서는 실시간으로 데이터의 갱신과 집계 연산이 가능해야 하고 데이터의 압축이 효율적으로 처리 될 수 있는 다차원 저장구조가 필요하다. 기존의 다차원 데이터 분석 도구인 OLAP 큐브 저장구조는 실시간 업데이트가 힘들고, 스트림 데이터 저장 구조인 DSMS들은 다차원 데이터 분석이 용이하지 않다. 이에 본 연구에서는 건강 스트림 데이터의 특징과 질의를 분석하고, 이러한 스트림 데이터에 적합한 저장구조의 요건을 제시하였다. 또한 점진적 갱신이 가능하고, 대용량 데이터를 시간 차원으로 압축, 삭제하기 용이하며 실시간에 분석 데이터 구축이 가능한 저장구조를 제안하고 그 효율성을 보였다.

• 한국IT서비스학회:학술대회논문집
• /
• 한국IT서비스학회 2005년도 춘계학술대회
• /
• pp.215-221
• /
• 2005

최근 RFID가 비즈니스의 여러 분야에서 추적시스템을 중심으로 도입되기 시작하고 있으며, 이러한 시스템들이 기업에 괄목할만한 효율성의 중가와 비용의 감소를 가져올 것으로 기대되고 있다. 한편, 기업의 대용량 정보저장고로 사용되어 온 데이터 웨어하우스는 생태적으로 과거의 정적인 데이터를 분석하도록 디자인 되었으며, 온라인 분석도구인 OLAP은 데이터 웨어하우스에 저장된 정적 데이터를 분석하는 도구로 사용됨으로 의사결정 지원의 역할을 하고 있다. 그렇다면 RFID를 통하여 실시간으로 수집되는 정보가 OLAP과 결합할 경우 그 정보는 추적과 같은 단순한 정보분석이 아니라 실시간 기반의 보다 중요한 의사결정을 위하여 사용될 수 있을 것이다. 본 연구에서는 데이터 웨어하우스의 정보소스를 확장하기 위한 노력의 일환으로 RFID와 데이터 웨어하우스의 통합모델을 제안한다. 그와 함께 RFID 기기를 통하여 수집된 실시간 기반의 동적인 정보를 분석할 수 있는 OLAP을 제시하고 있다. 그리고 이러한 개념을 프로토타입으로 구현함으로서 유비쿼터스 컴퓨팅 기술의 핵심을 이루고 있는 RFID가 데이터 웨어하우스에 정보소스를 제공할 수 있으며 온라인 분석도구와 결합될 경우 보다 강력한 의사결정 지원도구가 될 수 있음을 보여 준다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2019년도 제59차 동계학술대회논문집 27권1호
• /
• pp.1-4
• /
• 2019

Edge Computing 환경에서는 데이터 처리와 시스템 제어를 위한 별도의 서버가 존재하지 않는다. 서버를 통한 중앙통제 방식이 아닌 Edge computing에 사용된 IoT기기들이 연동되어 데이터 분산 처리와 연산을 통해 전체 시스템이 동작된다. 이러한 Edge computing 시스템 구조 특성상 전체 시스템이 과부하를 피하기 위해 각 IoT 기기에서 동시다발적으로 감지되는 실시간 상황 정보를 효율적으로 처리 하여야한다. 이에 따라 실시간 상황 정보를 효율적으로 처리하거나, 다양한 데이터 분석처리 알고리즘들이 연구 개발되어 데이터 처리에 적용되어 왔다. 하지만 데이터의 정보 흐름과 타입에 초점을 맞춘 것이 아니라 예상분석 및 획일화된 알고리즘을 통해서 분석되기 때문에 해당 플랫폼이 주로 지향하는 데이터 형식에 맞지 않으면 성능저하를 수반하며 사용에 제약이 많은 문제점이 있다. 따라서 본 논문에서는 IoT 환경에서 실시간 반응성 향상을 목표로 오픈소스 기반 스트림 데이터 처리 방법에 대한 비교 분석과 Fast-reaction을 위한 데이터 처리 도구 비교 분석을 연구를 진행한다.