• 전자통신동향분석
• /
• 제26권1호
• /
• pp.80-88
• /
• 2011

데이터의 효과적인 활용이 경쟁력 확보에 주요한 요인이나, 데이터 폭증은 유용한 정보를 얻는데 필요한 처리 시간의 지연을 야기하고 있다. 개인 맞춤형 서비스, 방범 방재 서비스 등 모니터링 & 대응 서비스를 위해 분석할 데이터의 양이 급증하고 있으며, 텍스트, 영상, 오디오 등 비정형 데이터에 대한 실시간 분석 필요성이 증대하고 있다. 대량의 폭증하는 데이터에 대한 실시간 분석 처리 환경을 제공하기 위해 분산 병렬 컴퓨팅 기술과 데이터 스트림 연속 처리 기술이 활용되고 있다. 본고에서는 폭증하는 데이터 스트림 처리를 위하여 확장성 및 유연한 처리 환경을 제공하는 분산 스트림 컴퓨팅 기술에 대해 소개한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2018년도 제58차 하계학술대회논문집 26권2호
• /
• pp.364-366
• /
• 2018

본 논문에서는 Digital Twin 기반 건설기계 지능화를 위한 실시간 건설기계 데이터 처리 및 이상 유무 예측 시스템을 제안한다. 이 시스템은 빅 데이터 분산처리 기반으로 실시간 스트리밍 처리가 가능하며, CEP(Complex Event Processing)의 Sliding Window Operator를 활용한 Rule 적용을 통해 건설기계 데이터 처리 및 분석한다. 분석된 결과로 건설기계의 실시간 이상 유무를 판단할 수 있으며, 결과를 기반으로 Deep Learning 기술을 적용하고 학습된 모델을 통해 건설기계의 이상 유무를 예측하여 원활한 부품관리를 할 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2014년도 추계학술발표대회
• /
• pp.1177-1180
• /
• 2014

본 논문은 생산설비 PLC(Programmable logic Controller) 데이터의 실시간 공유 플랫폼을 설계한다. 이 플랫폼은 자동화 설비를 보유하고 운영 중인 수출집약 중소기업에서 FTA(Free Trade Agreement) 체결 수입 상대국의 원산지 증명을 위한 생산 시험성적서 제출에 활용할 수 있고, 생산설비의 OPC 서버가 갖는 실시간 데이터를 수집하는 라이브러리를 활용하여 MES(Manufacturing Execution System)에서 생성되는 다양한 실시간 데이터를 활용하여 그래프, 생산관리 모니터링 및 설비 관리를 가능케한다. 따라서 중소기업이 생산관리, 공정관리, PLC 데이터공유 등에 필요한 수준별 분야별로 실시간 제조운영관리 시스템의 확대 보급이 가능하고, 생산설비의 실시간 제어가 가능하도록 설계한다.

• 데이타베이스연구회지:데이타베이스연구
• /
• 제34권3호
• /
• pp.58-68
• /
• 2018

분산 컴퓨팅이란 다수의 서버로 구성된 분산 시스템에서 데이터를 효율적으로 저장 및 처리하는 기술이다. 따라서 분산 시스템을 구성하는 서버의 상태에 따라 분산 컴퓨팅의 성능에 큰 영향을 미친다. 본 논문은 분산 시스템에서 실시간으로 발생하는 시스템 자원의 로그 데이터를 수집하고 이상을 탐지하여 결과를 시각화하는 자가 진단 시스템을 제안한다. 먼저, 자가 진단 과정을 수집, 전달, 분석, 저장, 시각화의 다섯 단계로 구분한다. 다음으로, 자가 진단 과정이 실시간성, 확장성, 고가용성의 목표를 만족하도록 실시간 자가 진단 시스템을 설계한다. 본 시스템은 대표적인 실시간 분산 기술인 Apache Flume, Apache Kafka, Apache Storm을 기반으로 구현되어 실시간성, 확장성, 고가용성의 세 가지 목표를 만족할 수 있다. 또한, 자가 진단 과정에서 로그 데이터 처리의 지연을 최소화하도록 간단하지만 효과적인 이동 평균 및 3-시그마 기반 이상 탐지 기법을 사용한다. 본 논문의 결과를 통해, 분산 시스템 내에서 서버 상태를 실시간으로 진단할 수 있는 분산 실시간 자가 진단 시스템을 구축할 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2000년도 추계학술발표논문집 (하)
• /
• pp.1541-1544
• /
• 2000

본 논문은 이동 컴퓨팅 환경에서 실시간 데이터의 전송시 발생하는 패킷 손실에 관한 문제를 다룬다. 현재 인터넷 상에서의 실시간 데이터 전송은 주로 RTP/RTCP 프로토콜[1]을 이용하는데, 이 프로토콜은 안정된 전송을 보장받지 못하며, 따라서 패킷 손실을 피할 수 없다[2,3]. 특히, 제한된 무선 대역폭과 높은 BER(bit error rate) 특성을 갖는 이동 컴퓨팅 환경에서는 기존의 인터넷보다도 더 많은 패킷들이 손실될 수 있다. 본 논문에서는, 이동 컴퓨팅 환경에서 실시간 데이터 전송시 발생되는 패킷 손실 특성을, 길버트 모델에 기초하여 확률적으로 분석하고, 이를 기반으로 새로운 복구 방법을 제안한다. 제안하는 실시간 데이터의 복구 방법에서는 패킷에 부가하는 잉여 데이터의 개수를 가변적으로 조절함으로써, 사용 중인 네트워크의 패킷 손실 특성을 반영할 수 있다. 특히, 잉여 데이터들의 오프셋 값들을 비연속적으로 설정함으로써, 간헐적이거나 연속적인 패킷 손실 모두에 대처할 수 있는 특징이 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2011년도 추계학술발표대회
• /
• pp.467-470
• /
• 2011

일반 PC의 메인 메모리에 올릴 수 없는 거대 용량의 데이터의 경우 가시화를 통한 해석을 수행하는데 어려움이 많다. 본 논문에서는 이러한 거대 용량의 데이터를 실시간으로 처리하기 위한 분산 환경에서의 가시화 서버의 설계를 제안한다. 본 논문에서 제안하는 가시화 서버는 가시화 관리자, 네트워크 관리자, 데이터 관리자로 구분되며 이들 관리자를 통해 복수의 사용자에 대한 가시화 서비스 제공, 거대 데이터의 실시간 동적 데이터 분할 및 할당 및 실시간 가시화를 지원한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2010년도 추계학술발표대회
• /
• pp.177-180
• /
• 2010

RFID를 기반으로 유비쿼터스 환경의 응용 서비스를 지원하는 미들웨어는 지속적으로 끊임없이 입력되는 데이터 스트림을 실시간으로 처리하고 응용 서비스에서 요구하는 결과를 획득하여 전달해야 한다. 이와 같은 요구사항을 만족하기 위해 데이터 스트림 관리 시스템(DSMS)이 제안되었으며 다양한 연구가 시도되고 있다. 본 논문에서는 대량의 이벤트가 입력되는 환경에서 우선순위가 높은 질의를 실시간으로 처리하기 위한 DSMS를 제안하고 있다. 본 연구는 스탠포드의 STREAM 프로젝트를 활용하여 설계 및 구현하였으며, 각 쿼리를 State Thread로 동작시키는 방법을 이용하였다. 쓰레드 라이브러리의 스케줄러 부분을 실시간 스케줄러로 개선하는 작업을 진행하였으며, 실험을 통하여 쓰레드 스케줄러가 질의에 대해서 실시간으로 스케줄링을 할 수 있음을 보이고 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2013년도 추계학술발표대회
• /
• pp.176-179
• /
• 2013

본 연구는 최근 활성화된 스마트폰 내비게이션의 교통정보를 이용 시 상대적으로 품질이 취약한 지방지역의 빠른길 및 통행시간 정확도를 개선하는 방안에 대한 연구이다. 본 연구에서는 Hadoop기술을 이용하여 교통데이터에 대한 방대한 양의 데이터를 분석 처리한다. 특히, 실시간 교통정보가 제대로 수집되지 않는 지역의 도로 속도 정보에 대한 개선 방안으로 고객 단말로부터 올라오는 위치 데이터를 실시간으로 수집하여 전자지도 기본 속성값을 실시간 통계 데이터로 교체 반영하여 상대적으로 취약한 지방지역의 경로 품질 및 경로 탐색을 개선하는 방안을 제시하였다. 단말로부터 올라오는 많은 양의 GPS 위치정보등 대용량 데이터 처리를 위해 오픈소스프로젝트인 Hadoop플랫폼 환경에서 빅데이터 처리용 오픈소스를 활용하여 고가의 RDBMS를 대체하는 효과와 시간 단축의 효과를 기대할 수 있게 되었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 추계학술발표대회
• /
• pp.552-555
• /
• 2016

본 논문에서는 데이터 스트림 대상의 필터링 문제를 다룬다. 데이터 스트림은 지속적으로 생성되며, 크기 또한 거대해서 이를 실시간 처리하기 위해서는 분석에 불필요한 데이터를 충분히 필터링해야 한다. 하지만, 기존 필터링 알고리즘은 하나의 데이터 형식에만 사용이 가능하여 다양하고 복잡한 스트림 환경에서는 사용하기가 어렵다. 따라서, 본 논문에서는 이 같은 문제를 해결하기 위해 스트림 형식에 따라 필터링 알고리즘을 다양하게 선택할 수 있는 필터링 시스템을 제안한다. 그리고 실시간 필터링을 위해 대표적인 오픈소스 DSMS(data stream management system)인 에스퍼 기반으로 구현한다. 또한 웹 기반 클라이언트-서버 모델로 확장 구현하여 사용자가 언제 어디에서든 필터링 시스템을 사용할 수 있게 한다. 제안하는 에스퍼 기반 실시간 필터링 시스템은 데이터 스트림으로 실시간 데이터 스트림과 벌크 데이터 스트림을 지원한다. 그리고 필터링 알고리즘으로 질의 필터링, 블룸 필터링, 베이지안 필터링을 제공한다. 제안하는 필터링 시스템 구현 결과, 데이터 스트림 특성에 적합한 필터링 알고리즘을 선택적으로 제공함으로써, 사용자가 보다 정확하고 효율적으로 의미있는 데이터를 추출 가능하게 하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (B)
• /
• pp.400-404
• /
• 2008

무인항공기를 이용한 실시간 공중 모니터링은 재난 재해, 테러 등의 위기상황을 사전에 대비하고, 사고 발생 시 피해상황을 신속하게 파악할 수 있는 효율적인 관리 시스템이다. 실시간 공중 모니터링을 위해 무인항공부문에서는 고성능의 카메라, 관성항법장치, 레이저 스캐너, GPS 수신기 등의 다중 센서들을 장착하고, 제어하며 각 센서들로부터 입력받은 데이터 처리 및 지상국으로 데이터 전송이 실시간으로 가능해야 한다. 기존 무인 모니터링 시스템들은 카메라와 같이 단일 센서의 운용을 목적으로 설계되었으나, 본 연구에서는 레이져 스캐너, 적외선카메라를 포함하는 다중센서를 위한 컴퓨터를 설계하였다. 최근 다중센서를 장착한 관측시스템에 관한 연구가 미국 및 유럽에서 수행되고 있으나, 아직 개발이 완료되지 않은 상태이다. 본 논문에서는 고성능 다중 센서 데이터 처리를 위해 실시간 소프트웨어, 고속 대용량 데이터처리 기술, 고속 압축 기술, 이기종 다중 센서들 간의 시각 동기화 기능을 제공하는 탑재컴퓨터의 설계결과를 소개하였다.