• Annual Conference of KIPS
• /
• 2018.05a
• /
• pp.172-173
• /
• 2018

CCTV 기술은 실시간으로 영상을 수집하여 저장소에 보관하는 기술을 의미한다. 이러한 환경에서 데이터 저장소의 가용성은 매우 중요하다. 데이터가 축적될수록 스토리지 공간의 확장은 매우 중요해지며, 이를 위해 최근에는 클라우드 스토리지를 이용하여 저장 공간을 비교적 수월하게 확장하고 이용할 수 있는 환경이 제시되고 있다. 하지만 이러한 환경에서도 데이터의 지속된 저장은 저장 공간의 추가 이용을 위한 비용의 증가로 직결되기 때문에 데이터를 효율적으로 저장하기 위한 방안의 논의되었다. 데이터 중복제거 기술은 이러한 기술 중 하나로 데이터의 중복된 저장을 방지하여 스토리지 공간을 보다 효율적으로 이용할 수 있도록 하는 기술이다. 하지만 CCTV 환경에 클라우드 스토리지와 데이터 중복제거 기술을 적용하면서 추가적인 보안 이슈가 발생하였다. 따라서 본 연구에서는 이러한 문제를 해결하기 위한 연구를 수행하며, 이를 통해 보다 효율적인 데이터 저장을 수행하는 동시에 안전하게 데이터를 보관하는 방법을 제안한다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2017.05a
• /
• pp.165-166
• /
• 2017

It is demanding to receive information of data in real time anywhere and analyze it with meaningful data. Research on the platform for such analysis is actively underway. In this paper, we try to find out what are important factors in solving the problems of collecting and analyzing IoT data in real time. How much better than existing data collection methods and analytical methods can be the basis for judging the value of the data. It is important to accurately collect and store data more quickly and quickly from many sensors in real time in real time, and analytical methods that can derive values from the stored data. Therefore, an important requirement of the analysis platform in the IoT environment is to process large amount of data in real time and to centralize and manage it.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04b
• /
• pp.154-156
• /
• 2004

센서 네트웍, 유비쿼터스 컴퓨팅 환경으로 발전하면서 스트리밍 데이터와 같이 무한한 데이터의 처리에 대한 요구가 많이 커지고 있다. 스트리밍 데이터에 대한 질의 처리는 크게 실시간으로 처리가 요구되는 질의와 과거 데이터에 대한 동향 근사치 요청질의로 나누어질 수 있다. 기존의 스트리밍 데이터 처리에 대한 연구들은 실시간 질의 처리만을 고려하고 과거 데이터에 대한 질의에 대한 고려는 미약하다. 그리고 사용자가 과거의 데이터에 대한 동향 분석을 요청하는 질의, 또는 과거 어느 시점의 데이터에 대한 요청 혹은 근사치를 요구하는 질의에 대해서는 처리를 할 수 없는 한계점이 있다. 본 논문에서는 스트리밍 데이터 프로세서의 메모리의 범위를 넘어서서 삭제되는 과거 데이터를 디스크의 I/O처리 속도에 맞추기 위해서 로드 셰딩 기법을 적용해서 저장한 후에 개념 계층을 이용해서 사용자가 원하는 데이터만을 효과적으로 저장하는 기법을 제안한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04c
• /
• pp.241-243
• /
• 2003

일반적으로 사용되는 반도체 공정에 대한 진단 기법은 한 공정을 진행하기 전에 테스트 공정을 수행하여 공정의 진행 여부를 결정하고, 한 공정의 진행을 완료한 후에 다시 테스트 공정을 수행하여 공정의 결과를 진단하는 방법이다. 본 논문에서 제안하는 실시간 자동 진단 시스템은 기존 방법의 문제점인 자원의 낭비를 막고, 실시간으로 진단함으로써 시간의 낭비를 막는 진단 시스템을 제안한다. 실시간 자동 진단 시스템은 크게 시스템 초기화 단계, 학습 단계 그리고 예측 단계로 나누어진다. 초기화 단계는 진단할 공정에 대한 사전 입력값을 받아 시스템을 초기화하는 과정으로 공정장비 파라미터별 중요도 자동 설정 과정과 초기화 클러스터링으로 이루어진다. 학습 단계는 실시간으로 저장된 공정장치별 데이터와 계측기로부터 획득된 데이터를 이용하여 최적의 유사 클래스를 결정하는 단계와 결정된 유사 클래스를 이용하여 가중치를 학습하는 단계로 나누어진다. 예측 단계는 공정 진행 중 획득된 실시간 데이터를 학습 단계에서 결정된 파라미터별 가중치를 사용하여 공정에 대한 진단을 한다. 본 시스템에서 사용하는 클러스터링 알고리즘은 DTW(Dynamic Time Warping)를 이용하여 파라미터 데이터에 대한 특징을 추출하고 LBG(Linde, Buzo and Gray) 알고리즘을 사용하여 데이터를 군집화 한다.

• Annual Conference of KIPS
• /
• 2015.10a
• /
• pp.170-173
• /
• 2015

대규모 실험장비에서 발생하는 아주 큰 사이즈의 데이터를 처리하기 위해서 기존에는 수집 및 저장, 계산 장비로의 원거리 전송, 데이터 분석 등의 단계를 따로 처리해 왔다. 데이터의 양이 폭발적으로 증가하고 있고 동시에 데이터의 실시간 처리 요구가 증가하는 상황이다. 이에 본 연구에서는 추상화된 입출력 계층을 이용하여 마치 로컬 저장소에 있는 데이터를 사용하는 것과 같은 인터페이스를 통해 원거리에서 생성된 데이터 스트림을 실시간으로 이동하고 처리할 수 있는 기법을 소개한다. 또한 데이터 전처리 계산 위치를 송신 측으로 변경하여 대용량 데이터를 효과적으로 전송하기 기법을 제안한다.

• Proceedings of the Korea Society for Simulation Conference
• /
• 1997.04a
• /
• pp.75-80
• /
• 1997

본 연구에서는 대용량의 데이터를 고속으로 입출력할 수 있는 데이터 저장 시스템 이 가져야할 요구사항을 분석하고, 그것을 만족하는 시스템을 설계하였다. 본 논문에서는 우선 고속 대용량, 랜덤 억세스의 조건을 만족시키기 위해 여러 대의 하드 디스크를 병렬로 연결하여 입력되는 데이터들을 나누어 저장하도록 하였다. 그러나 하드 디스크의 성능은 디 스크 아암의 탐색동작에 의해 크게 영향을 받으므로 실시간 요구 조건을 만족시키기 위해선 단순히 디스크의 수를 늘이는 것 외에 디스크 아암의 탐색 동작을 효율적으로 제어할 수 있 는 방법이 필요하다. 그래서 본 논문에서 설계된 시스템에서는 시스템을 MCU(Master Control Unit), DDU(Data Distribution Unit), SCU(Slave Control Unit), DSU(Data Storage Unit)의 4부분으로 나누고, 각 디스크의 디스크 아암 탐색 동작을 독립된 SCU에서 제어하 도록 하였다. 설계된 내용이 주어진 요구사항들을 만족하는 것을 확인하기 위해, 본 논문에 서는 이산사건 시스템을 기술하는 수학적인 언어인 DEVS 형식론을 이용하여 제안된 시스 템을 기술하고 시뮬레이션하였다. 그리고 시뮬레이션되는 과정에서 생산되는 사건들의 궤적 을 분석하였다. 분석결과 제안된 시스템은 앞에서 제시한 여러 요구사항들을 잘 수용함을 보았다.

• Database Research
• /
• v.34 no.3
• /
• pp.58-68
• /
• 2018

Distributed computing helps to efficiently store and process large data on a cluster of multiple machines. The performance of distributed computing is greatly influenced depending on the state of the servers constituting the distributed system. In this paper, we propose a self-diagnosis system that collects log data in a distributed system, detects anomalies and visualizes the results in real time. First, we divide the self-diagnosis process into five stages: collecting, delivering, analyzing, storing, and visualizing stages. Next, we design a real-time self-diagnosis system that meets the goals of real-time, scalability, and high availability. The proposed system is based on Apache Flume, Apache Kafka, and Apache Storm, which are representative real-time distributed techniques. In addition, we use simple but effective moving average and 3-sigma based anomaly detection technique to minimize the delay of log data processing during the self-diagnosis process. Through the results of this paper, we can construct a distributed real-time self-diagnosis solution that can diagnose server status in real time in a complicated distributed system.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.26 no.8B
• /
• pp.1119-1128
• /
• 2001

본 논문에서는 이차원(2-D) 이산 웨이블릿 면환(Discrete Wavelet Transform, DWT)을 이용한 연상압축기를 FPGA 칩에서 실시간으로 동작 가능하도록 하는 효율적인 메모리 스케줄링 방법(E$^2$M$^2$)을 제안하였다. S/W적으로 위의 메모리 사상 방법을 검증한 후, 실제로 상용화된 SFRAM을 선정하여 메모리 제어기를 구현하였다. 본 논문에서는 Mallet-tree를 이용한 2-D DWT 영상압축 칩을 구현할 경우를 가정하였다. 이 알고리즘은 연산 과정에서 많은 데이터를 정장하여야 하는데, FPGA는 많은 데이터를 저장할 수 있는 메모리가 내장되어 있지 않으므로 외부 메모리를 사용하여야 한다. 외부메모리는 열(row)에 대해서만 연속(burst) 읽기, 쓰기 동작이 가능하기 때문에 Mallet-tree 알고리즘의 데이터 입출력을 그대로 적용할 경우 실시간 동작을 수행하는 DWT 압축 칩을 구현할 수 없다. 본 논문에서는 데이터 쓰기를 수행할 경우에는 메모리 셀(cell)의 수직 방향을 저장시키고 읽기를 수행할 때는 수평으로 데이터의 연속 읽기를 수행함으로써 필터가 항상 수평 방향에 위치하게 하는 방법을 제안하였다. 입방법을 C-언어로 DWT 커넬(Kernel)과 메모리의 에뮬레이터(emulator)를 구현하여 실험한 결과, Mallat-tree 이론을 그대로 적용시켰을 때와 동일한 필터링을 수행할 수 있음을 검증하였다. 또한, 상용화된 SDRAM의 메모리 제어기를 H/W로 구현하여 시뮬레이션 함으로써 본 논문에서 제안한 방법이 실제적인 하드웨어로 실시간 동작을 할 수 있음을 보였다.

• Review of KIISC
• /
• v.28 no.5
• /
• pp.20-25
• /
• 2018

본 논문에서는 사물인터넷 서비스와 블록체인 플랫폼간의 연동을 위한 아키텍처를 제안한다. 블록체인은 다양한 산업분야에서 데이터 신뢰성 및 안전성 측면에서의 효율성을 제공한다. 반면에 데이터 쓰기 및 읽기에 대한 낮은 성능 때문에 실제 서비스 적용하기 어렵다. 특히 사물인터넷 서비스와 같은 다량의 데이터가 발생하는 분야에서는 블록체인을 실질적으로 적용하기 어렵지만, 사물인터넷은 프라이버시 및 데이터 보안 측면에서 많은 보안 문제를 야기할 수 있는 분야로써, 블록체인을 통한 데이터 추적 및 신뢰성 보안을 필수적으로 요구된다. 본 논문에서는 이와 같이 실시간성과 신뢰성을 보장하기 위한 사물인터넷 연동형 블록체인 플랫폼 아키텍처를 소개한다. 실시간성을 유지하기 위해서 단일 피어 검증을 통한 실시간 데이터 관리를 활용하며, 신뢰성 유지를 위해서 합의를 통한 분산원장을 활용한다. 단일 피어 검증 데이터는 합의 과정을 거치기 이전에 데이터를 수신받은 단일피어가 분산원장과 별도의 상태 데이터베이스를 통해 실시간 데이터를 저장하여 실시간 서비스에 제공한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10b
• /
• pp.205-207
• /
• 2001

본 논문은 홈 네트워크 환경에서 스트리밍 데이터를 재생하는 MPEG-1 미디어 재생기를 구현한다. 이것은 실시간 운영체제인 내장형 리눅스 상에서 구현하였으며 실시간 응용 프로그램의 일관성과 호환성을 유지하기 위하여 자바 기반의 JNI 언어를 사용한다. JNI는 C언어와 같은 네이티브 코드와 자바 사이의 연동을 가능하게 하는 인터페이스이다. 이렇게 구현된 홈서버용 MPEG-1 미디어 재생기는 사용자에게 홈 네트워크 환경에서 홈서버에 저장되어 있는 멀티미디어 데이터 재생은 물론이고 외부에서 제공되는 멀티미디어 데이터를 실시간으로 서비스 받을 수 있도록 한다.