• 한국콘텐츠학회논문지
• /
• 제9권1호
• /
• pp.147-158
• /
• 2009

최근 스트림데이터 환경의 데이터 모델은 데이터의 양이 아주 크고 연속적이며 무한하다. 이에 반해 제한된 용량의 디스크나 메모리 등을 이용해서 질의 처리나 데이터 분석을 처리한다. 이러한 환경에서 트랜잭션 데이터베이스에 대한 전통적인 빈발패턴탐사는 불가능하다고 할 수 있다. 왜냐하면, 연속적으로 들어오는 스트림 데이터에 대해 어떤 항목집합이 빈발항목인지 아닌지에 대한 정보를 계속적으로 유지 관리하기가 어렵기 때문이다. 본 논문에서는 연속적으로 들어오는 스트림 데이터에 회귀모델을 적용하여 빈발 항목들을 예측할 수 있는 방법을 제안한다. 스트림 데이터로부터 회귀모델을 생성함으로써 불확실한 항목들에 대한 예측 모델로 사용할 수 있다. 다양한 실험을 통하여 제안하는 방법이 스트림 데이터 환경의 데이터에 효율적으로 사용될 수 있음을 보인다.

• 한국컴퓨터정보학회논문지
• /
• 제14권2호
• /
• pp.69-77
• /
• 2009

스트림 서비스 환경에서는 지속적으로 입력되는 막대한 양의 데이터에 대해 원하는 조건을 탐색하는 실시간 질의처리가 요구된다. 기존의 R-tee기반 질의처리 기술은 각 이벤트에 대해 트리 전체에 대해 동일한 탐색과정을 반복해야 하므로 이를 효율적으로 감당할 수 없었다. 한편 센서 측정값을 비롯한 대부분의 스트림 데이터는 매우 높은 지역성을 가지며 이를 활용하여 탐색 공간을 크게 줄일 수 있다. 따라서 본 연구에서는 스트림 데이터의 지역성을 활용하여 스트림 환경에 적합한 질의처리 기법을 제안하였다. 또한 이 프레임웍을 활용하여 스트림 환경에서 어플리케이션이 요구하는 다양한 질의처리 서비스를 개발할 수 있을 것으로 기대된다. 본 연구에서 구현한 프로토타입 시스템을 스트림 환경에 적용해 얻은 실험 결과를 통해, 스트림 환경에서 기존질의처리 기법보다 더 적합하고 효율이 크게 개선됨을 확인할 수 있었다.

• 전자통신동향분석
• /
• 제26권1호
• /
• pp.80-88
• /
• 2011

데이터의 효과적인 활용이 경쟁력 확보에 주요한 요인이나, 데이터 폭증은 유용한 정보를 얻는데 필요한 처리 시간의 지연을 야기하고 있다. 개인 맞춤형 서비스, 방범 방재 서비스 등 모니터링 & 대응 서비스를 위해 분석할 데이터의 양이 급증하고 있으며, 텍스트, 영상, 오디오 등 비정형 데이터에 대한 실시간 분석 필요성이 증대하고 있다. 대량의 폭증하는 데이터에 대한 실시간 분석 처리 환경을 제공하기 위해 분산 병렬 컴퓨팅 기술과 데이터 스트림 연속 처리 기술이 활용되고 있다. 본고에서는 폭증하는 데이터 스트림 처리를 위하여 확장성 및 유연한 처리 환경을 제공하는 분산 스트림 컴퓨팅 기술에 대해 소개한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2008년도 제38차 하계학술발표논문집 16권1호
• /
• pp.189-192
• /
• 2008

최근에 제한된 데이터 셋보다 센서 데이터 처리, 웹 서버 로그나 전화 기록과 같은 다양한 트랜잭션 로그 분석등과 관련된 대용량 데이터 스트림을 실시간으로 처리하는 것에 많은 관심이 집중되고 있으며, 특히 데이터 스트림의 조인 처리에 대한 관심이 증가하고 있다. 본 논문에서는 조인 연산을 빠르게 처리하기 위한 효율적인 해시 구조와 조인 방법에 대해서 연구하고 다양한 환경에서 제안 방법을 검증한다.

• 한국공간정보시스템학회 논문지
• /
• 제11권3호
• /
• pp.31-39
• /
• 2009

유비쿼터스 환경에서 발생하는 실시간 데이터스트림의 처리 및 관리에 대한 요구사항이 증가되고 있다. 특히 인터넷 보안, 공장 자동화 기기설비 관리 등에서 발생하는 데이터스트림은 대용량 데이터가 실시간으로 발생하는 특징을 가지고 있어 이를 처리하기 위한 특화된 DSMS의 저장관리자의 개발이 요구된다. Coral8과 같은 기존의 DSMS의 경우 일반적인 데이터스트림의 처리가 가능 하지만 초당 10만 건 이상의 대용량의 실시간 데이터스트림이 발생하는 특수한 상황의 경우 이에 대한 처리 성능이 부족하며, 이에 대한 저장이 불가능하다. 관련 분야에서 일반적으로 사용되는 오라클10g의 경우 저장, 관리 성능은 우수하지만 실시간 데이터스트림 처리에 대한 고려가 되어 있지 않다. 본 논문에서는 삼성전자, 하이닉스, HP 등에 반도체, LCD 제조공장의 생산 기계에서 발생하는 대용량 데이터스트림을 실시간 압축 저장이 가능한 DSMS 저장관리자를 설계 및 구현하였다. 본 문에서는 시스템의 구조 및 주요 컴포넌트에 대해 설명하며, 관련시스템과 비교 평가를 통해 제안 시스템의 우수성을 보인다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2000년도 정기총회 및 학술대회
• /
• pp.95-100
• /
• 2000

본 논문에서는 디지털 TV 방송 스트림을 분석, 검증하기 위한 시스템을 PC 상에서 소프트웨어 기반으로 구현하였다. 저장되어 있는 MPEG-2 트란스포트 스트림(transport stream, TS) 파일을 입력으로 받으며 별도의 하드웨어 장치를 사용하지 않는다. 이 분석기는 PSI(program specific information), TS 섹션, TS 헤더 등 기본 내용뿐만 아니라, TS 패킷들을 오디오, 비디오, PCR(program clock reference), 부가 데이터, 널(null) 패킷 등으로 구분하여 그래픽 사용자 인터페이스 통하여 보여 준다. 또한, 현재 표시되고 있는 TS 패킷과 가장 가까운 I 프레임를 디스플레이 해줌으로써 비트스트림 상의 오류 부분과 실제 영상과 쉽게 매칭시킬 수 있도록 해 준다. 본 논문의 분석기는 MPEG-2 비트스트림 적합성 검사 기능도 제공하며, 데이터 방송을 위한 여러 가지 부가 데이터를 MPEG-2 기본 스트림에 삽입하는 기능도 갖고 있다. 본 논문의 분석기를 이용함으로써 저비용으로 방송 스트림을 분석, 검증할 수 있을 뿐만 아니라, 실험실 연구를 위한 데이터 방송용 비트스트림을 저비용으로 제작할 수 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(C)
• /
• pp.148-150
• /
• 2012

최근 대용량 스트림 데이터에 대한 요구사항이 발생하고 있다. 이때 모든 대용량 스트림을 실시간으로 좋은 서비스를 제공하는 것은 실제적으로 불가능하다. 즉 대용량 스트림 데이터에 대한 QoS(Quality of Service: 서비스 품질)이 중요한 이슈가 되고 있다. 이러한 QoS를 정의하기 위해서는 센서 스트림 데이터에 대한 우선순위 부여방법이 가장 원천적으로 중요한 사항이 된다. 현재 센서 네트워크상에서의 서비스 품질은 연구되고 있지만 미들웨어 레이어에서의 우선순위 부여 방법에 대한 연구가 미비하다. 센서 스트림은 자체적으로는 우선순위를 가질 수 없으므로 사용자 질의 우선순위와 센서 스트림의 발생 시간등을 고려하여 대용량 센서 스트림에 대한 우선순위를 부여하는 방법을 제안한다.

• 한국전자통신학회논문지
• /
• 제9권10호
• /
• pp.1079-1085
• /
• 2014

변화하는 연속적인 데이터가 대량으로 유입되는 스트림 형태의 센서 데이터에 대한 분석은 궁극적으로 상황인식에 도달할 수 있어야 한다. 본 연구에서 가변적이며 연속적으로 입수되는 센서 데이터 스트림을 분석하여 상황을 추론하는 방안을 제안한다. 연속적인 스트림 형태를 가지는 센서 데이터를 분류하기 위하여 센서로 부터 보내온 각 센서 데이터에 내포된 값들을 평가하고, 시간에 따른 변화를 토대로 신뢰도를 계산하였다. 각 데이터들이 구성하는 상황요인을 설정하였고 각 요인들의 변화를 추정할 수 있도록 함으로써 상황 추론이 가능함을 보였다.

• 정보처리학회논문지D
• /
• 제16D권5호
• /
• pp.673-682
• /
• 2009

웹상에서 데이터 교환과 표현을 위한 표준으로 XML 데이터가 널리 사용되고 있으며 유비쿼터스 환경에서 XML 데이터의 형태는 연속적이다. 이와 관련하여 XML 스트림 데이터에 대한 빈발 구조 추출 및 효율적인 질의처리를 위한 마이닝 방법들이 연구되고 있다. 이 논문에서는 슬라이딩 윈도우 기반으로 하여 XML 스트림 데이터로부터 최근 윈도우 범위에 속하는 데이터에 대한 빈발 패턴 구조를 추출하기 위한 마이닝방법을 제안한다. 제안된 방법은 XML 스트림 데이터를 트리집합 모델, XFP_tree로 표현하고 이를 이용하여 최근의 데이터에 대한 빈발구조 패턴을 빠르게 추출한다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 1998년도 추계학술발표논문집
• /
• pp.191-195
• /
• 1998

최근 인터넷상에서는 이형 네트워크 상황에서 효율적인 화상회의를 하기 위한 연구가 활발히 진행되고 있다. 이형 네트워크에서 화상회의를 효과적으로 수행하기 위해서는 각 수신자의 네트워크 상태에 알맞게 데이터를 보내주어야 한다. 이러한 문제를 해결하기 위해서 McCanne은 계층적 코딩 방식과 RLM(Receiver-driven Layered Multicast)방식을 결합하여 사용할 것을 제안하였다. 계층적 코딩 방식은 하나의 이미지 프레임을 여러 계층의 데이터 스트림으로 나누는 방식으로 수신자는 많은 계층의 스트림을 받아볼수록 선명한 영상을 볼 수 있다. RLM은 각 수신자의 네트워크 상태에 따라 몇 개의 데이터 스트림을 수신할 것인가를 결정하는 방식이다.. 본 논문에서는 기존 RLM방식의 효율을 향상시킬 수 있는 적응적 기법을 제안한다. 기존의 RLM방식은 무작위적으로 정한 시간에 수신하는 데이터 스트림의 개수를 증가시키고 또한 네트워크가 정체가 되면 수신하는 데이터 스트림의 개수를 감소시키는 방식을 사용한다. 본 논문에서는 데이터 스트림의 개수를 증가시키는 시간을 네트워크의 상태에 따라 적응적으로 결정하는 기법을 소개한다. 시뮬레이션 실험에 의하면 적응적 기법이 기존 RLM에 비해 네트워크 사용 효율을 10%-30%정도 향상시킨다.