• 제목/요약/키워드: 스트림 데이터 축소

검색결과 12건 처리시간 0.028초

다변량 스트림 데이터 축소 기법 평가 (Evaluation of Multivariate Stream Data Reduction Techniques)

  • 정훈조;서성보;최경주;박정석;류근호
    • 정보처리학회논문지D
    • /
    • 제13D권7호
    • /
    • pp.889-900
    • /
    • 2006
  • 센서 네트워크는 애플리케이션 분야에 따라 데이터 특성과 사용자의 요구사항이 다양함에도 불구하고, 현존하는 스트림 데이터 축소 연구는 데이터의 본질적인 특징보다 특정 축소 기법의 성능 향상 측면에 중점을 두고 있다. 이 논문은 계층/분산형 센서 네트워크 구조와 데이터 모델을 소개하고, 선택적으로 축소 기법을 적용하기 위해 데이터 특성과 사용자의 요구에 적합한 다변량 데이터 축소 기법을 비교 평가한다. 다변량 데이터 축소 기법의 성능을 비교 분석하기 위해, 우리는 웨이블릿, HCL(Hierarchical Clustering), SVD(Singular Value Decomposition), 샘플링과 같은 표준화 된 다변량 축소 기법을 이용한다. 실험 데이터는 다차원 시계열 데이터와 로봇 센서 데이터를 사용한다. 실험 결과 SVD와 샘플링 기법이 상대 에러 비율과 수행 성능 측면에서 웨이블릿과 HCL기법에 비해 우수하였다. 특히 각 데이터 축소 기법의 상대 에러 비율은 입력 데이터 특성에 따라 다르기 때문에 선택적으로 데이터 축소 기법을 적용하는 것이 좋은 성능을 보였다. 이 논문은 다차원 센서 데이터가 수집되는 센서 네트워크를 디자인하고 구축하는 응용 분야에 유용하게 활용될 것이다.

유비쿼터스 센서 네트워크에서 스트림 데이터를 효율적으로 관리하는 저장 관리자 구현 (Implementation of Storage Manager to Maintain Efficiently Stream Data in Ubiquitous Sensor Networks)

  • 이수안;김진호;신성현;남시병
    • 전자공학회논문지CI
    • /
    • 제46권3호
    • /
    • pp.24-33
    • /
    • 2009
  • 유비쿼터스 센서 네트워크를 통해 수집되는 데이터는 끊임없이 변화하는 스트림 데이터이다. 이 스트림 데이터는 기존의 데이터베이스와는 매우 다른 특성을 가지고 있어서, 이를 저장하고 분석 및 질의 처리하는 방법에 대한 새로운 기법이 필요하며, 이에 대한 연구가 최근에 많은 관심을 끌고 있다. 본 연구에서는 센서 네트워크로부터 끊임없이 들어오는 스트림 데이터를 수집하고 이를 효율적으로 데이터베이스에 저장하는 저장 관리자를 구현하였다. 이 저장 관리자는 무선 센서 환경에서 발생하는 오류에 대한 정제, 반복적으로 센싱되는 동일한 데이터에 대한 축소 기능, 장기간의 스트림 데이터를 경동 시간 구조로 유지하는 기능 등을 제공한다. 또 이 연구에서는, 구현된 저장 관리자를 건물의 온도, 습도, 조도 등을 수집하는 건물 화재 감시 센서네트워크에 적용하여 그 성능을 측정하였다. 실험 결과, 이 저장 관리자는 스트림 데이터의 저장 공간을 현저히 줄이며, 건물 화재 감시를 위한 장기간의 스트림 데이터를 저장하는데 효과적임을 보였다.

u-Health 시스템에서 슬라이딩 윈도우 기반 스트림 데이터 처리 (Stream Data Processing based on Sliding Window at u-Health System)

  • 김태연;송병호;배상현
    • 한국정보전자통신기술학회논문지
    • /
    • 제4권2호
    • /
    • pp.103-110
    • /
    • 2011
  • u-Health 시스템의 센서들로부터 측정된 데이터에 대한 정확하고 에너지 효율적인 관리가 필요하다. 센서네트워크에서 대용량의 입력 스트림 데이터 전체를 데이터베이스에 모두 저장하여 한꺼번에 처리하는 것은 효율적이지 못하다. 본 논문에서는 u-Health 시스템 내 센서 네트워크의 에너지 효율성과 정확성을 고려하여 여러 센서에서 지속적으로 들어오는 다차원 스트림 데이터의 처리 성능을 높이고자 한다. 효율적인 입력 스트림 처리를 위해서 슬라이딩 윈도우 기반으로 질의를 처리하고 Mjoin 방법으로 다중 질의 계획을 수립한 후 역전파 알고리즘을 통해 저장 데이터를 축소하는 효율적인 처리 기법을 제안한다. 14,324개의 데이터 집합을 사용하여 실험한 결과 실제 입력되는 데이터보다 저장 공간의 18.3%를 축소함으로써 효과적임을 보였다.

디지털 선박 내 다차원 센서 스트림 데이터의 효율적인 처리 (Efficient Processing of Multidimensional Sensor stream Data in Digital Marine Vessel)

  • 송병호;박경우;이진석;이경효;정민아;이성로
    • 한국통신학회논문지
    • /
    • 제35권5B호
    • /
    • pp.794-800
    • /
    • 2010
  • 디지털 선박에서는 선박 내의 각종 센서로부터 측정된 디지털 데이터에 대한 정확하고 에너지 효율적인 관리가 필요하다. 센서 네트워크에서 대용량의 입력 스트림 데이터 전체를 데이터베이스에 모두 저장하여 한꺼번에 처리하는 것은 효율적이지 못하다. 본 논문에서는 디지털 선박 내 센서 네트워크의 에너지 효율성과 정확성을 고려하여 여러 센서에서 지속적으로 들어오는 다차원 스트림 데이터의 처리 성능을 높이고자 한다. 디지털 선박 내에 다수 개의 센서(온도, 습도, 조도, 음성 센서)를 배치하고 효율적인 입력 스트림 처리를 위해서 슬라이딩 윈도우 기반으로 질의를 처리하고 Mjoin 방법으로 다중 질의 계획을 수립한 후 SVM 알고리즘을 통해 저장 데이터를 축소하는 효율적인 처리 기법을 제안한다. 분류된 데이터들 중 필요하지 않는 데이터는 자동으로 데이터베이스에서 삭제되고 유효한 데이터는 디지털 선박 모니터링 시스템에 이용하였다. 35,912개의 데이터 집합을 사용하여 실험한 결과 실제 입력되는 데이터보다 저장 공간의 18.3%를 축소함으로써 효과적임을 보였다.

센서 네트워크를 위한 PCA 기반의 데이터 스트림 감소 기법 (A PCA-based Data Stream Reduction Scheme for Sensor Networks)

  • 알렉산더 페도시브;최영환;황인준
    • 인터넷정보학회논문지
    • /
    • 제10권4호
    • /
    • pp.35-44
    • /
    • 2009
  • 데이터 스트림이란 새로운 개념과 기존의 단순 데이터 사이에 존재하는 개념적 차이를 극복하기 위해서는 많은 연구가 필요하다. 대표적인 예로써 센서 네크워크에서의 데이터 스트림 처리를 들 수 있는 데, 이를 위해서는 대역폭이나 에너지, 메모리와 같은 자원적 한계에서 부터 연속 질의를 포함하는 질의처리의 특수성까지 고려해야 할 대상이 광범위하다. 본 논문에서는 데이터 스트림 처리에서의 물리적 제약사항에 해당하는 한정된 메모리 문제를 해결하기 위해 PCA 기법을 기반으로 하는 데이터 스트림 축소 방안을 제안하다. PCA는 상호 관련된 다수의 변수들을 관련이 없는 적은 수의 변수로 변환해준다. 본 논문에서는 질의 처리 엔진의 협력을 가정하고서 센서 네크워크의 스트림 데이터 처리를 위해 PCA 기법을 적용하며, 다른 센서로부터 얻어진 많은 측정값 사이에 시공간적 관련성을 이용한다. 최종적으로 그러한 데이터 처리를 위한 프레임워크를 제시하고 다양한 실험을 통하여 기법의 성능을 분석한다.

  • PDF

데이터 스트림 시스템에서 과거 공간질의 처리를 위한 고속 로딩 기법 (High-Performance Loading Method for Historical Spatial Query Processing in Data Stream System)

  • 신재완;백성하;이동욱;신승선;김경배;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.397-400
    • /
    • 2008
  • 무한히 발생되는 실시간 데이터와 디스크에 저장된 히스토리컬 데이터를 동시에 처리하는 하이브리드 질의에 관한 연구가 활발히 이루어지고 있다. 하이브리드 질의는 디스크에 저장된 대용량의 공간 데이터 처리를 위해 빠른 디스크 입/출력을 요구한다. 이러한 데이터를 처리하기 위해 인덱스, 데이터 축소 기법등이 연구되었다. 데이터의 빠른 검색을 위한 인덱스 기법은 디스크에 분산 저장된 데이터에 대한 탐색 비용과 입/출력 비용을 줄이지 못한다. 또한, 샘플링을 통해 디스크 입/출력 시간 비용을 줄이는 데이터 축소 기법은 데이터의 정확성을 떨어뜨려 정확성을 요구하는 하이브리드 질의에서는 이용하기가 어렵다. 이논문에서는 디스크 입/출력 시간과 디스크 탐색 시간 비용을 줄이고, 정확성을 보장하는 과거 공간질의 처리를 위한 고속로딩 기법을 제아난다. 제안기법은 공간을 그리드 형태로 나누고 인접한 공간 데이터를 함께 관리함으로써 디스크 입/출력 비용을 줄 일 수 있다. 또한, 공간적으로 인접한 데이터를 물리적으로 인접한 곳에 저장하여 디스크 탐색시간 비용을 줄일 수 있다. 이렇게 저장된 데이터는 손실 없이 모두 저장되며, 정확성 또는 보장할 수 있다.

적응적 웨이블릿 변환을 사용한 영상 코딩 기법에 관한 연구 (A Study of Image Coding Technique Using Adaptive Wavelet Transform)

  • 김혜경;이옥경;오해석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (2)
    • /
    • pp.386-388
    • /
    • 1999
  • 본 논문은 이미지 데이터의 효율적인 코딩에 대한 새로운 방법을 나타낸다. 웨이블릿 변환을 기초로 한, 알고리즘은 서브밴드 간의 남아 있는 상관관계를 이용한다. 웨이블릿 계수들에 대한 성공적인 대략값은 계층적인 심볼 스트림을 초래하고, 그것은 PSD(의미있는 자손에 대한 예언)과 함께 매우 높게 압축된다. 코딩 알고리즘은 이미지 컨텐트에 대한 높은 적응성에 의해 그 자체를 구별한다. 초래하는 비트스트림은 그것들의 중요도에 대한 순서에 있어서 모든 이미지 정보를 구성한다. 그러므로 그것은 위험한 디코딩 과정 없이 어떤 지점에서 절단하는 것이 가능하다. 이러한 내장된 비트스트림의 이점은 공간적인 규모성(scalability)과 왜곡율이다. 좀 더 나은 향상은 웨이블릿 패킷으로 알려진 새로운 적응적인 웨이블릿 변환을 사용하여 획득된다. 초기의 기법들과 적합하지 않은 현재의 서브밴드에 대한 관련성있는 통계적인 특성들(특히 상관관계)은 처음으로 분석된다. 그것들에 의존하는, 서브밴드가 분해 유무에 관계없이 분해 결정이 만들어진다. 이러한 결과는 최고의 기본적인 선택이 아니고 최적에 가까운 분해 구조를 초래한다. 본 논문에서 제안한 모델의 가장 주요한 이점은 계산적인 비용의 축소이다.

  • PDF

효율적인 플로우 및 멀티캐스팅 인증 기법 방안 (Efficient Digital Signature Scheme for Flows and Multicasts)

  • 백재종;강명호;송주석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (3)
    • /
    • pp.287-289
    • /
    • 2000
  • 처리시간 지연에 민감한 패킷 플로우, 비디오, 오디오 스트림과 같은 어플리케이션을 보안성이 없는 인터넷상에서 멀티캐스팅할 때에 데이터의 기밀성, 메시지 또는 발신자 인증, 무결성 그리고 부인 방지 등의 보안 서비스를 제공하기 위해서는 여러 가지 암호 및 인증 기법이 필요하다. 본 논문에서는 이러한 멀티캐스트 스트림과 플로우에 대한 서명/인증 기법의 특성과 요구사항을 분석해 보고 기존에 제시된 each-sign 기법, one-time 서명 기법, star-chaining 기법, 그리고 Tree-chaining 기법에 대한 상호 비교 및 분석을 통해 이들의 서명/검증 계산시간과 통신 트래픽 오버헤드에 대한 단점을 효율적으로 개선하여 Enhanced Tree-chaining 기법을 제안한다. 서명 및 검증 시간은 약 50% 단축되며 통신 오버헤드는 log2n배 축소되는 향상을 기대할 수 있다. 또한 인증 소요 시간에 주요 요인이 되는 것은 서명/검증의 계산시간이 아니라 chaining 오버헤드의 크기임을 유추해 낸다.

  • PDF

인구통계특성 기반 디지털 마케팅을 위한 클릭스트림 빅데이터 마이닝 (Clickstream Big Data Mining for Demographics based Digital Marketing)

  • 박지애;조윤호
    • 지능정보연구
    • /
    • 제22권3호
    • /
    • pp.143-163
    • /
    • 2016
  • 인구통계학적 정보는 디지털 마케팅의 핵심이라 할 수 있는 인터넷 사용자에 대한 타겟 마케팅 및 개인화된 광고를 위해 고려되는 가장 기초적이고 중요한 정보이다. 하지만 인터넷 사용자의 온라인 활동은 익명으로 행해지는 경우가 많기 때문에 인구통계특성 정보를 수집하는 것은 쉬운 일이 아니다. 정기적인 설문 조사를 통해 사용자들의 인구통계특성 정보를 수집할 수도 있지만 많은 비용이 들며 허위 기재 등과 같은 위험성이 존재한다. 특히, 모바일 환경에서는 대부분의 사용자들이 익명으로 활동하기 때문에 인구통계특성 정보를 수집하는 것은 더욱 더 어려워지고 있다. 반면, 인터넷 사용자의 온라인 활동을 기록한 클릭스트림 데이터는 해당 사용자의 인구통계학적 정보에 활용될 수 있다. 특히, 인터넷 사용자의 온라인 행위 특성 중 하나인 페이지뷰는 인구통계학적 정보 예측에 있어서 중요한 요인이 된다. 본 연구에서는 기존 선행 연구를 토대로 클릭스트림 데이터 분석을 통해 인터넷 사용자의 온라인 행위 특성을 추출하고 이를 해당 사용자의 인구통계학적 정보 예측에 사용한다. 또한, 1)의사결정나무를 이용한 변수 축소, 2)주성분분석을 활용한 차원축소, 3)군집분석을 활용한 변수축소의 방법을 제안하고 실험에 적용함으로써 많은 설명변수를 이용하여 예측 모델 생성 시 발생하는 차원의 저주와 과적합 문제를 해결하고 예측 모델의 정확도를 높이고자 하였다. 실험 결과, 범주의 수가 많은 다분형 종속변수에 대한 예측 모델은 모든 설명변수를 사용하여 예측 모델을 생성했을 때보다 본 연구에서 제안한 방법론들을 적용했을 때 예측 모델에 대한 정확도가 향상됨을 알 수 있었다. 본 연구는 클릭스트림 분석을 통해 추출된 인터넷 사용자의 온라인 행위는 해당 사용자의 인구통계학적 정보 예측에 활용 가능하며, 예측된 익명의 인터넷 사용자들에 대한 인구통계학적 정보를 디지털 마케팅에 활용 할 수 있다는데 의의가 있다. 또한, 제안 방법론들을 통해 어느 종속변수에 대해 어떤 방법론들이 예측 모델의 정확도를 개선하는지 확인하였다. 이는 추후 클릭스트림 분석을 활용하여 인구통계학적 정보를 예측할 때, 본 연구에서 제안한 방법론을 사용하여 보다 높은 정확도를 가지는 예측 모델을 생성 할 수 있다는데 의의가 있다.

멀티미디어 스트리밍 전송을 위한 네트워크 지연감소 기법에 관한 연구 (A Study of Network Delay Reduction Scheme for Multimedia Streaming Transfer)

  • 김형진;유인호
    • 한국산학기술학회:학술대회논문집
    • /
    • 한국산학기술학회 2006년도 춘계학술발표논문집
    • /
    • pp.489-493
    • /
    • 2006
  • 본 논문에서는 화상회의나 VOD(주문형비디오)와 같은 멀티미디어 응용은 주기적인 데이터 전송을 위해서 많은 전송 대역폭을 요구하고 있다. 그러나 인터넷과 같은 TCP/IP 기반의 통신망에서는 멀티미디어 스트림을 주기적으로 전송하고 이에 필요한 대역폭의 할당 가능성을 보장할 수가 없다. 따라서 본 논문은 주기적으로 네트워크 상태를 감시하여 필요에 따라 송신자의 전송율을 조정하며, 미리 채널에 대한 요구를 예측하고 네트워크 상태에 대한 피드백 정보를 통해 멀티미디어 데이터의 실시간 전송과 서비스 품질을 유지하기 위한 네트워크 지연시간 축소 기법을 제시하였다.

  • PDF