• 제목/요약/키워드: 데이터 감소 기법

검색결과 1,295건 처리시간 0.055초

개념 변동 고차원 스트리밍 데이터에 대한 차원 감소 방법 (Dimension Reduction Methods on High Dimensional Streaming Data with Concept Drift)

  • 박정희
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권8호
    • /
    • pp.361-368
    • /
    • 2016
  • 고차원데이터에 대한 차원 감소 기법들은 많이 연구되어져 온 반면, 개념 변동을 가진 고차원 스트리밍 데이터에서 적용할 수 있는 차원 감소 기법에 대한 연구는 제한적이다. 이 논문에서는 스트리밍 데이터에서 적용할 수 있는 점층적 차원 감소 기법들을 살펴보고, 개념 변동 고차원 스트리밍 데이터에 대해 분류 성능을 향상시킬 수 있도록 차원 감소를 효과적으로 적용하는 방법을 제안한다.

맵리듀스의 처리 속도 향상을 위한 데이터 접근 패턴에 따른 핫-데이터 복제 기법 (A Hot-Data Replication Scheme Based on Data Access Patterns for Enhancing Processing Speed of MapReduce)

  • 손인국;류은경;박준호;복경수;유재수
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2013년도 춘계 종합학술대회 논문집
    • /
    • pp.11-12
    • /
    • 2013
  • 최근 대규모 데이터의 처리와 관리를 위한 분산 저장 및 처리 시스템의 연구 및 활용이 중요해지고 있다. 대표적인 분산 저장 및 처리시스템으로써 하둡(Hadoop)이 널리 활용되고 있다. 하둡 분산 파일 시스템을 기반으로 수행되는 맵-리듀스에서 테스크 할당은 데이터의 로컬리티를 고려하여 최대한 가깝게 할당한다. 하지만 맵-리듀스에서의 데이터 분석 작업에서 작업 형태에 따라 빈번하게 요청되는 데이터가 존재한다. 이러한 경우, 해당 데이터의 낮은 로컬리티로 인해 수행시간 증가 및 데이터 전송의 지연의 문제점을 야기 시킨다. 본 논문에서는 맵-리듀스의 처리 속도 향상을 위한 데이터 접근 패턴에 따른 핫-데이터 복제 기법을 제안한다. 제안하는 기법에서는 데이터 접근 패턴에 따라 높은 접근 빈도를 보이는 핫-데이터에 대한 복제본 최적화 알고리즘을 활용하여 데이터 로컬리티를 향상시키고 결과적으로 작업 수행시간을 감소시킨다. 제안하는 기법은 기존 기법에 비해 모든 노드의 데이터 이동이 감소하여 접근빈도의 분포가 균형적인 것을 확인하였다. 성능평가 결과, 기존 기법에 비해 접근 빈도의 부하가 약 8% 감소하는 것을 확인하였다.

  • PDF

무선 멀티미디어 센서 네트워크에서 고효율 데이터 압축 기법 (A High-efficiency Data Compression Scheme in Wireless Multimedia Sensor Networks)

  • 박준호;류은경;손인국;유재수
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2013년도 춘계 종합학술대회 논문집
    • /
    • pp.9-10
    • /
    • 2013
  • 최근 무선 센서 네트워크는 멀티미디어 센서 노드에서 비디오나 이미지와 같은 멀티미디어 데이터 수집을 바탕으로 고품질의 모니터링을 수행한다. 그러나 멀티미디어 데이터는 크기가 매우 크므로 데이터 전송 과정에서 특정 노드에 과도한 에너지 소모를 야기하여 전체 네트워크 수명이 감소하는 문제점이 있다. 이러한 점을 고려하여, 본 논문에서는 무선 멀티미디어 센서 네트워크에서 고효율 데이터 압축 기법을 제안한다. 제안하는 기법에서는 멀티미디어 데이터의 특성을 고려한 낮은 순위 비트 데이터 삭제 기반의 1단계 압축 및 중국인의 나머지 정리 기반의 2단계 압축으로 구성된 다중 압축을 수행함으로써 데이터 크기를 감소시킨다. 성능평가 결과, 기존 압축 기법에 비해 데이터 전송률이 평균 약 56% 감소하였다.

  • PDF

무선 센서 네트워크에서 딜레이 기반의 에너지 효율적이며 신뢰성 있는 데이터 전송기법 (Advanced Delay-based Reliable Data Transmission for Efficiency in Wireless Sensor Networks)

  • 손민한;추현승
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.665-667
    • /
    • 2011
  • 최근에 에너지 효율적이며 신뢰성 있는 데이터 전송을 보장하기 위한 많은 라우팅 기법의 연구가 진행되고 있다. 하지만 현재까지 무선센서네트워크에서의 표준 라우팅 기법이 없는 상황에서 신뢰성을 제공하기 위한 새로운 라우팅 기법을 제안하는 것은 실용적이지 않으며 비효율적이다. 본 논문에서는 신뢰성 있는 데이터 전송을 범용적으로 보장하기 위해서 기존의 라우팅 기법의 신뢰성 및 확장성을 제공하는 모듈기법인 DRDT(Delay-based Reliable Data Transmission)를 향상시킨 ADRDT(Advenced Delay-based Reliable Data Transmission) 기법을 제안한다. ADRDT는 수신노드가 불안정한 링크상태로 인해 데이터 수신을 실패하는 경우 데이터를 오버히어링한 헬퍼노드(helper node)의 협력적인 재전송을 통해 신뢰성을 제공한다. 헬퍼노드는 수신노드의 이웃노드가 데이터를 오버히어링할 때 딜레이를 이용한 분산적 방법을 통해 동적으로 선정되며, 수신노드와의 링크상태를 고려하기 때문에 효과적으로 재전송 횟수를 감소시킨다. 제안 기법은 기존 기법과 비교해 전송 비용을 약 16.5% 감소시킨다.

비동기식 회로의 신호 천이 감소 방법 (Signal Transition Reducing method of Asynchronous Circuits)

  • 이원철;이제훈;조경록
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2003년도 하계종합학술대회 논문집 II
    • /
    • pp.971-974
    • /
    • 2003
  • 본 논문은 DI(delay insensitive) 지연 모델을 적용한 비동기 회로의 데이터 전송시 발생되는 신호 천이의 수를 감소시키기 위한 새로운 데이터 인코딩 기법과 신호 천이 방법을 제시한다. DI 지연 모델을 적용한 비동기 시스템은 배선 지연에 관계없이 동작이 필요한 모듈에만 데이터와 핸드쉐이크를 위한 이벤트 신호를 전송하는 장점을 갖는다. 그러나 신호의 유효성과 동작 완료 검출을 위해 듀얼레일 데이터 인코딩이 필요하며 이는 비동기 회로의 크기를 증가시키고 이로 인해 전력 소비가 증가한다. 전력 소비를 감소시키기 위해 신호 천이의 수를 줄여야 하며, 본 논문에서는 제안한 신호 천이 기법을 적용하여 실험적으로 약 21%의 전력 소비 감소 결과를 얻었다.

  • PDF

공간 데이터 웨어하우스 구축기에서 추출된 데이터의 효율적인 적재를 위한 테이블 단위의 데이터 관리 기법 (Data Management Method of Table Unit for Efficient Load in a Spatial Data Warehouse Builder)

  • 김형선;유병섭;박순영;이재동;배해영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.79-81
    • /
    • 2005
  • 공간 데이터 웨어하우스 구축기는 운영 데이터베이스의 데이터를 추출하여, 공간 데이터 웨어하우스 서버에 적재하는 과정을 효율적으로 관리하는 시스템이다. 구축기는 적재로 인한 서버의 부하를 줄이기 위하여 적재할 데이터를 임시 저장하는데, 기존 기법은 적재할 데이터를 하나의 저장 공간에 관리한다. 따라서 서버가 특정 차원 테이블에 대한 실시간 질의처리를 위해 특정 차원 테이블의 즉시 적재를 요청할 경우, 구축기는 이를 위해 임시 저장한 모든 데이터를 검색하므로 처리비용이 증가한다. 또한, 하나의 저장공간에 적재할 데이터를 유지하여 서버에 데이터 적재 시, 저장을 위해 혼합된 데이터를 분석하는 비용이 증가한다. 본 논문에서는 공간 데이터 웨어하우스 구축기에서 추출된 데이터의 효율적인 적재를 위한 테이블 단위의 데이터 관리 기법을 제안한다. 제안 기법은 운영 데이터베이스로부터 추출한 데이터를 서버에 적재할 차원 테이블 단위로 구축기에서 각각 다른 저장 공간에 관리한다. 따라서 테이블 단위의 데이터 관리로 실시간 질의처리를 위한 특정 차원 테이블의 즉시 적재 비용이 감소하며, 테이블 단위의 병렬전송이 가능하여 전송비용이 감소한다. 또한, 서버로 전송된 데이터는 테이블 단위의 벌크 삽입이 가능하여 적재시간이 감소한다.

  • PDF

MapReduce와 시공간 데이터를 이용한 빅 데이터 크기의 이동객체 갱신 횟수 감소 기법 (Update Frequency Reducing Method of Spatio-Temporal Big Data based on MapReduce)

  • 최용권;백성하;김경배;배해영
    • Spatial Information Research
    • /
    • 제20권2호
    • /
    • pp.137-153
    • /
    • 2012
  • 지금까지 대규모의 이동객체 관리를 위해 갱신 비용을 감소시킬 수 있는 인덱스 기법들이 제안되었다. 이동객체 인덱스는 빈번하게 위치정보가 변화하는 이동객체를 관리하기 위해 주기적으로 갱신 되어야 하기 때문이다. 그러나 이러한 기법들은 이동객체의 수가 현저히 증가하는 경우 인덱스의 갱신 가능범위를 초과하는 부하가 발생한다. 본 논문에서는 이처럼 기존의 처리 가용량을 초과하는 빅 데이터 크기의 이동객체에서 발생하는 갱신요청들을 MapReduce와 기존 인덱스기법을 조합하여 감소시키는 기법을 제안한다. 이 기법에서는 수많은 이동객체에서 발생하는 갱신요청들을 MapReduce를 이용하여 각각의 이동객체 별로 그룹화하는 방법을 사용한다. 각 이동객체 별로 그룹화 데이터들의 최신의 데이터와 가장 오래된 데이터를 비교하여 갱신여부를 판단하고 최신의 요청만 갱신하도록 하여 전체 갱신 횟수를 크게 감소시킨다. 갱신이 지연된 경우 기존의 갱신요청들을 가지고 있는 해시 테이블에 일정기간 보관하여 지연된 갱신요청이 분실되지 않고 지속적으로 갱신되도록 한다. 실험을 통해 제안한 기법을 적용한 경우와 적용하지 않은 경우를 비교해 전체 갱신 횟수 및 갱신 비용이 감소되는 것을 알 수 있다.

무선 멀티미디어 센서 네트워크에서 에너지 효율적인 동적 영역 선택적 암호화 기법 (An Energy-Efficient Dynamic Area-Selective Encryption Scheme for Wireless Multimedia Sensor Networks)

  • 김동주;이상규;박준호;성동욱;유재수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(D)
    • /
    • pp.202-204
    • /
    • 2012
  • 무선 멀티미디어 센서 네트워크는 무선 통신과 비정형 네트워크 토폴로지를 기반으로 운용되며 스트리밍 미디어 데이터가 연속적으로 전송되기 때문에 악의적인 목적을 가진 사용자의 공격에 쉽게 노출이 된다. 따라서 무선 멀티미디어 센서 네트워크에서 보안은 필수적이다. 모든 대용량 데이터를 암호화 하는 것은 한정적인 자원을 가지고 있는 무선 센서 네트워크에서는 적합하지 않으므로 데이터의 일부만을 암호화 하는 선택적 암호화 기법에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 프레임 간의 동적인 움직임을 감지하고 이를 압축 하고 암호화하는 선택적 암호화 기법을 제안한다. 동적인 영역만을 암호화함으로써 암호화 대상 데이터의 크기를 효과적으로 감소시킴으로써 스트리밍 데이터에 적합하며 전체적인 네트워크 수명을 연장시키는 것이 가능하다. 제안하는 기법의 우수성을 보이기 위해 기존 기법과 제안하는 기법의 성능 평가를 수행한다. 성능평가 결과, 제안하는 기법은 기존 기법에 비해 데이터 전송량이 약 80.3% 감소했으며, 영상을 전송하기 위한 에너지 소모는 약 76.9% 감소하였다.

주문형 데이타 방송을 위한 인덱스 구성 (Index Organization for On-Demand Data Broadcast)

  • 강선희;이상돈
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
    • /
    • pp.217-219
    • /
    • 2004
  • 무선 이동 컴퓨팅 환경에서 자원의 비대칭성을 효과적으로 극복하는 것이 매우 중요하다. 이 중에서도 배터리 용량은 클라이언트의 유용성을 결정하는 중요한 자원이다. 그러므로 무선 컴퓨팅 환경에서 매우 효과적인 데이터 방송 기법은 데이터를 빠르게 전달하는 것은 물론 이동 클라이언트의 배터리 소모를 감소시킬 수 있는 효율적인 데이터 전달 기법을 필요로 한다. 본 논문에서는 주문형 데이터 방송 환경을 위한 인덱스 구성 방안을 제안한다 제안 기법은 방송 서버에서 대기중인 데이터 접근 요구 중 방송 우선순위가 높은 일부 데이터를 대상으로 인덱스를 구성하여 미리 방송함으로써 이를 참조하는 클라이언트의 적응시간을 감소시켜 전력소모를 줄이도록 한다. 제안 기법이 효과적으로 이동 클라이언트의 적응 시간을 감소시키는 것을 실험을 통해 검증한다.

  • PDF

데이터 스트림 환경에서 데이터 완전도 보장을 위한 과부하 예측 부하 분산 기법 (Load balancing method of overload prediction for guaranteeing the data completeness in data stream)

  • 김영기;신숭선;백성하;이동욱;김경배;배해영
    • 한국멀티미디어학회논문지
    • /
    • 제12권9호
    • /
    • pp.1242-1251
    • /
    • 2009
  • 유비쿼터스 환경에서 데이터 스트림 관리 시스템(Data Stream Management System: DSMS)은 수많은 센서로부터 생성되는 대량의 데이터 스트림을 처리한다. 기존의 시스템은 처리 능력 이상의 데이터 스트림이 입력되면 데이터의 일부를 제거하여 적정 부하를 유지하는 부하 제한 기법(Load Shedding)을 사용한다. 부하 제한 기법은 입력되는 데이터의 일부를 의도적으로 손실하여 데이터 완전도(Data Completeness)가 감소하기 때문에 처리 결과의 신뢰도 또한 감소한다. 따라서 본 논문에서는 시스템 처리 능력 이상의 데이터 스트림 입력 시 데이터 완전도 보장을 위한 과부하 예측 부하 분산 기법을 제안한다. 제안 기법은 데이터 손실이 예상되는 부하 시점을 미리 예측하고 예측된 부하 시점에 도달 시 부하를 분산하여 데이터 손실을 감소시킨다. 본 논문에서는 기존의 부하 제한 기법과의 비교 실험을 통해 제안 기법의 성능을 평가한다.

  • PDF