• Title/Summary/Keyword: 데이터 감소

Search Result 4,304, Processing Time 0.036 seconds

Dimension Reduction Methods on High Dimensional Streaming Data with Concept Drift (개념 변동 고차원 스트리밍 데이터에 대한 차원 감소 방법)

  • Park, Cheong Hee
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.5 no.8
    • /
    • pp.361-368
    • /
    • 2016
  • While dimension reduction methods on high dimensional data have been widely studied, research on dimension reduction methods for high dimensional streaming data with concept drift is limited. In this paper, we review incremental dimension reduction methods and propose a method to apply dimension reduction efficiently in order to improve classification performance on high dimensional streaming data with concept drift.

Signal Transition Reducing method of Asynchronous Circuits (비동기식 회로의 신호 천이 감소 방법)

  • 이원철;이제훈;조경록
    • Proceedings of the IEEK Conference
    • /
    • 2003.07b
    • /
    • pp.971-974
    • /
    • 2003
  • 본 논문은 DI(delay insensitive) 지연 모델을 적용한 비동기 회로의 데이터 전송시 발생되는 신호 천이의 수를 감소시키기 위한 새로운 데이터 인코딩 기법과 신호 천이 방법을 제시한다. DI 지연 모델을 적용한 비동기 시스템은 배선 지연에 관계없이 동작이 필요한 모듈에만 데이터와 핸드쉐이크를 위한 이벤트 신호를 전송하는 장점을 갖는다. 그러나 신호의 유효성과 동작 완료 검출을 위해 듀얼레일 데이터 인코딩이 필요하며 이는 비동기 회로의 크기를 증가시키고 이로 인해 전력 소비가 증가한다. 전력 소비를 감소시키기 위해 신호 천이의 수를 줄여야 하며, 본 논문에서는 제안한 신호 천이 기법을 적용하여 실험적으로 약 21%의 전력 소비 감소 결과를 얻었다.

  • PDF

통계적 척도 선택 방법에 따른 네트워크 침입 분류의 성능 비교

  • Mun, Gil-Jong;Kim, Yong-Min;Noh, Bong-Nam
    • Review of KIISC
    • /
    • v.19 no.2
    • /
    • pp.16-25
    • /
    • 2009
  • 네트워크 기술의 발달에 따른 서비스의 증가는 네트워크 트래픽과 함께 취약점도 증대하여 이를 악용하는 행위도 늘어나고 있다. 따라서 네트워크 침입탐지 시스템은 증가하는 트래픽의 양을 처리할 수 있어야 하며, 악의적인 행동을 효과적으로 탐지 할 수 있어야 한다. 증가하는 트래픽을 효과적으로 처리하고 탐지의 정확성을 높이기 위해 처리 데이터를 감소시키는 기술이 요구된다. 이러한 방법들은 크게 데이터 필터링, 척도 선택, 데이터 클러스터링의 영역으로 구분되며, 본 논문에서는 척도 선택의 방법으로 데이터 처리의 감소 및 효과적 침입탐지를 수행할 수 있음을 보이고자 한다. 실험 데이터는 KDDCUP 99 데이터 셋을 이용하였으며, 통계적 척도선택의 방법으로 분류율, 오탐율, 거리값, 규칙, 선택된 척도 등을 제시함으로써 침입 탐지 시 데이터 처리량이 감소하였고, 분류율은 증가, 오탐율은 감소하여 침입 탐지 정확성이 높아짐을 알 수 있었다. 또한 본 논문에서 제시한 방법이 다른 관련연구에서 제시한 선택 척도보다 높은 정확성을 보임으로써 보다 유용함을 증명할 수 있었다.

A High-efficiency Data Compression Scheme in Wireless Multimedia Sensor Networks (무선 멀티미디어 센서 네트워크에서 고효율 데이터 압축 기법)

  • Park, Junho;Ryu, Eunkyung;Son, Ingook;Yoo, Jaesoo
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2013.05a
    • /
    • pp.9-10
    • /
    • 2013
  • 최근 무선 센서 네트워크는 멀티미디어 센서 노드에서 비디오나 이미지와 같은 멀티미디어 데이터 수집을 바탕으로 고품질의 모니터링을 수행한다. 그러나 멀티미디어 데이터는 크기가 매우 크므로 데이터 전송 과정에서 특정 노드에 과도한 에너지 소모를 야기하여 전체 네트워크 수명이 감소하는 문제점이 있다. 이러한 점을 고려하여, 본 논문에서는 무선 멀티미디어 센서 네트워크에서 고효율 데이터 압축 기법을 제안한다. 제안하는 기법에서는 멀티미디어 데이터의 특성을 고려한 낮은 순위 비트 데이터 삭제 기반의 1단계 압축 및 중국인의 나머지 정리 기반의 2단계 압축으로 구성된 다중 압축을 수행함으로써 데이터 크기를 감소시킨다. 성능평가 결과, 기존 압축 기법에 비해 데이터 전송률이 평균 약 56% 감소하였다.

  • PDF

Data Management Method of Table Unit for Efficient Load in a Spatial Data Warehouse Builder (공간 데이터 웨어하우스 구축기에서 추출된 데이터의 효율적인 적재를 위한 테이블 단위의 데이터 관리 기법)

  • Kim, Hyung-Sun;You, Byeong-Seob;Park, Soon-Young;Lee, Jae-Dong;Bae, Hae-Young
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07b
    • /
    • pp.79-81
    • /
    • 2005
  • 공간 데이터 웨어하우스 구축기는 운영 데이터베이스의 데이터를 추출하여, 공간 데이터 웨어하우스 서버에 적재하는 과정을 효율적으로 관리하는 시스템이다. 구축기는 적재로 인한 서버의 부하를 줄이기 위하여 적재할 데이터를 임시 저장하는데, 기존 기법은 적재할 데이터를 하나의 저장 공간에 관리한다. 따라서 서버가 특정 차원 테이블에 대한 실시간 질의처리를 위해 특정 차원 테이블의 즉시 적재를 요청할 경우, 구축기는 이를 위해 임시 저장한 모든 데이터를 검색하므로 처리비용이 증가한다. 또한, 하나의 저장공간에 적재할 데이터를 유지하여 서버에 데이터 적재 시, 저장을 위해 혼합된 데이터를 분석하는 비용이 증가한다. 본 논문에서는 공간 데이터 웨어하우스 구축기에서 추출된 데이터의 효율적인 적재를 위한 테이블 단위의 데이터 관리 기법을 제안한다. 제안 기법은 운영 데이터베이스로부터 추출한 데이터를 서버에 적재할 차원 테이블 단위로 구축기에서 각각 다른 저장 공간에 관리한다. 따라서 테이블 단위의 데이터 관리로 실시간 질의처리를 위한 특정 차원 테이블의 즉시 적재 비용이 감소하며, 테이블 단위의 병렬전송이 가능하여 전송비용이 감소한다. 또한, 서버로 전송된 데이터는 테이블 단위의 벌크 삽입이 가능하여 적재시간이 감소한다.

  • PDF

리모트센싱 데이터를 이용한 컴퓨터그래픽에 의한 도시 토지피복 및 녹지경관의 변화 특성

  • 한갑수;김경남
    • Proceedings of the Korean Environmental Sciences Society Conference
    • /
    • 2003.05a
    • /
    • pp.351-353
    • /
    • 2003
  • 위성데이터를 이용한 토지피복분류에 의한 녹지의 경년변화의 특성 및 표고데이터와의 중첩에 의한 CG의 작성에 의해 경관으로서의 토지피복의 경년별 변화특성을 파악하였다. 1989년에서 2000년에 걸쳐 녹지는 약 3.9% 감소하였으며, 경관화상을 통해서는 약 2.3% 감소한 것으로 분석되었다 평면적인 녹지의 감소가 경관상의 녹지량의 감소율과 깊은 관련이 있는 것이 확인되었다.

  • PDF

A Hot-Data Replication Scheme Based on Data Access Patterns for Enhancing Processing Speed of MapReduce (맵리듀스의 처리 속도 향상을 위한 데이터 접근 패턴에 따른 핫-데이터 복제 기법)

  • Son, Ingook;Ryu, Eunkyung;Park, Junho;Bok, Kyoungsoo;Yoo, Jaesoo
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2013.05a
    • /
    • pp.11-12
    • /
    • 2013
  • 최근 대규모 데이터의 처리와 관리를 위한 분산 저장 및 처리 시스템의 연구 및 활용이 중요해지고 있다. 대표적인 분산 저장 및 처리시스템으로써 하둡(Hadoop)이 널리 활용되고 있다. 하둡 분산 파일 시스템을 기반으로 수행되는 맵-리듀스에서 테스크 할당은 데이터의 로컬리티를 고려하여 최대한 가깝게 할당한다. 하지만 맵-리듀스에서의 데이터 분석 작업에서 작업 형태에 따라 빈번하게 요청되는 데이터가 존재한다. 이러한 경우, 해당 데이터의 낮은 로컬리티로 인해 수행시간 증가 및 데이터 전송의 지연의 문제점을 야기 시킨다. 본 논문에서는 맵-리듀스의 처리 속도 향상을 위한 데이터 접근 패턴에 따른 핫-데이터 복제 기법을 제안한다. 제안하는 기법에서는 데이터 접근 패턴에 따라 높은 접근 빈도를 보이는 핫-데이터에 대한 복제본 최적화 알고리즘을 활용하여 데이터 로컬리티를 향상시키고 결과적으로 작업 수행시간을 감소시킨다. 제안하는 기법은 기존 기법에 비해 모든 노드의 데이터 이동이 감소하여 접근빈도의 분포가 균형적인 것을 확인하였다. 성능평가 결과, 기존 기법에 비해 접근 빈도의 부하가 약 8% 감소하는 것을 확인하였다.

  • PDF

A Revised Algorithm for Estimating Queuing Time in Sensor Data Processing with Multiple Resources for U-Services (유비쿼터스 서비스를 위한 복수의 자원을 가지는 센서 데이터 처리 대기시간 산출 수정 알고리즘 개발)

  • Kang, Kyung-Woo;Kwon, Oh-Byung
    • The Journal of Information Systems
    • /
    • v.20 no.4
    • /
    • pp.163-180
    • /
    • 2011
  • 실시간 유비쿼터스 환경의 규모성 향상을 위하여 각 처리 단계에 복수의 자원이 투입될 수 있다. 각 처리 단계에 복수의 자원이 배정되면 처리 단계 내에서 병렬로 처리되는 센서 데이터가 증가하기 때문에 후행 센서 데이터는 선행 센서 데이터의 처리 종료를 반드시 기다릴 필요가 없게 된다. 처리 과정이 서로 독립적인 센서 데이터들이 발생하면 후행 센서 데이터의 대기시간은 달라지게 된다. 본 연구에서는 복수의 자원이 사용 가능 할 때 후행 센서 데이터의 대기시간을 산출하는 알고리즘을 제안하였다. 또한 실험을통하여 센서데이터의증가가 대기시간 감소에얼마나 영향을 줄수 있는지를 알아보았다. 실험을 통해 얻어진 결과는 자원이 개수를 2배 증가시키면 대기시간의 감소는 2배 이상이라는 것이다. 복수의 자원을 각 처리 단계에서 센서데이터에 할당하는 방법에 따라 실험을 수행하였다. 첫 번째는 순차적으로 센서 데이터에게 자원을 할당하는 방법이고 두 번째는 자원이 처리해야 할 센서데이터 처리시간 합이 균등하도록 할당하는 방법이다. 두 가지 방법에 대한 실험으로 얻어진 결과는 자원을 할당함에 있어서 순차적으로 할당하는 것보다는 처리 시간 합이 균등하도록 자원을 할당하는 것이 대기시간 감소에 효과적이었다.

Data Preprocessing for Predicting Sarcopenia Based on Machine Learning (기계학습 기반 근감소증 예측을 위한 데이터 전처리 기법)

  • Yoon Choi;Yourim Yoon
    • The Journal of the Convergence on Culture Technology
    • /
    • v.9 no.3
    • /
    • pp.737-744
    • /
    • 2023
  • Sarcopenia is an increasingly common disease among the elder that has recently received attention. Although the causes of sarcopenia are diverse, aging, dietary habits, lack of exercise are the one of the major factors. As the causes of sarcopenia are diverse, it is important to develop strategies for prevention and treatment. However, predicting sarcopnia accuartely is difficult due to the variety of factors involved. Here, machine learning can significantly improve the accuracy and convenience of predicting sarcopenia. However, since lifestyle habits and biological data are vast, using data without preprocessing may be inappropriate in terms of time complexity and accuracy. This paper reviews recent literature on sarcopnia and its causes, focusing on preprocessing the data to be used in sarcopnia prediction machine learning accrodingly.

Index Organization for On-Demand Data Broadcast (주문형 데이타 방송을 위한 인덱스 구성)

  • 강선희;이상돈
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10b
    • /
    • pp.217-219
    • /
    • 2004
  • 무선 이동 컴퓨팅 환경에서 자원의 비대칭성을 효과적으로 극복하는 것이 매우 중요하다. 이 중에서도 배터리 용량은 클라이언트의 유용성을 결정하는 중요한 자원이다. 그러므로 무선 컴퓨팅 환경에서 매우 효과적인 데이터 방송 기법은 데이터를 빠르게 전달하는 것은 물론 이동 클라이언트의 배터리 소모를 감소시킬 수 있는 효율적인 데이터 전달 기법을 필요로 한다. 본 논문에서는 주문형 데이터 방송 환경을 위한 인덱스 구성 방안을 제안한다 제안 기법은 방송 서버에서 대기중인 데이터 접근 요구 중 방송 우선순위가 높은 일부 데이터를 대상으로 인덱스를 구성하여 미리 방송함으로써 이를 참조하는 클라이언트의 적응시간을 감소시켜 전력소모를 줄이도록 한다. 제안 기법이 효과적으로 이동 클라이언트의 적응 시간을 감소시키는 것을 실험을 통해 검증한다.

  • PDF