• 제목/요약/키워드: 데이터 감소

검색결과 4,320건 처리시간 0.032초

맵리듀스 기반 kNN join 질의처리 알고리즘의 설계 및 성능평가 (Design and Performance Analysis of MapReduce-based kNN join Query Processing Algorithm)

  • 김태훈;이현조;장재우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 추계학술발표대회
    • /
    • pp.733-736
    • /
    • 2014
  • 최근 대용량 데이터에 대한 효율적인 데이터 분석 기법이 활발히 연구되고 있다. 대표적인 기법으로는 맵리듀스 환경에서 보로노이 다이어그램을 이용한 k 최근접점 조인(VkNN-join) 알고리즘이 존재한다. VkNN-join 알고리즘은 부분집합 Ri에 연관된 부분집합 Sj만을 후보탐색 영역으로 선정하여 질의를 처리하기 때문에 질의처리 시간을 감소시킨다. 그러나 VkNN-join은 색인 구축 비용이 높으며, kNN 연산 오버헤드가 큰 문제점이 존재한다. 이를 해결하기 위해, 본 논문에서는 대용량 데이터 분석을 위한 맵리듀스 기반 kNN join 질의처리 알고리즘을 제안한다. 제안하는 알고리즘은 시드 기반의 동적 분할을 통해 색인구조 구축비용을 감소시킨다. 또한 시드 간 평균 거리를 기반으로 후보 영역을 선정함으로써, 연산 오버헤드를 감소시킨다. 아울러, 성능 평가를 통해 제안하는 기법이 질의처리 시간 측면에서 기존 기법에 비해 우수함을 나타낸다.

데이터 스트림에서 공간의 이용도를 이용한 차등적 부하제한 기법 (Different Load Shedding using utilization of Spatial over Data Stream)

  • 김호;백성하;이동욱;신숭선;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 춘계학술발표대회
    • /
    • pp.340-343
    • /
    • 2009
  • u-GIS 환경에서 GeoSensor로부터 수집되는 시공간 데이터는 데이터 스트림의 특징을 포함한다. 데이터 스트림은 다양한 입력 속도로 끊임없이 입력되고, 데이터의 크기 또한 가변적이다. 이런 이유로 한정적인 메모리와 처리능력의 시스템은 과부하 현상이 발생한다. 이를 해결하기 위해 초과되는 데이터를 버려 메모리 초과를 방지하는 기법들이 연구되고 있다. 공간질의는 공간과 위치 값을 기반으로 이루어지는 연산으로 공간질의 정확도는 공간과 위치 정보를 통해 보장된다. 그러나 기존 기법인 랜덤부하제한 기법과 의미적부하제한 기법은 공간질의가 요구하는 공간과 위치 값에 대해 고려하지 않고 삭제하기 때문에 공간질의에 대한 정확도가 감소하는 문제를 갖는다. 본 논문에서는 공간의 이용도를 이용하여 차등적 비율을 적용한 부하제한 기법은 연구하였다. 이 기법은 등록된 공간질의의 영역 겹침 정도에 따라 중요 레벨을 증가시키고, 이를 토대로 시공간 데이터의 중요도를 파악하여 중요도마다 주어진 비율에 의하여 차등적으로 삭제한다. 결과적으로 기존 기법보다 다소 높은 Drop rate를 통해 질의 처리 속도를 빠르게 회복시켰으며, 중요 데이터를 최대한 유지하여 Error rate를 감소시켰다.

분산데이터베이스 환경에서의 질의 처리를 위한 에이전트 기반 리소스 메타데이터 관리기법 (Agent-based Resource Metadata Management Method for Query Processing in Distributed Databased)

  • 주향금;김성림;윤종필
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (1)
    • /
    • pp.75-77
    • /
    • 1998
  • 기존 클라이언트 캐쉬 데이터에 기반된 질의 처리에 있어 캐쉬 데이터와 서버 데이터간의 동일성과 데이터 전송 문제를 해결하기 위해 에이전트 기반 클라이언트-서버구조를 제안한다. 서버 데이터가 변하지 않았을 경우 데이터 전송량을 감소시키는 유용한 방법으로, pull, push 기법을 사용한다. 서버 리소스 에이전트에서 데이터베이스 변경 정보를 브로커 에이전트에 push하고, 클라이언트 에이전트가 요구하는 질의에 대해서 브로커 에이전트에게 변경 정보를 pull한다.

리눅스 커널에서 네트워크 멀티미디어 서비스를 위한 메모리 복사 감소 기법 구현 (Implementation of Memory Copy Reduction Scheme for Networked Multimedia Service in Linux)

  • 김정원
    • 한국통신학회논문지
    • /
    • 제28권2B호
    • /
    • pp.129-137
    • /
    • 2003
  • MPEG(Motion Picture Expert Group)과 같은 멀티미디어 스트림은 연속적 재생으로 인해 데이터의 지속적인 디스크 검색을 요구한다. 따라서, 커널의 효율적인 지원이 필요한데, 유닉스 계열의 리눅스 버퍼 캐시 시스템은 비정기적이고 비실시간 데이터인 텍스트 데이터용으로 설계되었다. 대용량의 연속 미디어의 경우 커널 주소공간에서 사용자 주소공간으로의 대량의 복사가 이루어지므로 이 과정에서 CPU의 과중한 오버헤드가 발생한다. 이것은 시스템 처리율을 저하시킬 뿐만 아니라 QOS(Quality of Service)도 보장할 수 없다. 본 논문에서 이 메모리 복사 오버헤드를 감소시키기 위한 direct I/O와 one copy 기법을 리눅스 커널에서 설계 및 구현하였다. direct I/O는 디스크의 데이터를 커널 버퍼로 복사하지 않고 사용자 버퍼로 직접 복사하므로 CPU 오버헤드를 획기적으로 감소시킬 수 있다. 그리고, one-copy는 사용자 버퍼로 데이터를 복사하지 않고 직접 네트워크로 전송하는 기법이다. 구현 결과, CPU 오버헤드의 상당한 감소와 시스템의 처리율이 향상됨을 확인하였다.

스마트 디바이스를 활용한 노약자 근감소증 진단과 딥러닝 알고리즘 (Diagnosis of Sarcopenia in the Elderly and Development of Deep Learning Algorithm Exploiting Smart Devices)

  • 윤영욱;손정우
    • 한국재난정보학회 논문집
    • /
    • 제18권3호
    • /
    • pp.433-443
    • /
    • 2022
  • 연구목적: 본 논문에서는 스마트 디바이스의 높은 보급률을 활용하여 근감소증을 추정 및 예측하는 딥러닝 알고리즘을 제안과 연구를 수행한다. 연구방법: 딥러닝 학습을 위해 스마트 디바이스에 내장된 관성센서를 활용하여 실험 데이터를 수집하였다. 데이터를 수집하는 테스트용 어플리케이션 구현하여 '정상'과 '비정상'걸음과 '달리기', '낙상', '스쿼트' 자세의 5 가지 상태를 구분하여 데이터를 수집하였다. 연구결과: LSTM, CNN, RNN model 사용 시 예측 정확도를 분석했고 CNN-LSTM 융합형 모델을 활용하여 이진분류 정확도 99.87%, 다중 분류 92.30%의 정확도를 보였다. 결론: 근감소증이 있는 사람의 경우 걸음걸이의 이상이 생긴다는 점에 착안하여 스마트 디바이스를 활용한 연구를 진행하였다. 본 연구를 활용하여 근감소증으로 인해 생기는 재난안전을 강화 할 수 있을 것이다.

무선 센서 네트워크에서 통신량 감소를 위한 적응적 데이터 제한 기법 (An Adaptive Temporal Suppression for Reducing Network Traffic in Wireless Sensor Networks)

  • 민준기;권영미
    • 전자공학회논문지
    • /
    • 제49권10호
    • /
    • pp.60-68
    • /
    • 2012
  • 무선 센서 네트워크의 응용분야가 확장됨에 따라 대용량 측정 데이터의 전송에 대하여 에너지 효율성과 실시간성이 요구되고 있다. 본 논문에서는 센서 노드의 수집 데이터가 갖는 시간적 상관관계를 이용하여 센서 노드의 데이터 전송량을 감소시킴으로써, 에너지 효율성을 높이고 통신 지연을 단축시킬 수 있는 적응적 데이터 제한기법을 제안한다. 센서 노드에서는 적응적 데이터 제한기법을 이용하여 전송하는 측정값의 개수를 줄이고, 싱크 노드에서는 선형 보간법을 통하여 누락된 데이터를 복원한다. 제안하는 기법은 전송량 감소효과가 높아지더라도 데이터 품질의 큰 저하 없이 측정된 신호의 특성을 복원할 수 있다. 이 기법은 센서 데이터를 일정 구간으로 나누고, 그 구간 안에서 신호의 복잡도에 따라 싱크 노드로 전송하는 측정값의 개수를 다르게 한다. 측정 윈도우 내에서 신호의 복잡도는 기울기 변화량의 절대값이 임계치를 벗어나는 측정점의 개수를 기준으로 하였다. 제안하는 기법의 유효성을 확인하기 위해 4개의 샘플 데이터에 대하여 시뮬레이션을 통한 성능평가를 수행하였으며, 그 결과 3종의 샘플에서 6.8% 왜곡율에서 전송되는 측정값의 개수가 90%감소하는 효과를 얻었다.

2X Converse Oversampling 1.65Gb/s/ch CMOS 준 디지털 데이터 복원 회로 (2X Converse Oversampling 1.65Gb/s/ch CMOS Semi-digital Data Recovery)

  • 김길수;김규영;손관수;김수원
    • 대한전자공학회논문지SD
    • /
    • 제44권6호
    • /
    • pp.1-7
    • /
    • 2007
  • 본 논문에서는 고성능 멀티미디어 인터페이스 (High Definition Multimedia Interface: HDMI) 용 수신기의 전력 절감과 면적 감소를 위한 2X converse oversampling 방식의 준 디지털 데이터 복원 회로를 제안한다. 제안하는 데이터 복원 회로는 2X converse oversampling 방식의 데이터 검출 알고리즘과 준 디지털 구조를 이용해 전력과 유효 면적을 효과적으로 감소시킨다. 제안하는 회로의 성능을 검증하기 위해서 0.18um CMOS 공정을 이용하여 칩이 제작되었으며, 측정 결과 14.4mW의 전력을 소모하고, $0.152mm^2$의 유효 면적을 차지하며, 0.7UIpp의 Jitter tolerance 성능을 나타내므로 HDMI용 수신기의 전체 전력과 유효면적을 효과적으로 감소시킬 수 있다.

IMT-2000을 위한 이동국 Rake Finger 시스템 성능개선에 관한 연구 (A Study on Performance Improvement of Mobile Rake Finger System for the IMT-2000)

  • 정우열;이선근
    • 한국컴퓨터정보학회논문지
    • /
    • 제7권3호
    • /
    • pp.135-142
    • /
    • 2002
  • 본 논문에서는 데이터 상관기들의 증가로 인한 데이터 처리시간 지연을 감소시키기 위해 Walsh Switch, 공유 accumulator, 그리고 파이프라인 FWHT 알고리즘을 적용한 새로운 Rake Finger 구조를 제안했다. 모의실험 결과, 왈쉬 코드 채널의 수 N=4에 대한 데이터 상관기의 연산 동작 수는 512 additions에서 160 additions로 약 3.2배 감소하였고, Rake Finger의 데이터 처리시간은 110,696(ns)에서 90,496(ns)로 18.3% 감소하였음을 확인하였다.

  • PDF

멀티미디어 응용을 위한 저전력 데이터 캐쉬 구조 및 마이크로 아키텍쳐 수준 관리기법 (Low-Power Data Cache Architecture and Microarchitecture-level Management Policy for Multimedia Application)

  • 양훈모;김정길;박기호;김신덕
    • 정보처리학회논문지A
    • /
    • 제13A권3호
    • /
    • pp.191-198
    • /
    • 2006
  • 최근 디지털 멀티미디어 응용기기는 휴대 편의성은 물론 하나의 기기에서 다양한 멀티미디어 데이터 처리를 가능하게 하는 기능적 집적이 이루어지고 있다. 이와 같은 추세는 기기가 처리해야 하는 데이터 양의 증가와 이를 수행하기 위하여 요구되는 온칩 메모리의 크기 및 연산 유닛의 고성능화를 요구하여 전력 소비량의 증가를 유발시킨다. 연산 엔진에서 사용되는 대표적인 온칩 메모리인 캐쉬는 전력 사용에 있어서 중요한 비율을 차지하는 구조로 저전력 설계를 위한 구조적 개선의 주요 대상이다. 본 논문에서는 멀티미디어 응용을 수행하는 연산 엔진의 데이터 캐쉬에서 소비되는 전력을 감소시키기 위하여 멀티미디어 응용의 데이터 사용 특성을 파악하여 이 특성을 전력소비를 감소시키는 목적으로 활용 가능한 분할된 캐쉬구조를 제안한다. 그리고 각각의 분할된 캐쉬에 대하여 특정 주소 영역의 데이터 참조를 고정시킴으로써 얻을 수 있는 전력 소비면의 성능 향상을 평가한다. 시뮬레이션 결과 제안하는 캐쉬 구조는 같은 크기의 직접사상 캐쉬, 2중연관 캐쉬, 4중연관 캐쉬에 대해 유사한 성능을 나타내면서, 각각의 기존 캐쉬 구조와 비교하였을 경우 33.2%, 53.3% 및 70.4%만큼 감소된 전력으로 동작 가능하다.

DTG 데이터를 활용한 택시 복합할증제 분석 (Analysis of Taxi Combined Surcharge System Using DTG Data)

  • 김승범;김호선;정종헌
    • 한국ITS학회 논문지
    • /
    • 제19권6호
    • /
    • pp.152-162
    • /
    • 2020
  • 도농복합지역에서는 택시가 영업을 목적으로 도심지에서 농촌 지역으로 이동한 뒤 공차로 회차할 시 손실을 보전해주는 복합할증제도를 운영하고 있다. 하지만, 제도의 본 취지와 다르게 기형적으로 운영되는 복합할증제도로 인해 폐지와 관련된 민원이 증가하고 있다. 복합할증제도 폐지 시 택시업계는 수익감소로 큰 타격을 받을 수 있어 지자체의 지원이 불가피하다. 하지만, 실제 수입금의 감소분을 고려한 보조금의 규모 책정이 현실적으로 어려운 실정이다. 본 연구에서는 도농복합지역(예:통영시)의 법인택시에 장착된 디지털 운행기록계로부터 수집된 DTG 데이터와 영업데이터를 연계 분석하여 복합할증제도 폐지 시 감소하는 수입금을 과학적이고 객관적인 방법으로 추정해보고자 한다. 본 연구는 실제 지역의 현안을 해결하기 위해 DTG 데이터를 이용했다는 점과 새로운 DTG 데이터의 활용을 제시했다는 측면에서 의의가 있다.