• 제목/요약/키워드: 색인기법

검색결과 654건 처리시간 0.023초

산업용 IoT 환경을 위한 고성능 키-값 저장소의 설계 및 평가 (Design and Evaluation of a High-performance Key-value Storage for Industrial IoT Environments)

  • 한혁
    • 한국콘텐츠학회논문지
    • /
    • 제21권7호
    • /
    • pp.127-133
    • /
    • 2021
  • 산업용 IoT 환경에서 센서들은 감지하고 있는 대상의 데이터들을 연속으로 생성하며, IoT 게이트웨이에 전달한다. 따라서 대량의 실시간 센서 데이터를 관리하는 것은 IoT 게이트웨이에 필수적인 기능이며 이러한 센서 데이터를 관리하기 위해 키-값 스토리지 엔진들이 널리 사용되고 있다. 그러나 IoT 게이트웨이에 사용되는 키-값 스토리지 엔진들은 산업용 IoT 환경에서 생성되는 센서 데이터들의 특징을 고려하지 않고 있으며 이 때문에 제한된 성능을 보인다. 본 논문에서는 산업용 IoT 환경에서 센서 데이터의 특징을 활용하여 키-값 스토리지 엔진을 최적화한다. 제안하는 최적화 기법은 키-값 스토리지 엔진의 입력인 키를 분리하여 계층적인 색인화 작업을 하는 것이다. 이를 통해 과도하게 발생하는 쓰기 증폭을 줄이며 성능을 향상 시킬 수 있다. 이러한 최적화 기법을 LevelDB에 구현하였으며, 제안하는 기법을 평가하기 위해 TPCx-IoT의 워크로드를 사용했다. 실험 결과에 따르면 제안하는 기법의 성능은 기존의 방법보다 21배 더 좋으며 이는 제안하는 기법이 산업용 IoT 환경에서 데이터 수집을 고속으로 처리할 수 있음을 보인다.

시공간 데이타웨어하우스를 위한 힐버트큐브 (Hilbert Cube for Spatio-Temporal Data Warehouses)

  • 최원익;이석호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제30권5호
    • /
    • pp.451-463
    • /
    • 2003
  • 최근 시공간 데이타에 대한 OLAP연산 효율을 증가시키기 위한 여러 가지 연구들이 행하여지고 있다. 이들 연구의 대부분은 다중트리구조에 기반하고 있다. 다중트리구조는 공간차원을 색인하기 위한 하나의 R-tree와 시간차원을 색인하기 위한 다수의 B-tree로 이루어져 있다. 하지만, 이러한 다중트리구조는 높은 유지비용과 불충분한 질의 처리 효율로 인해 현실적으로 시공간 OLAP연산에 적용하기에는 어려운 점이 있다. 본 논문에서는 이러한 문제를 근본적으로 개선하기 위한 접근 방법으로서 힐버트큐브(Hilbert Cube, H-Cube)를 제안하고 있다. H-Cube는 집계질의(aggregation query) 처리 효율을 높이기 위해 힐버트 곡선을 이용하여 셀들에게 완전순서(total-order)를 부여하고 있으며, 아울러 전통적인 누적합(prefix-sum) 기법을 함께 적용하고 있다. H-Cube는 대상공간을 일정한 크기의 셀로 나누고 그 셀들을 힐버트 값 순서로 저장한다. 이러한 셀들이 시간순서로 모여 규브형태를 이루게 된다. 또한 H-Cube는 시간의 흐름에 따라 변화되는 지역적인 데이타 편중에 대처하기 위해 적응적으로 셀을 정제한다. H-Cube는 정적인 공간 차원에서 움직이는 짐 객체에 초점을 두고 있는 적웅적이며, 완전순서화되어 있으며, 또한 누적합을 이용한 셀 기반의 색인구조이다. 본 논문에서는 H-Cube의 성능 평가를 위해서 다양한 실험을 하였으며, 그 결과로서 유지비용과 질의 처리 효율성면 모두에서 다중트리구조보다 높은 성능 향상이 있음을 보인다.

위치 검색 지도 서비스를 위한 k관심지역 검색 기법 (k-Interest Places Search Algorithm for Location Search Map Service)

  • 조성환;이경주;유기윤
    • 한국측량학회지
    • /
    • 제31권4호
    • /
    • pp.259-267
    • /
    • 2013
  • 최근 인터넷의 발달과 더불어 지리정보시스템(GIS, Geographic Information System)에 대한 인식이 저변 확대되면서 일반인들도 위치 검색 기능을 제공하는 웹GIS를 쉽게 이용할 수 있게 되었다. 현재 서비스되고 있는 모든 위치 검색 기능은 사용자가 하나의 검색어를 입력하고 그에 대한 결과를 보여주는 서비스에 한정되어 있다. 하지만 사용자의 검색 목적이 다양해짐에 따라, 여러 가지 행위를 동시에 할 수 있는 장소를 검색하는 서비스는 없었다. 예를들어, 점심을 먹은 후, 은행에서 업무를 보고, 영화 한 편을 보고자 할 때 이러한 관심 지역(POI, Point of Interest)들이 모여 있는 장소를 필요로 할 수 있다. 따라서 본 논문에서는 사용자로부터 여러 장소를 입력받아 입력된 장소가 모여 있는 곳을 검색해주는 k-IPS 기법을 제안하고자 한다. 여기서 k는 다양한 행위를 할 수 있는 관심의 개수이다. 이 방법은 최소경계사각형(MBR, Minimum Bounding Rectangle)의 계층적 트리 구조인 $R^*$-tree 색인 기법을 이용하여 공간을 분할하고, 기존 공간 Join 연산의 성능 개선을 위하여 $R^*$-tree간의 겹치는 영역 추출하는 재귀적 공간 Join 연산을 구현하였다. k-IPS 기법의 성능 평가는 159개의 다양한 검색어 집합을 구성하여 k=2,3,4,6에 대한 검색 결과를 확인하였다. 실험 결과의 약 90%에 대해서 예상한대로 k개의 검색어 장소가 모여 있는 위치를 얻을 수 있었고, k=2,3,4의 처리 시간은 0.1초 이내의 응답을 얻을 수 있었다. k-IPS 서비스를 통하여 현대인의 순차적 생활 패턴에 맞춘 검색 서비스가 가능할 것으로 판단된다.

단일머신 환경에서의 논리적 프로그래밍 방식 기반 대용량 RDFS 추론 기법 (Scalable RDFS Reasoning using Logic Programming Approach in a Single Machine)

  • 바트셀렘 작바랄;김제민;이완곤;박영택
    • 정보과학회 논문지
    • /
    • 제41권10호
    • /
    • pp.762-773
    • /
    • 2014
  • 시맨틱 웹상에서 RDFS로 표현된 데이터의 사용 증가로 인하여, 대용량 데이터의 추론에 대한 많은 요구가 생겨나고 있다. 많은 연구자들은 대용량 온톨로지 추론을 수행하기 위해서 하둡과 같은 고가의 분산 프레임워크를 활용한다. 그러나, 적절한 사이즈의 RDFS 트리플 추론을 위해서는 굳이 고가의 분산 환경 시스템을 사용하지 않고 단일 머신에서도 논리적 프로그래밍을 이용하면 분산 환경과 유사한 추론 성능을 얻을 수 있다. 본 논문에서는 단일 머신에 논리적 프로그래밍 방식을 적용한 대용량 RDFS 추론 기법을 제안하였고 다중 머신을 기반으로 한 분산 환경 시스템과 비교하여 2억개 정도의 트리플에 대한 RDFS 추론 시스템을 적용한 경우 분산환경과 비슷한 성능을 보이는 것을 실험적으로 증명하였다. 효율적인 추론을 위해 온톨로지 모델을 세부적으로 분리한 메타데이터 구조와 대용량 트리플의 색인 방안을 제안하고 이를 위해서 전체 트리플을 하나의 모델로 로딩하는 것이 아니라 각각 온톨로지 추론 규칙에 따라 적절한 트리플 집합을 선택하였다. 또한 논리 프로그래밍이 제공하는 Unification 알고리즘 기반의 트리플 매칭, 검색, Conjunctive 질의어 처리 기반을 활용하는 온톨로지 추론 방식을 제안한다. 제안된 기법이 적용된 추론 엔진을 LUBM1500(트리플 수 2억개) 에 대해서 실험한 결과 166K/sec의 추론 성능을 얻었는데 이는 8개의 노드(8 코아/노드)환경에서 맵-리듀스로 수행한 WebPIE의 185K/sec의 추론 속도와 유사함을 실험적으로 증명하였다. 따라서 단일 머신에서 수행되는 본 연구 결과는 트리플의 수가 2억개 정도까지는 분산환경시스템을 활용하지 않고도 분산환경 시스템과 비교해서 비슷한 성능을 보이는 것을 확인할 수 있었다.

대용량 XML 문서의 키워드 검색을 위한 레이블링 기법 (A Labeling Methods for Keyword Search over Large XML Documents)

  • 선동한;황수찬
    • 정보과학회 논문지
    • /
    • 제41권9호
    • /
    • pp.699-706
    • /
    • 2014
  • XML 문서가 점차 복잡해지면서 XML문서의 구조를 알 필요 없이 키워드로만 검색을 하는 키워드 검색 방식이 많이 사용되고 있다. XML문서 내에서 키워드 검색 방식을 사용하기 위해서는 문서 내의 모든 키워드에 레이블을 부여해야 하며, 구조적인 정보 또한 레이블 내에 충분히 표현해야한다. 하지만 기존 레이블링 방법들은 색인을 위한 단순정보만 레이블링 하거나, 증가하는 XML문서의 크기에 대응하기 어려운 형태로 구조적인 정보를 표현한다. 이는 XML문서가 커질수록 키워드검색성능이 떨어지거나, 공간 사용량이 기하급수적으로 증가하는 문제를 야기한다. 따라서 본 논문에서는 대용량 XML문서에 대한 키워드 검색 시 기존 레이블링 방식이 가지고 있던 문제점을 보완하는 새로운 레이블링 방식인 RPLS(Repetitive Prime Labeling Scheme)을 소개한다. 이 방법은 기존 소수 레이블방식을 개선하여 상위 레벨의 소수를 하위 레벨에서 반복 사용할 수 있도록 하여 레이블링을 위해 생성해야하는 소수의 수를 감소시키도록 한 것이다. 본 논문에서는 대용량 XML 문서의 키워드검색에 대한 RPLS 스킴의 효율성 검증을 위해 기존 레이블링 기법들과의 성능 비교 실험 결과도 제시한다.

개선된 적응적 임계값 결정 알고리즘과 후처리 기법을 적용한 동영상 분할 방법 (Video Segmentation Method using Improved Adaptive Threshold Algorithm and Post-processing)

  • 원인수;이준우;임대규;정동석
    • 한국멀티미디어학회논문지
    • /
    • 제13권5호
    • /
    • pp.663-673
    • /
    • 2010
  • 급격하게 증가하고 있는 동영상의 관리 도구로써 동영상을 계층적이고 구조적으로 구분하는 동영상 분할은 색인, 요약, 검색 등 다양한 응용 분야에서 공통적으로 적용될 수 있는 핵심 기술이라 할 수 있다. 기존의 적응적 임계값을 사용하는 동영상 분할 방법은 연속되는 프레임 간의 차이 값과 일정 간격의 크기를 갖는 윈도우에서 임계값을 계산하여 동영상 분할을 수행하였다. 그러나 이 경우, 윈도우의 크기보다 전환점의 발생 간격이 짧거나, 주변의 차이 값이 변동이 많으면, 정확한 검출을 하지 못한다. 상기 문제점을 개선하기 위하여 본 논문에서는 동영상의 포맷에 따라 윈도우의 크기를 결정하고, 윈도우 안에서 가중치를 사용하여 주변 값의 변화에 민감하게 반응하는 개선된 적응적 임계값 결정 알고리즘을 제안한다. 또한 카메라 불빛과 큰 물체의 빠른 움직임 등에 의한 오검출을 줄이기 위해 후처리 기법을 적용하였다. 실험을 통해서 제안된 방법은 기존 방법과 비교하여 3.7%의 성능 향상을 보이며, 변형된 동영상에서 95.5%의 재현성을 갖는 것을 확인하였다. 따라서 제안된 동영상 분할 방법은 기존 방법과 비교하여 정확성이 높고, 다양한 변형에도 재현성을 가지므로 동영상 관리 도구로써 많은 응용 분야에 적용할 수 있다.

토픽모델링을 이용한 도시 분야 연구동향 분석 (An Analysis of the Research Trends for Urban Study using Topic Modeling)

  • 장선영;정승현
    • 한국산학기술학회논문지
    • /
    • 제22권3호
    • /
    • pp.661-670
    • /
    • 2021
  • 연구동향은 시기별 연구주제에 대한 중요도 판단과 부족한 연구 분야를 파악하고 신규 분야를 발굴하는데 유용하게 활용될 수 있다. 본 연구에서는 인구집중과 도시화로 인해 다양한 문제가 발생하고 있는 도시공간을 대상으로 한 논문들을 대상으로 시기별 연구동향을 분석하였다. 이를 위해 2002년부터 2019년 사이에 게재된 한국학술지인용색인(KCI)에 등재된 논문의 초록을 대상으로 데이터마이닝 기법 중 하나인 토픽모델링 분석을 수행하였다. 토픽모델링은 전체 내용에서 일정한 패턴을 발견해낼 수 있는 알고리즘 기반의 텍스트마이닝 기법으로 방대한 문헌에서 주제를 찾아내고 군집하는데 용이하다. 본 연구에서는 키워드 빈도, 연도별 경향, 토픽 도출, 토픽별 군집, 토픽유형별 경향에 대한 분석을 실시하였다. 그 결과 먼저 도시재생 분야연구가 지속적으로 증가되고 있고 앞으로도 세부 주제가 확대될 수 있는 분야로 분석되었다. 그리고 도시재생 주제는 이제 정규 연구분야로 자리 잡고 있는 것으로 파악되었다. 반면, 개발/성장과 에너지/환경과 같은 주제는 정체기에 들어간 것으로 분석되었다. 본 연구는 국내 전체 도시분야 연구를 대상으로 데이터마이닝 기법인 토픽모델링을 이용하여 키워드 간 연관성과 경향을 함께 분석하였다는 데 의의가 있다.

수신기에서 부가정보가 필요 없는 Selected Mapping 기법 (Selected Mapping without Side Information at the Receiver)

  • 장찬기;윤은철
    • 한국통신학회논문지
    • /
    • 제40권9호
    • /
    • pp.1710-1718
    • /
    • 2015
  • SLM(selected mapping)은 OFDM(orthogonal frequency division multiplexing)의 PAPR(peak to average power ratio)을 줄이는 효과적인 방법이다. 데이터를 복구하기 위해서 수신기는 송신기가 선택한 스크램블링 수열의 색인정보인 부가정보 SI(side information)를 알아야한다. 본 논문에서는 수신기가 SI 없이 데이터를 복원할 수 있도록 함으로써 구현 복잡도를 낮출 수 있는 새로운 SLM 방법을 제안한다. 제안된 방법에서는 다중 경로 채널과 IDFT(inverse discrete fourier transform)된 스크램블링 수열의 컨볼루션에 해당하는 가상 다중 경로 채널을 가정한다. 파일럿을 사용해 측정한 가상 채널을 바탕으로 데이터를 복원함으로써 SI 없이도 수신기가 데이터를 복원할 수 있다. 제안된 SLM 방법이 이전 SLM 방법들과 비슷한 PAPR 성능 및 BER 성능을 가짐을 모의실험을 통해 보인다.

학술지 중요도와 키워드 순서를 고려한 단어동시출현 분석을 이용한 독서분야의 지적구조 분석 (Examining the Intellectual Structure of Reading Studies with Co-Word Analysis Based on the Importance of Journals and Sequence of Keywords)

  • 장령령;홍현진
    • 한국비블리아학회지
    • /
    • 제25권1호
    • /
    • pp.295-318
    • /
    • 2014
  • 이 연구는 학술지 등급과 키워드 위치를 고려한 혼합가중치를 기반으로 단어동시출현 분석 기법을 활용하여 독서분야의 지적구조를 분석하고자 한다. 이를 위해 2003년에서 2012년까지 한국학술지인용색인(Korea Citation Index; KCI)에서 독서와 관련된 학술지 논문 838편을 수집하였고, 이 중에서 선정한 56개 키워드로 생성한 행렬에 군집분석, 다차원척도분석 및 네트워크 분석을 적용하였다. 그 결과 혼합가중치에 의하여 생성한 키워드행렬이 더 좋은 결과가 나왔으며, 이 혼합가중치에 의한 키워드행렬을 집중적으로 분석하여 독서분야를 4개의 큰 주제 및 11개 하위주제로 구분할 수 있었다. 독서분야의 지적구조에 대한 시기별 분석을 한 결과, 독서분야의 연구동향은 이론적인 연구에서 실증적인 연구로 변화하고 있음을 알 수 있었다.

위치기반 서비스에서 개인 정보 보호를 위한 그리드를 이용한 Cloaking 영역 생성 알고리즘 (An Algorithm for generating Cloaking Region Using Grids for Privacy Protection in Location-Based Services)

  • 엄정호;김지희;장재우
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권2호
    • /
    • pp.151-161
    • /
    • 2009
  • 위치기반 서비스(Location-Based Service) 에서는 위치-기반 질의를 요청하는 사용자가 자신의 정확한 위치 정보를 데이터베이스 서버로 보내기 때문에, 사용자의 개인 정보가 상대방에게 노출될 수 있다. 따라서 사용자가 안전하게 위치기반 서비스를 사용할 수 있기 위해서는 개인 정보 보호 방법이 요구된다. 따라서 본 논문에서는 위치기반 서비스에서 개인정보 보호를 위한 새로운 클로킹(cloaking) 영역 생성 알고리즘을 제안한다. 제안하는 기법은 그리드를 이용하여 사용자가 요구하는 L개의 건물을 탐색한 후, K명의 사용자를 탐색하는 K-anonymity를 수행하여 최소 크기의 클로킹 영역을 생성한다. 이를 위해 그리드 기반의 색인 구조 및 효과적인 가지치기 방법을 사용한다. 마지막으로 성능평가를 통해 본 논문에서 제안하는 클로킹 영역 생성 알고리즘이 클로킹 영역의 크기 측면에서 기존의 연구보다 우수함을 보인다.

  • PDF