• 제목/요약/키워드: Indexing Technique

검색결과 203건 처리시간 0.024초

산업용 IoT 환경을 위한 고성능 키-값 저장소의 설계 및 평가 (Design and Evaluation of a High-performance Key-value Storage for Industrial IoT Environments)

  • 한혁
    • 한국콘텐츠학회논문지
    • /
    • 제21권7호
    • /
    • pp.127-133
    • /
    • 2021
  • 산업용 IoT 환경에서 센서들은 감지하고 있는 대상의 데이터들을 연속으로 생성하며, IoT 게이트웨이에 전달한다. 따라서 대량의 실시간 센서 데이터를 관리하는 것은 IoT 게이트웨이에 필수적인 기능이며 이러한 센서 데이터를 관리하기 위해 키-값 스토리지 엔진들이 널리 사용되고 있다. 그러나 IoT 게이트웨이에 사용되는 키-값 스토리지 엔진들은 산업용 IoT 환경에서 생성되는 센서 데이터들의 특징을 고려하지 않고 있으며 이 때문에 제한된 성능을 보인다. 본 논문에서는 산업용 IoT 환경에서 센서 데이터의 특징을 활용하여 키-값 스토리지 엔진을 최적화한다. 제안하는 최적화 기법은 키-값 스토리지 엔진의 입력인 키를 분리하여 계층적인 색인화 작업을 하는 것이다. 이를 통해 과도하게 발생하는 쓰기 증폭을 줄이며 성능을 향상 시킬 수 있다. 이러한 최적화 기법을 LevelDB에 구현하였으며, 제안하는 기법을 평가하기 위해 TPCx-IoT의 워크로드를 사용했다. 실험 결과에 따르면 제안하는 기법의 성능은 기존의 방법보다 21배 더 좋으며 이는 제안하는 기법이 산업용 IoT 환경에서 데이터 수집을 고속으로 처리할 수 있음을 보인다.

NMF를 이용한 영문자 활자체 폰트 분류 (Font Classification of English Printed Character using Non-negative Matrix Factorization)

  • 이창우;강현;정기철;김항준
    • 전자공학회논문지CI
    • /
    • 제41권2호
    • /
    • pp.65-76
    • /
    • 2004
  • 최근 대부분의 문서들이 전자적으로 생성되고 많은 고문서들이 이미지 형태로 전자화되고 있다. 이미지 형태의 전자 문서들은 정보 추출과 데이터베이스화에 많은 어려움이 있기 때문에, 이러한 문서를 효율적으로 관리하고 검색하기 위한 문서구조분석 방법과 문자 인식을 위한 많은 연구가 필요하다. 본 논문은 폰트의 구분 특성(font discrimination features)들이 폰트이미지의 공간적으로 지역적인 특징들에 기반함을 가정한 방법으로써, 객체의 부분기반 표현들을 학습할 수 있는 NMF(non-negative matrix factorization) 알고리즘을 사용하여 폰트를 자동으로 분류하는 방법이다. 제안된 방법은 부분기반의 비지도 학습 방법(part-based unsupervised learning technique)을 이용하여 전체의 폰트 이미지들로부터 각 폰트들의 구분 특징인 부분을 학습하고, 학습된 부분들을 특징으로 사용하여 폰트를 분류하는 방법이다. 실험결과에서 폰트 이미지들의 공간적으로 국부적인 특징들이 조사되고, 그 특징들이 폰트의 식별을 위한 적절성을 보인다. 제안된 방법이 기존의 문자인식, 문서 검색 시스템들의 전처리기로 사용되면, 그 시스템들의 성능을 향상시킬 것으로 기대된다.

MPEG-7 기술자를 이용한 TV 골프 프로그램의 이벤트검출 및 요약 (Semantic Event Detection and Summary for TV Golf Program Using MPEG-7 Descriptors)

  • 김천석;이희경;남제호;강경옥;노용만
    • 방송공학회논문지
    • /
    • 제7권2호
    • /
    • pp.96-106
    • /
    • 2002
  • 본 논문에서는 최근 증가하는 TV 골프 경기의 하이라이트 부분을 요약하기 위해 시청자가 관심을 갖는 주요 이벤트를 시각 특징정보들을 이용하여 자동 추출할 수 있는 알고리즘을 제시하였다. 본 알고리즘은 4단계로 구성된다. 첫 번째 단계에서는 입력된 비디오의 샷 (Shot) 및 키 프레임 (Key Frame)을 구하여 데이터베이스화하는 구조를 분석하고, 두 번째 단계에서는 이들 정보를 이용하여 하위 레벨의 특징정보를 추출한다. 세 번째 단계에서는 특징 전보들을 통합하여 샷의 의미를 부여하여, 이벤트 구성 요소들과 정합시킨다. 네 번째 단계에서는 사전에 정의된 추론 규칙과 시간 정보를 이용하여 구성 요소들을 통합하여 이벤트를 결정한다. 본 연구에서는 하위 레벨의 특징 정보를 상호 호환성과 재사용성이 가능하도록 MPEG-7 비주얼 특징 정보를 사용하였다 TV-Anytime의 하이라이트/이벤트 스키마(schema)를 이용하여 검출된 이벤트들로 구성된 요약문을 XML 문서로 작성하였다. 제안 알고리즘의 성능을 검사하기 위해 비디오 자동 요약 시스템과 브라우징을 제작하여 실험하였으며 평균 80%의 검색 율과 정확도를 얻었다.

대용량 웹 로그 마이닝 및 공격탐지를 위한 B-트리 인덱스 벡터 기반 고속 검색 기법 (High-Speed Search Mechanism based on B-Tree Index Vector for Huge Web Log Mining and Web Attack Detection)

  • 이형우;김태수
    • 한국멀티미디어학회논문지
    • /
    • 제11권11호
    • /
    • pp.1601-1614
    • /
    • 2008
  • 최근 대부분의 인터넷 환경이 쳅 기반 시스템으로 발전하면서 웹 서비스 사용자 수는 꾸준히 증가하고 있다. 따라서 일반 사용자가 대형 포털 사이트 웹 서버 접속시 생성되는 로그 정보를 분석하여 웹 서버에 대한 공격을 탐지하거나 웹 마이닝 기술과 접목하기 위해서는 대용량의 웹 로그 정보에 대한 효율적인 분석 기법이 필요하다. 기존 웹 로그 전처리 기법은 로그 문자열의 순차적인 탐색을 수행하므로 대용량의 웹 로그 고속화 처리에 적합하지 않다. 본 연구에서는 대용량 웹 로그 정보에 대해 B-트리 인덱싱 벡터 구조를 이용하여 필드별 분류 및 고속 검색 알고리즘을 개발하였다 이를 통해 효율적으로 대용량 로고로부터 효율적인 세션 분석 기능과 개선된 검색 성능을 제공할 수 있었으며 웹 서버에 대한 공격 탐지에도 활용할 수 있었다.

  • PDF

웨이블릿 압축 계수의 RGBA채널 인덱싱을 이용한 대용량 지형 렌더링 기법 (Massive Terrain Rendering Method Using RGBA Channel Indexing of Wavelet Coefficients)

  • 김태권;이은석;신병석
    • 한국게임학회 논문지
    • /
    • 제13권5호
    • /
    • pp.55-62
    • /
    • 2013
  • 대용량 지형 데이터는 전체를 CPU나 GPU메모리에 적재할 수 없기 때문에 하드디스크와 같은 보조기억장치에서 필요한 부분을 읽어와 렌더링하는 out-of-core기반의 방법이 사용된다. 하지만 out-of-core 기반의 방법은 하드디스크로부터 GPU메모리까지 데이터를 읽어올 때 대역폭한계로 인해 데이터의 전송시간이 길어진다. 이 논문에서는 Direct Compute를 이용하여 대용량 지형 데이터를 GPU에서 웨이블릿 기법으로 압축한 후 계수들을 이미지의 RGBA채널에 대응시켜 저장하고 렌더링 단계에서 이를 압축 해제하여 사용하는 방법을 제안한다. 이 방법은 GPU를 이용하여 압축된 지형 데이터를 빠르게 압축 해제해 사용함으로써 데이터의 전송량을 줄이고 웨이블릿 계산을 병렬적으로 수행하므로 전체 렌더링 시간을 단축할 수 있다.

계층적 그룹관리와 신뢰성을 위한 동적인 변형 P2P 시스템 설계 및 구현 (A Design and Implementation of Dynamic Hybrid P2P System with Hierarchical Group Management and Maintenance of Reliability)

  • 이석희;조상;김성열
    • 정보처리학회논문지D
    • /
    • 제11D권4호
    • /
    • pp.975-982
    • /
    • 2004
  • 현재 많이 사용되고 있는 P2P 개념으로는 순수 P2P와 변형 P2P 구조가 있다. 순수 P2P의 모델에는 Gnutella와 Ktella등의 형태가 존재하고 변형 P2P로는 무수히 많은 형태가 존재한다. 순수 P2P 모델의 경우에는 정보 공유에서 연결성을 장점으로 Gnutella의 형태를 응용한 형태로 많이 사용되고 있지만 정보를 검색하거나 제공하기 위해 많은 트래픽을 소모하게 된다. 이와는 달리 변형 P2P 모델들 중 정보 공유 모델들이 존재하는데 이 모델들은 사용자에게 효율적이고 빠른 검색과 색인을 제공하기 위해 기존의 서버/클라이언트 형태를 취하고 있지만 확장성에 있어서 제공하는 서버의 능력에 의존할 수 밖에 없다. 파일공유 모델의 Peer들에 대해 연결성 유지를 위한 많은 부하와 사용자에 있어서 그룹에 대한 형태의 문제점 그리고 서버의 Fail로 인한 비 연결성에 대한 문제점을 해결하기 위해 본 논문에서는 라우팅 프로토콜 기법에서의 접근과 계층적 구조를 적용하고 Backup 시스템을 포함해서 대규모 네트워크에서 효율적인 그룹관리와 동적인 서버의 지정으로 신뢰성을 유지하기 위한 시스템을 설계 구현하여 그 우수성을 검증하였다.

낮은 피사계 심도의 동영상에서 포커스 된 비디오 객체의 자동 검출 (Automatic Extraction of Focused Video Object from Low Depth-of-Field Image Sequences)

  • 박정우;김창익
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제33권10호
    • /
    • pp.851-861
    • /
    • 2006
  • 영상을 낮은 피사계 심도로 찍는 카메라 기법은 전통적으로 널리 이용되는 영상 취득 기술이다. 이 방법을 사용하면 사진사가 사진이나 동영상을 찍을 때 영상의 관심 영역에만 포커스를 두어 선명하게 표현하고 나머지는 흐릿하게 함으로써 자신의 의도를 보는 이에게의 분명하게 전달 할 수 있다. 본 논문은 이러한 피사계 심도가 낮은 동영상 입력에 대하여 사용자의 도움 없이 포커스 된 비디오 객체를 추출하는 새로운 방법을 제안한다. 본 연구에서 제안하는 방법은 크게 두 모듈로 나뉜다. 첫 번째 모듈에서는 동영상의 첫 번째 프레임에 대해서 포커스 된 영역과 그렇지 않은 흐릿한 부분을 자동으로 구분하여 관심 물체만을 추출한다. 두 번째 모듈에서는 첫 번째 모듈에서 구한 관심 물체의 모델을 바탕으로 동영상 프레임에서의 관심 물체만을 실시간이나 실시간에 가깝게 추출한다. 본 논문에서 제안하는 방법은 가상현실(VR)이나 실감 방송, 비디오 인덱싱 시스템과 같은 여러 응용 분야에 효과적으로 적용될 수 있고, 이러한 유용성은 실험 결과를 통해 보였다.

Multi-aperture Photometry Pipeline for DEEP-South Data

  • Chang, Seo-Won;Byun, Yong-Ik;Kim, Myung-Jin;Moon, Hong-Kyu;Yim, Hong-Suh;Shin, Min-Su;Kang, Young-Woon
    • 천문학회보
    • /
    • 제41권1호
    • /
    • pp.56.2-56.2
    • /
    • 2016
  • We present a multi-aperture photometry pipeline for DEEP-South (Deep Ecliptic Patrol of the Southern Sky) time-series data, written in C. The pipeline is designed to do robust high-precision photometry and calibration of non-crowded fields with a varying point-spread function, allowing for the wholesale search and characterization of both temporal and spatial variabilities. Our time-series photometry method consists of three parts: (i) extracting all point sources with several pixel/blind parameters, (ii) determining the optimized aperture for each source where we consider whether the measured flux within the aperture is contaminated by unwanted artifacts, and (iii) correcting position-dependent variations in the PSF shape across the mosaic CCD. In order to provide faster access to the resultant catalogs, we also utilize an efficient indexing technique using compressed bitmap indices (FastBit). Lastly, we focus on the development and application of catalog-based searches that aid the identification of high-probable single events from the indexed database. This catalog-based approach is still useful to identify new point-sources or moving objects in non-crowded fields. The performance of the pipeline is being tested on various sets of time-series data available in several archives: DEEP-South asteroid survey and HAT-South/MMT exoplanet survey data sets.

  • PDF

대용량 그래프에서 k-차수 인덱스 테이블을 이용한 RDBMS 기반의 효율적인 최단 경로 탐색 기법 (RDBMS Based Efficient Method for Shortest Path Searching Over Large Graphs Using K-degree Index Table)

  • 홍지혜;한용구;이영구
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권5호
    • /
    • pp.179-186
    • /
    • 2014
  • 소셜 네트워크, 웹 페이지 링크, 교통 네트워크 등과 같은 최근의 네트워크들은 노드와 에지의 수가 방대한 빅 데이터이다. 소셜 네트워크 서비스나 네비게이션 서비스와 같이 이와 같은 네트워크를 이용하는 애플리케이션이 많아지고 있다. 대용량 네트워크는 전체를 메모리에 적재할 수 없어, 기존의 네트워크 분석 기술을 활용할 수 없다. 최근 대용량 그래프의 효율적 탐색을 제공하는 RDB 기반 연산자들이 프레임워크(Frontier-expand-merge framework, FEM)로 제안되었다. FEM은 효율적인 최단 경로 탐색을 위해 부분 최단 경로를 저장하는 RDB 기반의 인덱스 테이블을 구축하였다. 그러나 FEM의 인덱스 테이블은 최단 경로에 포함될 확률보다 인덱스의 거리에 의해 결정되기 때문에 인덱스 테이블 참조율이 떨어진다. 본 논문에서는 효율적인 최단 경로 탐색을 지원하는 인덱스 참조율이 높은 차수가 큰 노드들을 이용한 인덱스 테이블 구축 기법을 제안한다. 실험을 통하여 제안하는 인덱스 테이블 구축 기법이 실세계 데이터 셋에서 효율적인 최단 경로 탐색을 지원함을 보인다.

소프트웨어 재사용을 위한 정보검색시스템 구축 (The Information Retrieval System for Software Reuse)

  • 김영길
    • 한국정보전자통신기술학회논문지
    • /
    • 제9권1호
    • /
    • pp.1-8
    • /
    • 2016
  • 본 논문에서는 전반적으로 소프트웨어 재사용과정에서 지적되고 있는 문제점을 재사용 단계별로 정리하고, 지적되어온 문제점 중 라이브러리 구축과정에서 효과적인 부품의 인덱싱과 기능적으로 관련된 부품들끼리의 분류로 검색의 성능 증진을 꾀할 수 있는 방법을 제안한다. 객체지향 소프트웨어 라이브러리를 구성하는 부품은 클래스가 가지고 이있는 객체지향 모델의 특성과 클래스가 지니고 있는 책임으로 기능을 모두 고려하여 객체지향 라이브러리를 구축하고 객체지향 지향 라이브러리는 상속구조를 바탕으로 라이브러리내의 계층구조를 형성한다. 그러나 이러한 계층구조는 구문적인 정보를 바탕으로 이루어지는 것으로 클래스 부품의 기능성과 일치하지 않을 수도 있다. 이를 해결하기 위하여 본 논문에서는 클래스 계층구조와 같은 지기기반 접근법과 클래스 부품의 기능성에 기반을 둔 소프트웨어 부품의 인덱싱과 분류에 필요한 정보검색 방법을 혼용한 라이브러리 과닐 기법을 제안한다. 특히 본 논문에서는 최근에 많은 분야에 걸쳐 연구가 진행 중인 객체지향 방법론을 바탕으로 개발된 소프트웨어 라이브러리의 기능 향상을 위한 구조와 구축 방법을 제안하고 지원 시스템을 개발한다.