• 제목/요약/키워드: 텍스트 인덱스

검색결과 46건 처리시간 0.025초

다차원 텍스트 큐브를 이용한 호텔 리뷰 데이터의 다차원 키워드 검색 및 분석 (Multi-Dimensional Keyword Search and Analysis of Hotel Review Data Using Multi-Dimensional Text Cubes)

  • 김남수;이수안;조선화;김진호
    • 정보화연구
    • /
    • 제11권1호
    • /
    • pp.63-73
    • /
    • 2014
  • 웹의 발달로 텍스트 등으로 이루어진 비정형 데이터의 활용에 대한 관심이 높아지고 있다. 웹상에서 사용자들이 작성한 대부분의 비정형 데이터는 사용자의 주관이 담겨져 있어 이를 적절히 분석할 경우 사용자의 취향이나 주관적인 관점 등의 아주 유용한 정보를 얻을 수 있다. 이 논문에서는 이러한 비정형 텍스트 문서를 다양한 차원으로 분석하기 하는데 OLAP(온라인 분석 처리)의 다차원 데이터 큐브 기술을 활용한다. 다차원 데이터 큐브는 간단한 문자나 숫자 형태의 정형적인 데이터에 대해 다차원 분석하는데 널리 사용되었지만, 텍스트 문장으로 이루어진 비정형 데이터에 대해서는 활용되지 않았다. 이러한 텍스트 데이터베이스에 포함된 정보를 다차원으로 분석하기 위한 방법으로 텍스트 큐브 모델이 최근에 제안되었는데, 이 텍스트 큐브는 정보 검색에서 널리 사용하는 용어 빈도수(Term Frequency)와 역 인덱스(Inverted Index)를 측정값으로 이용하여 텍스트 데이터베이스에 대한 다차원 분석을 지원한다. 이 논문에서는 이러한 다차원 텍스트 큐브를 활용하여 실제 서비스되고 있는 호텔 정보 공유 사이트의 리뷰 데이터 분석에 활용하였다. 이를 위해 호텔 리뷰 데이터에 대한 다차원 텍스트 큐브를 생성하였으며, 이를 이용하여 다차원 키워드 검색 기능을 제공하여 사용자 중심의 의미있는 정보 검색이 가능한 시스템을 설계 및 구현하였다. 또한, 본 논문에서 제안하는 시스템에 대해 다양한 실험을 수행하였으며 이를 통해 제안된 시스템의 실효성을 검증하였다.

실시간 모바일 GIS 응용 구축을 위한 주기억장치 데이터베이스 시스템 설계 및 구현 (Design and Implementation of a Main-Memory Database System for Real-time Mobile GIS Application)

  • 강은호;윤석우;김경창
    • 정보처리학회논문지D
    • /
    • 제11D권1호
    • /
    • pp.11-22
    • /
    • 2004
  • 최근 들어 계속되는 램 가격 하락으로 인해 대용량의 램을 사용하는 주기억장치 데이터베이스 시스템의 구축이 실현 가능하게 되었다. 주기억장치 데이터베이스는 여러 다양한 실시간 응용 분야를 위해 사용되며, 매년 CPU 속도가 60% 정도 증가되고, 메모리 속도가 10% 증가되는 현실에서, 케쉬 미스(Cache miss)를 얼마나 줄이느냐 하는 문제가 주기억장치 데이터베이스의 검색 성능 측면에서 가장 중요한 문제로 대두되고 있다. 본 논문에서는 이러한 환경을 고려한 실시간 모바일 GIS응용을 위한 주기억장치 데이터베이스 시스템을 설계 및 구현한다. 본 시스템은 크게 PDA를 사용하는 모바일 사용자를 위한 인터페이스 관리기와 가상 메모리 기법을 사용해 전체 데이터를 주기억장치에 상주시키며 관리하는 주기억 데이터 관리기, 공간 및 비 공간 질의를 처리하는 질의처리기, 새롭게 제시하는 공간 데이터를 위한 MR-트리 인덱스와 비 공간 데이터를 위한 T-트리 인덱스 구조를 관리하는 인덱스 관리기, 데이터를 디스크에 저장하기 위한 GIS 서버 인터페이스로 구성된다. 새롭게 제시하는 공간 인덱싱을 위한 MR-트리는 노트 분할이 발생될 경우, 입력 경로 상에 하나 이상의 빈 엔트리를 지니는 노드가 존재할 경우에만, 노드 분할을 상위로 전송한다. 그러므로 중간 노드들은 항상 100%에 가깝게 채워져 있게 된다. 본 논문의 실험 결과, 2차원의 MR-트리는 기존의 R-트리에 비해 2.4배 이상의 빠른 검색 속도를 나타냈다. 한편, 주 기억 데이터 관리기는 가상 메모리 제공을 위해 전체 벡터 데이터 및 MR-트리, T-트리, 데이터 객체 텍스트 정보를 페이지 단위로 분할하여 관리하고, 간접 주소 기법을 사용하여 디스크로부터의 재 로딩시 발생할 수 있는 문제점을 제거하였다.

이동 단말을 위한 HTML 문서의 변환 기법 (A HTML Document Transcoding Technique for Mobile Devices)

  • 신희숙;조수선;이동우;마평수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (하)
    • /
    • pp.2347-2350
    • /
    • 2002
  • 본 논문에서는 일반 데스크탑 PC의 디스플레이 성능에 적합하도록 작성된 유선의 웹 문서를 무선 인터넷 환경의 핸드헬드 계열 소형 단말에서도 효율적으로 표현하기 위한 변환 기법을 제시한다. 이는 기존의 단순한 텍스트 위주의 추출 및 형식의 변환과는 달리, 분석 및 변환을 위한 최소 내용 단위를 설정하고, 이들의 재배치를 통하여 원본 웹 문서의 정보를 보다 정확히 반영한다. 또한 새로운 인덱스 형식으로의 재표현을 통하여 기존의 페이지 조각과 계층적 구조의 인덱스 링크를 이용한 인터페이스보다 편리한 검색 및 페이지 이동을 제공한다. 이 기법은 보다 많은 정보를 복잡한 구조로 표현하는 현재의 웹 문서 특징을 반영하고, 이동 단말들의 고성능화 추세와 함께 화려한 무선 인터넷을 요구하는 사용자들을 고려한 것이다. 전체 변환 과정은 Layout-Forming Tag Analysis Algorithm, Component Grouping Algorithm Component Block Classification Method, Index Generation Method로 구성된다. 변환 시스템의 구성 모듈별 설계와 프로토타입의 구현을 통하여 제안하는 알고리즘 및 변환 방법을 평가하였고, 실제 웹 문서에 대한 실험 결과에서 단말의 소형 화면에 적합하게 변환된 모습을 확인하였다.

  • PDF

DNA 스트링에 대하여 써픽스 배열을 구축하는 빠른 알고리즘 (Fast Construction of Suffix Arrays for DNA Strings)

  • 조준하;김남희;권기룡;김동규
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제34권8호
    • /
    • pp.319-326
    • /
    • 2007
  • DNA 스트링과 같은 대용량의 데이타에 대한 빠른 검색을 수행하기 위해서는 전체 텍스트 인덱스 자료구조를 구축하여 검색하는 방법이 효율적이다. 가장 일반적인 인덱스 자료구조는 써픽스 트리와 써픽스 배열이다. 써픽스 배열은 써픽스 트리보다 적은 공간을 사용하기 때문에 DNA 스트링과 같은 대용량의 데이타에 적합한 자료구조이다. 기존의 써픽스 배열 구축 알고리즘들은 정수 문자집합에 적합한 알고리즘들이어서 DNA 스트링에 적합하지 않았다. 본 논문에서는 DNA 스트링의 문자집합이 4로 고정되어 있는 사실을 이용하여 DNA 스트링에 대한 써픽스 배열을 마르게 구축하는 방법을 제안한다. 고정길이 문자집합에 효율적인 Kim et. al.[1]의 알고리즘의 인코딩 과정과 합병 과정 개선으로 전체 구축 시간을 향상시켰다. 실험 결과 1.3배에서 1.6배 정도 구축 속도가 향상되었으며, 기존의 다른 써픽스 배열 구축 알고리즘들과 비교한 결과에서도 대부분 가장 빠르게 써픽스 배열을 구축하였다.

안드로이드에서 힌디어 텍스트 처리 방법 (A Text Processing Method for Devanagari Scripts in Andriod)

  • 김재혁;맹승렬
    • 한국콘텐츠학회논문지
    • /
    • 제11권12호
    • /
    • pp.560-569
    • /
    • 2011
  • 본 논문에서는 개방형 OS인 안드로이드에서 힌디어 텍스트 처리방법을 제안한다. 텍스트 처리의 핵심은 알파벳을 문자로 조합하는 규칙을 정의하는 오토마타와 폰트 파일에서 문자에 대응하는 이미지를 검색하고 이를 화면에 표시하는 폰트 렌더링이다. 오토마타는 입력 문자의 종류와 개수에 좌우되는데 유니코드를 기반으로 자음 14자와 모음 34자를 알파벳으로 사용하는 오토마타를 제안한다. 조합된 음절은 테이블 매핑 방식을 사용하여 그립 인덱스로 변환하고 해당하는 폰트를 로드하기 위한 핸들로 사용한다. 프리 타입 폰트엔진의 다국어 지원 프레임워크에 따라 제안방법을 별도의 모듈로 추가함으로서 시스템 수준에서 힌디어를 지원할 수 있다. 메시지 어플리케이션을 통해 제안방법의 타당성을 보인다.

TBB, Cilk Plus를 이용한 병렬 접미사 트리 생성 알고리즘 구현 및 성능 분석 (Implementation and analysis of a parallel suffix tree construction algorithm using TBB and Cilk Plus)

  • 서준호;나중채
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
    • /
    • pp.403-405
    • /
    • 2012
  • 접미사 트리는 문자열 압축, 텍스트 처리, 생물정보학 등 다양한 응용 분야에서 사용되는 인덱스 자료구조이다. 최근 64bit 하드웨어와 멀티코어 CPU가 보급됨에 따라 메모리상에서 병렬로 접미사 트리를 생성하는 알고리즘이 활발히 연구되고 있다. 본 논문에서는 McCreight의 선형시간 알고리즘과 Chen의 병렬 알고리즘을 기반으로 메모리상에서 접미사 트리를 병렬로 생성하는 구현 방법을 보였으며, TBB, Cilk Plus와 같은 병렬 프로그래밍 라이브러리를 이용하여 병렬 알고리즘을 구현하였다. 알고리즘 실험 결과 병렬로 수행한 알고리즘이 직렬로 수행한 결과보다 최대 4배 가량 성능 향상을 얻을 수 있었으며, 병렬 라이브러리를 사용함으로써 가지는 오버헤드는 극히 적은 것으로 나타났다.

Wavelet 과 Texture feature를 이용한 영상 분류방법 (An Image Classificatiion Using Wavelet and Texture Feature)

  • 이연숙;이병일;최홍국;김상균;서재현
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2000년도 춘계학술발표논문집
    • /
    • pp.357-360
    • /
    • 2000
  • 최근에는 텍스트기반 검색 기법의 단점들을 극복하기 위하여 멀티미디어 데이터에서 내용으로 표현되는 특징데이터(Feature data)를 자동으로 추출하여 이를 기반으로 검색을 하는 내용기반 검색기법(Content- Based Retrieval Technique)에 대한 연구가 활발하다. 그러나 내용기반 검색 시스템에서 데이터 수가 무한히 많아질 경우, 찾고자 하는 이미지를 검색하는데 정확성과 시간면에서 효율성이 떨어진다. 따라서 방대한 이미지 데이터를 보다효과적으로 검색하고 저장하기 위해서는 유사성이 높은 이미지들을 서로 묶어 그룹화하고 그룹별 특징을 분석하여 인덱스화 함이 필요하다. 이에 본 논문에서는 그룹화를 위해 각각의 이미지 객체에 대하여 웨이브릿변환 (Wavelet Transform) 기법과 질감 특징( Texture Feature) 값 추출을 통해 그룹간에 가지는 특징값을 분석 비교하였다.

  • PDF

이미지 데이타 클러스터링을 이용한 검색 연구 (Study on the searching of images via clustering)

  • 김진옥;황대준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 춘계학술발표논문집 (상)
    • /
    • pp.97-100
    • /
    • 2002
  • 이미지, 비디오, 오디오와 같은 멀티미디어 데이터들은 텍스트기반의 데이터에 비하여 대용량이고 비정형적인 특성을 가지기 때문에 검색이 어렵다. 또한 멀티미디어 데이터의 특징은 행렬이나 벡터의 형태로 표현되기 때문에 완전일치 검색이 아닌 유사 검색을 수행하여 사용자가 원하는 이미지와 유사한 이미지를 검색해야 한다. 본 연구에서는 멀티미디어 데이터 검색에 클러스터링와 인덱싱 기법을 같이 적용하여 유사한 이미지끼리는 인접 디스크에 클러스터하고 이 클러스터에 접근하는 인덱스를 구축하여 검색이 빠르게 이루어지는 유사 검색방법을 제안한다 제안 검색 방법은 클러스터링을 생성하는 알고리즘과 해싱기법의 인덱싱을 같이 적용함으로써 VQ(Vector Quantization)보다 높은 재현율과 정확도를 보인다.

  • PDF

웹 기반 영상과 문서의 자동결합기법에 관한 연구 (A Study of Development on technique for document & image unite)

  • 나종원
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 추계학술발표대회
    • /
    • pp.187-190
    • /
    • 2006
  • 텍스트위주의 자료와 영상회의 자료를 결합하여 통합하고 이를 웹을 통해 서비스 하도록 구현하였다. 멀티미디어 회의정보 등록시 사용자는 DAM실행 파일을 자신의 PC에서 실행하고 프로그램에 내장된 윈도우 탐색기를 통해 등록하고자 하는 회의파일을 선택하면 XML 자동 피싱모듈이 실행되면서 자료 저장을 위한 핵심정보와 검색을 위한 단어색인 및 인덱스를 수행하여 오류시에는 에러메세지를 보여주고 성공시에는 분석된 핵심정보를 제공해준다. 서버로 전송된 멀티미디어 회의자료는 종류/시간/등으로 구분되어 윈도우 탐색기 형태의 트리구조와 사용자가 직접 단어를 입력하여 원하는 회의 정보를 검색하는 2가지 형태의 검색서비스를 제공하게 된다. 사용자는 본인의 서비스 환경에 따라 영상+문서, 문서 등을 자유롭게 선택하여 볼 수 있다. DAM의 경제적인 효과에 대하여 정확한 통계 자료가 국내에 아직 발표되지 않아 유사분야인 WCM시장 분석을 근거로 예상하였으며 시스템이 다양하고 복잡해질수록 투자대비 경제적인 효과가 높아 동기화 기술분야 시장이 확대될 것으로 기대된다.

  • PDF

MiDAS-III에서 내용기반 이미지 검색을 위한 CIR-트리 관리기의 설계 및 구현 (Design and Implementation of the CIR-Tree Manager on MiDAS-III for Supporting Efficient Content-Based Image Retrieval)

  • 이희종;송석일;이석희;유재수;조기형;이훈순;이장선
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (1)
    • /
    • pp.302-304
    • /
    • 1999
  • 최근 이미지 데이터에 대한 요구가 폭발적으로 증가됨에 따라 대용량 이미지 데이터에 대한 저장과 검색에 관한 연구가 활발히 진행되고 있다. 그러나 이미지 데이터는 기존의 텍스트 데이터에 비해 대용량이라는 특성과 비정형적인 특성을 가지고 있어 신속하고 효율적인 검색에 많은 어려움이 있다. 본 논문에서는 기존에 이미지 검색을 위해 제안된 인덱스 구조중 고차원 특성을 효율적으로 수용하고 저장공간의 이용률과 검색성능이 뛰어난 CIR-트리를 국내에서 개발된 상용 데이터베이스 시스템인 바다의 하부 저장구조인 MiDAS 기반에서 구현한다. CIR-트리 관리기를 갖는 MiDAS-III에서 K-NN 질의 및 범위 질의가 처리될 때 순차검색에 비해 약 60~99%정도의 검색성능이 향상되었다.

  • PDF