• 제목/요약/키워드: Text Retrieval

검색결과 342건 처리시간 0.034초

한국어 정보검색에서의 복합명사 가중치 부여 방법 및 평가 (Weighting Methods and their Evaluations for Compound Nouns in Korean Text Retrieval)

  • 김지영;맹성현
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2001년도 제13회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.157-162
    • /
    • 2001
  • 한국어의 경우 띄어쓰기의 자유로움과 명사들이 비교적 자유롭게 결합하여 새로운 복합명사(compound noun)를 형성한다. 따라서, 정보검색에서 복합명사를 적절하게 처리하게 되면 검색 효율을 향상시킬 수 있다. 본 논문에서는 질의에 포함된 단일명사, 복합명사, 그리고 복합명사를 이루는 구성명사의 적절한 가중치 부여 방법에 대하여 기술한다. 일반적인 tf*idf가중치 방법은 문서 내 빈도수(tf)만을 강조하여 문서 내 발생빈도가 낮은 복합명사의 경우 낮은 가중치를 갖는다. 반대로, 역문헌 빈도수(idf)로 인해 복합명사가 단일명사보다 높은 가중치를 갖게 되면 단일명사의 가중치를 지나치게 떨어뜨려 검색 성능을 저하시킨다. 이런 문제를 해결하기 위해서 복합명사의 통계적인 특성을 고려하고, 복합명사를 이루는 구성명사의 적절한 가중치 사용과 tf*idf 변화 범위에 따른 파라메터를 이용하였다. 결과적으로 본 논문에서는 질의 색인어의 종류에 따라 가중치를 달리 부여함으로써 검색 성능을 향상시킬 수 있는 가중치 부여 방법을 제시하고 검증 실험을 통해 유효성을 제시했다는 점에서 그 의의가 있다고 하겠다.

  • PDF

자동 질의수정을 통한 통합의학언어 시스템 검색 (The Method of Searching Unified Medical Language System Using Automatic Modified a Query)

  • 김종광;하원식;이정현
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2003년도 컴퓨터소사이어티 추계학술대회논문집
    • /
    • pp.129-132
    • /
    • 2003
  • The metathesaurus(UMLS, 2003AA edition) supports multi language and includes 875, 233 concepts, 2, 146, 897 concept names. It is impossible for PubMed or NLM serve searching of the metatheaurus to retrieval using a query that is not to be text, a fault sentence structure or a part of concept name. That means the user notice correctly suitable medical words in order to get correct answer, otherwise she or he can't find information that they want to find I propose that the method of searching unified medical language system using automatic modified a query for problem that I mentioned. This method use dictionary that is standard for automation of modified query gauge similarity between query and dictionary using string comparison algorithm. And then, the tested term converse the form of metathesaurus for optimized result. For the evaluation of method, I select some query and I contrast NLM method that renewed Aug. 2003.

  • PDF

한글 문서 검색에서 n-Gram 색인방법의 성능 분석 (Performance Analysis of n-Gram Indexing Methods for Korean text Retrieval)

  • 이준규;심수정;박혁로
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2003년도 컴퓨터소사이어티 추계학술대회논문집
    • /
    • pp.145-148
    • /
    • 2003
  • The agglutinative nature of Korean language makes the problem of automatic indexing of Korean much different from that of Indo-Eroupean languages. Especially, indexing with compound nouns in Korean is very problematic because of the exponential number of possible analysis and the existence of unknown words. To deal with this compound noun indexing problem, we propose a new indexing methods which combines the merits of the morpheme-based indexing methods and the n-gram based indexing methods. Through the experiments, we also find that the best performance of n-gram indexing methods can be achieved with 1.75-gram which is never considered in the previous researches.

  • PDF

음절 Bi-gram정보를 이용한 한국어 OCR 후처리용 자동 띄어쓰기 (Automatic Word-Spacing of Syllable Bi-gram Information for Korean OCR Postprocessing)

  • 전남열;박혁로
    • 한국인지과학회:학술대회논문집
    • /
    • 한국인지과학회 2000년도 한글 및 한국어 정보처리
    • /
    • pp.95-100
    • /
    • 2000
  • 문자 인식기를 가지고 스캔된 원문 이미지를 인식한 결과로 형태소 분석과 어절 분석을 통해 대용량의 문서 정보를 데이터베이스에 구축하고 전문 검색(full text retrieval)이 가능하도록 한다. 그러나, 입력문자가 오인식된 경우나 띄어쓰기가 잘못된 데이터는 형태소 분석이나 어절 분석에 그대로 사용할 수가 없다. 한글 문자 인식의 경우 문자 단위의 인식률은 약 90.5% 정도나 문자 인식 오류와 띄어쓰기 오류 등을 고려한 어절 단위의 인식률은 현저하게 떨어진다. 이를 위해 한극어의 음절 특성을 고려해서 사전을 기반하지 않고 학습이 잘된 말뭉치(corpus)와 음절 단위의 bi-gram 정보를 이용한 자동 띄어쓰기를 하여 실험한 결과 학습 코퍼스의 크기와 띄어쓰기 오류 위치 정보에 따라 다르지만 약 86.2%의 띄어쓰기 정확도를 보였다. 이 결과를 가지고 형태소 분서고가 언어 평가 등을 이용한 문자 인식 후처리 과정을 거치면 문자 인식 시스템의 인식률 향상에 크게 영향을 미칠 것이다.

  • PDF

문서의 효율적인 검색을 위한 HTML 문서 변환 시스템 (HTML Document Conversion System for Effective Retrieval of Text Document)

  • 김수의;장대용
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (1)
    • /
    • pp.184-186
    • /
    • 2000
  • 이 연구에서는 텍스트 문서를 웹에서 HTML 문서 형태로 효율적으로 검색할 수 있는 변환 시스템을 개발하였다. 웹상에 사용자가 원하는 부분만을 HTML 문서 형태로 제공하도록 문서의 논리적인 구조를 파악하며 그 구조에 대한 정보와 각 논리 단위에 해당하는 부분의 범위 정보를 저장할 수 있도록 관계형 데이터베이스 스키마를 개발하였다. 개발한 시스템은 문서의 목차 테이블을 자동으로 구축하고 목차 테이블의 각 항목에 하이퍼링크를 설정한다. 문서를 웹에서 검색하기 위한 첫 화면은 목차 테이블이며, 그 중 한 항목이 클릭되면 그 항목의 내용이 제공되고, 만약 그 하위에 속하는 항목들이 있다면 그들에 대한 링크를 역시 제공한다. 이러한 방법으로 한 문서의 전체를 그 논리 구조에 따라 사용자가 원하는 대로 검색할 수 있다. 이 시스템은 멀티미디어 타입의 문서를 하이퍼미디어 문서 형식으로 변환할 수 있도록 확장하여 보완 개발될 수 있고, 장래에 전자 출판과 전자 도서관에 응용될 수 있다.

  • PDF

DESIGN OF METADATA MANAGEMENT SYSTEM FOR RETRIEVAL OF VIDEO DATA

  • Heo, Byeong-Mun;Lee, Yang-Koo;Chai, Duck-Jin;Wang, Ling;Lee, Yong-Mi;Ryu, Keun-Ho
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2007년도 Proceedings of ISRS 2007
    • /
    • pp.314-316
    • /
    • 2007
  • Currently for the development of internet and network technology, since request of service for the large volume multimedia data has been more increased, multimedia users want the convenience and accuracy of multimedia service system about storing and retrieving of the multimedia contents. To satisfy the request of users, metadata management for the diverse information of multimedia contents is very important. However, the metadata management for the multimedia contents is difficult because the metadata standards are different each other for the type of multimedia data and service. In this paper, we propose the integration metadata management system structure which extends previous metadata management system based on text for the multimedia contents metadata which are expressed differently each other according to the multimedia data or service type.

  • PDF

한글 텍스트 검색을 위한 요약 화일 기법에 관한 연구 (A Reasearch on Signature File Methods for Korean Text Retrieval)

  • 송병호;이석호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1991년도 제3회 한글 및 한국어정보처리 학술대회
    • /
    • pp.231-237
    • /
    • 1991
  • 텍스트에 대한 내용 본위 검색 기법으로서 요약 화일(signature file) 기법은 역화일(inverted file)이 허용되지 않을 때 매우 유용하다. 그러나 한글은 영문과 달리 어절의 형성이 복잡하고 띄어쓰기 형태가 고정되지 않음에 따라 기존의 단어 위주 영문 본위 요약 화일 기법을 그대로 적용시킬 수 없다. 본 논문에서는 이를 위하여 띄어쓰기를 무시하고 중복된 2음절 패턴을 도출하여 요약 화일을 구성, 검색하는 기법을 제안한다. 이 기법은 일본어, 중국어 등 비슷한 문제를 가진 외국어에도 적용될 수 있다.

  • PDF

하이텔 메뉴검색용 시소러스의 개발에 관한 연구 (Thesaurus Development for HiTEL Service)

  • 최석두
    • 정보관리학회지
    • /
    • 제13권1호
    • /
    • pp.227-241
    • /
    • 1996
  • 정보검색시스템의 성능을 향상시키고 정보검색의 효율성을 높이는 데 활용할 지식베이스로서의 한글시소러스 개발알고리즘을 제시하고, 이 방법에 의한 실체개발사례를 제시한다. 본 연구를 위하여 개발된 시소러스 구축시스템의 기능과 함께 용어의 수집, 분류, 관계의 정의 등의 구축과정에서 사용한 하이텔 메뉴, 용어사전의 이용방법등에 대하여 논한다.

  • PDF

미디어간 상호 연관성을 이용한 멀티미디어 문서 검색 시스템의 설계 (Design of Multimedia Document Retrieval System Using Relations between Media)

  • 이성환;유채곤;이원호;황치정
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (1)
    • /
    • pp.274-276
    • /
    • 1998
  • 많은 분야에서 정보를 효과적으로 전달하기 위한 수단으로 멀티미디어가 많이 사용되고 있다. 이에 멀티미디어 문서를 효율적으로 저장, 검색, 표현하기 위한 기법에 대한 연구가 필요하다. 멀티미디어 문서 내에 사용되는 audio, video, image, text와 같은 여러 미디어들은 문서 내에서 시.공간적 관계뿐 아니라 내용상의 연관성을 갖게 된다. 본 논문에서는 멀티미디어 문서에 사용되는 미디어들의 특징 및 연관성을 추출해 내고, 각 미디어들을 효율적으로 관리하기 위하여 미디어 특성에 맞는 세크멘테이션 기법을 이용하고 이들에 대한 내용상의 연관성을 고려하여 저장(store), 검색(retrieve), 표현(present)하기위한 시스템을 설계 하였다.

비디오 인덱싱을 이용한 수준별 학습 (Learning on Level Using Video Indexing)

  • 소윤옥;김영봉
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
    • /
    • pp.691-693
    • /
    • 2002
  • 현대 사회에서 수요자를 고려하지 않은 산업 형태는 거의 찾아볼 수 없다. 우리 교육 또한 학생 개개인의 능력을 출발점으로 하여 학생의 눈높이에 맞춘 교육을 바람직하게 여기는 추세로 변화하고 있다. 이렇게 볼 때 가장 이상적인 학습형태는 개별화 수업이다. 최근 데이터 압축 기술과 통신 기술의 발달로 동영상 데이터(video data)를 이용한 다양한 서비스가 가능하게 되면서 교육에서도 그 사용의 폭이 넓어지고 있다. 이에 따라 동영상 데이터를 효율적으로 저장, 관리할 수 있는 검색에 대한 연구가 활발하게 이루어져오고 있다. 본 논문에서는 동영상 데이터 검색방법의 하나인 주석기반 방식(text-based retrieval)을 이용하여 하나의 교육용 비디오를 장면분할(scene segmentation)하여 학습내용의 수준에 따라 상.중.하 색인을 한다. 이 색인된 비디오에서 수준별 개별학습이 가능한 가상의 비디오 시퀸스(video sequence)를 만들어낸다.

  • PDF