• 제목/요약/키워드: Text Retrieval

검색결과 342건 처리시간 0.024초

스마트폰 애플리케이션을 위한 임베디드형 피드백 지원 검색체 (Embeded-type Search Function with Feedback for Smartphone Applications)

  • 강문중;황민태
    • 한국정보통신학회논문지
    • /
    • 제21권5호
    • /
    • pp.974-983
    • /
    • 2017
  • 본 논문에서는 안드로이드 기반의 각종 어플리케이션에 내장시켜 사용가능한 검색체에 대해 연구하였다. 이를 위해 조사와 같이 무의미하지만 자주 사용되는 단어를 빈도수에 따라 억제하는 BM25, 아이템의 길이 편차에 따른 검색 순위 문제를 해결하기 위해 아이템의 길이에 따라 중요도를 보정하는 Pivoted Length Normalization, 그리고 벡터공간 모형 상에서 쿼리 벡터를 관련 있는 것으로 판정된 아이템들의 벡터 그룹으로 끌어당겨 보정하는 Rocchio's Method를 사용해 묵시적 피드백 기능을 지원하도록 하였다. 그리고 색인 작업은 오프라인 동작을 위한 간단 색인과 온라인 동작을 위한 정밀 색인의 두 단계로 나누어 동작성을 보장하도록 하였다. 본 논문에서 연구한 피드백 지원 검색체는 쿼리 유추를 통해 사용자의 입력을 색인된 자료와 비교해 입력 내용을 예측하고 오타 등의 사용자 실수에 대해서도 대응하므로 스마트폰 어플리케이션에 손쉽게 탑재되어 검색 기능을 향상시킬 수 있을 것으로 기대한다.

외국어 음차 표기의 음성적 유사도 비교 알고리즘 (Phonetic Similarity Meausre for the Korean Transliterations of Foreign Words)

  • 강병주;이재성;최기선
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권10호
    • /
    • pp.1237-1246
    • /
    • 1999
  • 최근 모든 분야에서 외국과의 교류가 증대됨에 따라서 한국어 문서에는 점점 더 많은 외국어 음차 표기가 사용되는 경향이 있다. 하지만 같은 외국어에 대한 음차 표기에 개인차가 심하여 이들 음차 표기를 포함한 문서들에 대한 검색을 어렵게 만드는 원인이 되고 있다. 한 가지 해결 방법은 색인 시에 같은 외국어에서 온 음차 표기들을 등가부류로 묶어서 색인해 놓았다가 질의 시에 확장하는 방법이다. 본 논문에서는 외국어 음차 표기들의 등가부류를 만드는데 필요한 음차 표기의 음성적 유사도 비교 알고리즘인 Kodex를 제안한다. Kodex 방법은 기존의 스트링 비교 방법인 비음성적 방법에 비해 음차 표기들을 등가부류로 클러스터링하는데 있어 더 나은 성능을 보이면서도, 계산이 간단하여 훨씬 효율적으로 구현될 수 있는 장점이 있다.Abstract With the advent of digital communication technologies, as Koreans communicate with foreigners more frequently, more foreign word transliterations are being used in Korean documents more than ever before. The transliterations of foreign words are very various among individuals. This makes text retrieval tasks about these documents very difficult. In this paper we propose a new method, called Kodex, of measuring the phonetic similarity among foreign word transliterations. Kodex can be used to generate the equivalence classes of the transliterations while indexing and conflate the equivalent transliterations at the querying stage. We show that Kodex gives higher precision at the similar recall level and is more efficient in computation than non-phonetic methods based on string similarity measure.

CD-ROM 네트워크(LAN)에 관한 소고(小考) (A Study on the CD ROM Network(LAN))

  • 길형도
    • 정보관리연구
    • /
    • 제21권2호
    • /
    • pp.9-23
    • /
    • 1990
  • CD-ROM기술(技術)의 개발(開發)은 불과 10년이 채 안되었지만 그동안 비약적 발전을 거듭하여 여러 응용분야(應用分野)에서 활용되고 있다. 서지데이터는 물론 수치(數値), 음성(音聲), 영(映) 화상(畵像) 데이터를 초록형(抄錄型) 또는 전문형(全文型)으로 수록하여 도서관은 물론 기업체(企業體), 정보기관(情報機關) 등에 제공(提供), 활용(活用)하여 도서관(圖書館) 직원(職員), 정보전문가(情報專門家), 일반이용자(一般利用者)들에게 정보검색(情報檢索) 훈련용(訓練用)으로 쓰일 수 있게 되었다. 한 개 디스크를 액세스하기 위해 한 대의 디스크드라이브와 한 대의 컴퓨터를 필요(必要)로 했던 것에서 탈피하여 현재는 한 대의 드라이브로 여러 장의 CD-ROM을 검색(檢索)할 수 있고, 동시에 여러 명의 이용자가 다양한 정보(情報)를 액세스할 우 있는 이상적인 시스템인 CD-ROM LAN이 가능하게 되었다. 따라서, 본고(本稿)에서는 CO-ROM의 기능(機能)과 종류(種類), 특성(特性), 시스템구성(構成)과 데이터블록, 제작과정(製作過程)과 표준화(標準化) 그리고 CD-ROM LAN에 대해 살펴보았다.

  • PDF

주성분 자기조직화 지도 PC-SOM (Principal Components Self-Organizing Map PC-SOM)

  • 허명회
    • 응용통계연구
    • /
    • 제16권2호
    • /
    • pp.321-333
    • /
    • 2003
  • 자기조직화 지도(SOM)은 T. 코호넨의 주도하에 개발된 비지도 학습 신경망 모형이다. 그 동안 패턴인식과 문서검색 분야에 주로 응용되어 왔기 때문에 통계학 분야에서는 덜 알려졌으나, 최근 K-평균 군집화에 대한 대안적 데이터 마이닝 기법으로 활용되기 시작하였다. 본 연구에서는 SOM의 한 버전인 PC-SOM(주성분 자기조직화 지도)을 제안하고 활용 예를 제시하고자 한다. PC-SOM은 1차원적 SOM 알고리즘을 반복 수행하여 2차원, 3차원 등의 SOM을 얻는 방법이기 때문에 기존 SOM과는 달리 사전 Map의 크기를 확정할 필요가 없다. 또한, 기존 SOM에 비하여 향상된 시각화를 가능하게 한다.

LDA 모델을 이용한 잠재 키워드 추출 (Latent Keyphrase Extraction Using LDA Model)

  • 조태민;이지형
    • 한국지능시스템학회논문지
    • /
    • 제25권2호
    • /
    • pp.180-185
    • /
    • 2015
  • 인터넷 미디어의 발달과 함께 온라인 문서의 양이 급격하게 증가함에 따라, 문서 요약과 정보 검색 등 다양한 분야에 활용가능한 키워드를 자동으로 찾고자하는 연구가 활발히 진행되고 있다. 하지만 기존의 키워드 추출 연구들은 문서에서 나타나는 키워드만을 대상으로 하고 있어, 문서에서 등장하지 않는 잠재 키워드를 추출하지 못하는 한계를 갖고 있다. 잠재 키워드는 실데이터 키워드의 1/4 이상을 차지하고 있으며, 문서에서 나타나지는 않지만 문서의 중요한 개념이나 내용을 함축하고 있어 문서 요약 및 정보 검색에 중요한 역할을 차지할 수 있다. 특히 SNS와 같이 내용이 적어 키워드가 명시적으로 나타나기 어려운 문서에서 유용하게 활용될 수 있다. 본 논문에서는 잠재 키워드를 추출하기 위해 주어진 문서와 유사한 문서의 키워드를 후보 키워드로 선택하고 후보 키워드를 구성하는 개별 단어들을 이용해 후보 키워드의 중요도를 평가하는 방법을 제안한다. 실험을 통해, 제안 기법이 잠재 키워드를 합리적인 수준으로 추출할 수 있음을 보였다.

The Application of Geography Markup Language(GML) to the Maritime Information

  • Oh, Se-Woong;Park, Jong-Min;Suh, Sang-Hyun
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2006년도 International Symposium on GPS/GNSS Vol.1
    • /
    • pp.519-524
    • /
    • 2006
  • This paper describes an application of information presentation based geographic map for maritime information, including navigation information. The work is motivated by the need to prepare maritime information representation and distribution for future generation Web network technology. This works consist of map generation using GML and application to maritime information. GML 3.0 became an adopted specification of the Open Geospatial Consortium(OGC) in January 2003, and is rapidly emerging as the world standard for the encoding, transport and storage of all forms of geographic information. This paper looks at the application of GML to one of the more challenging areas of maritime information. Specific features of GML of interest to maritime information provider are discussed and then illustrated through a series of maritime information case studies. The first phase of the work consists of the construction of GML application schema for using as a base map of maritime information. Maritime information is acquired from multiple sources, including standards documents, database schemas, lexicons, collections of symbol definition. The sources of GML ontological knowledge and the contribution of each source to the overall ontology are described in this paper. In the second phase, the prepared GML is used to create a prototype of the mixed maritime information as a base map - for tagging documents within the maritime domain. An overview of this prototype is included. One application area for these information elements described here is the integrated retrieval of maritime information from diverse sources, ranging from Web sites to nautical chart databases and text documents.

  • PDF

질의응답시스템 응답순위 개선을 위한 새로운 유사도 계산방법 (A New Similarity Measure for Improving Ranking in QA Systems)

  • 김명관;박영택
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제10권6호
    • /
    • pp.529-536
    • /
    • 2004
  • 본 논문에서는 질의응답시스템의 성능을 개선하기 위해 문장의 위치정보와 질의형태분류기를 사용하여 질의에 대한 대답순위를 조정하는 새로운 질의-문서 유사도 계산을 제안한다. 이를 위해 첫째로 문서내용을 표현하고 문서의 위치정보를 반영하기 위해 개념그래프를 사용한다. 이 방법은 문서비교에 대표적으로 사용되는 Dice-Coefficient에 기반하고 문장에서 단어의 위치정보론 반영한 유사도 계산이다. 두번째로 질의응답시스템의 대답순위를 개선하기 위하여 질의형태를 고려한 기계학습을 통한 질문에 대한 분류를 하였으며 이를 위해서 뉴스그룹의 FAQ 문서 30,000개를 가지고 기계학습 방법인 나이브 베이지안을 사용한 분류기를 구현하였다. 이에 대한 평가를 위해 세계적인 정보검색대회인 TREC-9의 질의응답시스템분야에 제출된 데이타를 가지고 실험하였으며 기존의 방법에 비해 자동학습기법을 사용하였음에도 평균상호순위가 0.29, 상위 5위에 정답을 포함시킨 경우가 55.1%의 성능을 보였다. 이 방법은 다른 시스템과 달리 질의형태분류를 기계학습 방법을 사용하여 자동으로 학습하는 것에 의의를 갖는다.

멀티 뷰 기법 리뷰: 이해와 응용 (Multi-view learning review: understanding methods and their application)

  • 배강일;이영섭;임창원
    • 응용통계연구
    • /
    • 제32권1호
    • /
    • pp.41-68
    • /
    • 2019
  • 멀티 뷰 기법은 데이터를 다양한 관점에서 보려는 접근 방법이며 데이터의 다양한 정보를 통합하여 사용하려는 시도이다. 최근 많은 연구가 진행되고 있는 멀티 뷰 기법에서는 단일 뷰 만을 이용하여 모형을 학습시켰을 때 보다 좋은 성과를 보인 경우가 많았다. 멀티 뷰 기법에서 딥 러닝 기법의 도입으로 이미지, 텍스트, 음성, 영상 등 다양한 분야에서 좋은 성과를 보였다. 본 연구에서는 멀티 뷰 기법이 인간 행동 인식, 의학, 정보 검색, 표정 인식 분야에서 직면한 여러 가지 문제들을 어떻게 해결하고 있는지 소개하였다. 또한 전통적인 멀티 뷰 기법들을 데이터 차원, 분류기 차원, 표현 간의 통합으로 분류하여 멀티 뷰 기법의 데이터 통합 원리를 리뷰 하였다. 마지막으로 딥 러닝 기법 중 가장 범용적으로 사용되고 있는 CNN, RNN, RBM, Autoencoder, GAN 등이 멀티 뷰 기법에 어떻게 응용되고 있는지를 살펴보았다. 이때 CNN, RNN 기반 학습 모형을 지도학습 기법으로, RBM, Autoencoder, GAN 기반 학습 모형을 비지도 학습 기법으로 분류하여 이 방법들이 대한 이해를 돕고자 하였다.

Using Roots and Patterns to Detect Arabic Verbs without Affixes Removal

  • Abdulmonem Ahmed;Aybaba Hancrliogullari;Ali Riza Tosun
    • International Journal of Computer Science & Network Security
    • /
    • 제23권4호
    • /
    • pp.1-6
    • /
    • 2023
  • Morphological analysis is a branch of natural language processing, is now a rapidly growing field. The fundamental tenet of morphological analysis is that it can establish the roots or stems of words and enable comparison to the original term. Arabic is a highly inflected and derivational language and it has a strong structure. Each root or stem can have a large number of affixes attached to it due to the non-concatenative nature of Arabic morphology, increasing the number of possible inflected words that can be created. Accurate verb recognition and extraction are necessary nearly all issues in well-known study topics include Web Search, Information Retrieval, Machine Translation, Question Answering and so forth. in this work we have designed and implemented an algorithm to detect and recognize Arbic Verbs from Arabic text.The suggested technique was created with "Python" and the "pyqt5" visual package, allowing for quick modification and easy addition of new patterns. We employed 17 alternative patterns to represent all verbs in terms of singular, plural, masculine, and feminine pronouns as well as past, present, and imperative verb tenses. All of the verbs that matched these patterns were used when a verb has a root, and the outcomes were reliable. The approach is able to recognize all verbs with the same structure without requiring any alterations to the code or design. The verbs that are not recognized by our method have no antecedents in the Arabic roots. According to our work, the strategy can rapidly and precisely identify verbs with roots, but it cannot be used to identify verbs that are not in the Arabic language. We advise employing a hybrid approach that combines many principles as a result.

근대 한국기독교 자료의 디지털 아카이브 시스템 구축에 관한 연구 (A Study on Constructing a Digital Archive System of the Modern Korean Christian Collections)

  • 양지안
    • 한국콘텐츠학회논문지
    • /
    • 제22권8호
    • /
    • pp.681-691
    • /
    • 2022
  • 본 연구는 우리나라 개화기 이후 해방될 때까지 근대 시기에 발행된 한국기독교 관련 자료를 다수 소장하고 있는 S대학교 한국기독교박물관의 자료목록을 분석하여 이를 대상으로 디지털 아카이브 시스템을 구축하는데 목적이 있다. 한국 근대 시기의 기독교자료에 관한 디지털 아카이브 시스템 구축을 위해 대상 자료에 대한 색인과 메타데이터를 형식에 맞게 작성하였다. 선별된 자료를 디지털화한 후, 메타데이터 정보를 이용하여 데이터베이스를 구축하였고, 실제 시스템은 웹 표준 기반의 관리시스템과 이용자서비스시스템으로 나누어 구축하였다. 디지털 아카이브의 원활한 이용을 위해 내용기반의 검색시스템을 구축하였으며, 한 글자 단위의 검색결과 매칭값을 제공하고 검색어 자동완성 기능을 구현함으로써 이용자의 편의성을 제고하였다. 이를 통해 원문접근이 어려운 박물관 자료를 손쉽게 이용할 수 있도록 디지털화하여 제공함으로써 인문학 콘텐츠의 장기적 발전의 토대를 마련하여 연구자 및 대중들의 자료 접근성 및 활용성을 제고할 수 있는 기반을 마련하였다.