• 제목/요약/키워드: cross-language information retrieval

검색결과 17건 처리시간 0.018초

위키피디아로부터의 자동 병렬 문장 추출 기법을 이용한 영어-한국어 교차언어 정보검색의 번역 성능 개선 (Improving Query Translation by Extracting Parallel Sentences from Wikipedia for Cross-Language Information Retrieval)

  • 천주룡;고영중
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2015년도 제27회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.35-40
    • /
    • 2015
  • 본 논문은 영어-한국어 교차언어 정보검색의 질의어 번역에 대한 중요한 자원으로 활용되는 병렬 말뭉치의 품질 향상을 위해서, 위키피디아의 비교 말뭉치로부터 자동으로 병렬 문장을 추출하여 활용하는 기법을 제안한다. 기존 연구에서 질의어 번역을 위해 위키피디아의 이중 어휘 사전 및 동의어, 다의어 정보를 구축하고, 기 기축된 병렬 말뭉치와 함께 활용하여 여러 의미를 가진 번역 후보 단어들 중, 최적의 단어를 선택하는 방법을 이용하고 있다. 여기서 활용되는 병렬 말뭉치는 질의어 번역에서 가장 중요한 자원이다. 하지만, 기 구축된 병렬 말뭉치는 양이 적거나, 특정 영역을 중심으로 구성되어 있는 문제가 있다. 이러한 문제를 해결하기 위해, 본 논문은 위키피디아로부터 자동 병렬 문장 추출 기법을 이용, 대량의 영어-한국어 간 병렬 말뭉치를 구축하고, 이를 교차언어 정보검색을 위한 질의어 번역에 적용하여 개선을 보인다. 실험의 성능 비교를 위해서 NTCIR-5 데이터를 이용하였으며 기 구축된 세종 병렬 말뭉치를 활용한 질의어 번역의 성능이 MAP 31.5%, R-P 33.0%에서, 새롭게 구축한 위키피디아 병렬 말뭉치를 활용한 질의어 번역의 성능이 MAP 34.6%, R-P 34.6%로, 각각 MAP 3.1%와 R-P 1.6%의 성능 향상을 보였다.

  • PDF

Open API를 활용한 다국어 정보검색 시스템 모델링에 관한 연구

  • 황세찬;김흥철;김선진;정주석;강신재
    • 한국산업정보학회:학술대회논문집
    • /
    • 한국산업정보학회 2009년도 춘계학술대회 미래 IT융합기술 및 전략
    • /
    • pp.129-132
    • /
    • 2009
  • 본 논문은 오픈 API를 이용하여 다국어 정보검색 시스템을 모델링하는 방법론을 제시한다. 웹 2.0이 대두되면서 웹 2.0의 개념을 활용한 기술들이 발달하고 있는데, 그 중 한 기술이 오픈 API이다. 기업에서 개발한 새로운 서비스나 기능, 데이터 등을 API로 공개함으로써 사용자들이 공개된 API를 이용하여 새로운 서비스를 쉽게 개발할 수 있게 되었다. 본 연구에서는 구글, 플리커, 유튜브, 네이버, 다음 등의 사이트에서 제공하는 오픈 API를 이용하여, 다국어 정보 검색 시스템을 구현하였다. 구글 번역 API를 이용하여 한국어 질의어를 검색 대상 언어(영어, 일본어, 중국어 등)로 번역한 후, 소설 웹 사이트(플리커, 유튜브, 다음, 네이버 등)의 정보를 검색하고, 검색된 결과 내 텍스트를 다시 한국어로 번역한 후, 통합된 검색 결과를 사용자에게 보여준다.

  • PDF

Open API와 Ajax를 이용한 다국어 메타검색 서비스의 모델링 및 구현 (Modeling and Implementation of Multilingual Meta-search Service using Open APIs and Ajax)

  • 김선진;강신재
    • 한국산업정보학회논문지
    • /
    • 제14권5호
    • /
    • pp.11-18
    • /
    • 2009
  • 자바스크립트 기반의 Ajax는 ActiveX 기술의 대안으로 주목받고 있는데, 대부분의 웹 브라우저에서 기본으로 지원되고, 비동기 상호작용을 통한 빠른 속도와 뛰어난 트래픽 절감 효과, 그리고 화려한 인터페이스 등의 장점들로 인해, 현재 국내 대형 포털 사이트들에서도 이 기술을 접목시켜 기존의 서비스를 재오픈 하는 추세이기도 하다. 본 연구에서는 이러한 Ajax 기술과 국내외 주요 사이트에서 제공하는 오픈 API들을 이용하여 다국어 메타검색 시스템을 모델링하고 구현하였다. 사용자로부터 입력받은 한국어 질의어를 구글 번역 API를 이용하여 저 세계 54개국 언어 중 하나의 언어로 번역한 후, 대표적인 소셜 웹 사이트(Flickr, Youtube, Daum, Naver 등)의 정보를 통합 검색한다. 검색된 결과는 Ajax 기술을 통해 화면의 일부분만 동적 로딩하여 빠른 속도로 출력해주는 동시에, 불필요한 정보의 중복 전송을 방지하여 서버의 트래픽과 패킷당 통신 요금을 절감하는 효과를 가져왔다.

MediScore: MEDLINE-based Interactive Scoring of Gene and Disease Associations

  • Cho, Hye-Young;Oh, Bermseok;Lee, Jong-Keuk;Kim, Kuchan;Koh, InSong
    • Genomics & Informatics
    • /
    • 제2권3호
    • /
    • pp.131-133
    • /
    • 2004
  • MediScore is an information retrieval system, which helps to search for the set of genes associated with a specific disease or the set of diseases associated with a specific gene. Despite recent improvement of natural language processing (NLP) and other text mining approaches to search for disease associated genes, many false positive results come out due to diversity of exceptional cases as well as ambiguities in gene names. In order to overcome the weak points of current text mining approaches, MediScore introduces statistical normalization based on binomial to normal distribution approximation which corrects inaccurate scores caused by common words not representing genes and interactive rescoring by the user to remove the false positive results. Interactive rescoring includes individual alias scoring for each gene to remove false gene synonyms, referring MEDLINE abstracts, and cross referencing between OMIM and other related information.

웹 이용자의 검색엔진 활용 및 탐색 행위와 성향 분석 (Analysis of Search Engine Use, Search Behaviors and Aptitude by Web Users)

  • 이해영
    • 한국문헌정보학회지
    • /
    • 제36권3호
    • /
    • pp.69-91
    • /
    • 2002
  • 본 연구는 웹 이용자들이 검색엔진을 어떻게 선택하여. 어떠한 기능들을 활용하며, 검색결과는 어떻게 평가하는지 그리고 어떤 어려움을 겪고 있는지를 밝혀 보고자 하였다. 28명의 대학의 교수와 대학원생으로 구성된 이용자들을 대상으로 한 인터뷰결과를 분석한다. 연구 결과에 따르면, 본 연구의 참가자들은 검색결과에 대한 평가보다는 특정한 기능이나 익숙함에 근거하여 엔진을 선택하였다. 이들은 통합검색에 대해서는 의견이 양분되어 있었으며, 연산자의 사용이 결과에 미치는 영향이 거의 없다고 보고 있었다. 검색엔진에 대한 평가를 내릴 때에도 검색결과의 정확성외에 결과를 보여주는 인터페이스 디자인에도 상당한 관심을 가지고 있는 것으로 나타났다.

주제목록을 위한 한국용어열색인 시스템의 기능 (Function of the Korean String Indexing System for the Subject Catalog)

  • 윤구호
    • 한국문헌정보학회지
    • /
    • 제15권
    • /
    • pp.225-266
    • /
    • 1988
  • Various theories and techniques for the subject catalog have been developed since Charles Ammi Cutter first tried to formulate rules for the construction of subject headings in 1876. However, they do not seem to be appropriate to Korean language because the syntax and semantics of Korean language are different from those of English and other European languages. This study therefore attempts to develop a new Korean subject indexing system, namely Korean String Indexing System(KOSIS), in order to increase the use of subject catalogs. For this purpose, advantages and disadvantages between the classed subject catalog nd the alphabetical subject catalog, which are typical subject ca-alogs in libraries, are investigated, and most of remarkable subject indexing systems, in particular the PRECIS developed by the British National Bibliography, are reviewed and analysed. KOSIS is a string indexing based on purely the syntax and semantics of Korean language, even though considerable principles of PRECIS are applied to it. The outlines of KOSIS are as follows: 1) KOSIS is based on the fundamentals of natural language and an ingenious conjunction of human indexing skills and computer capabilities. 2) KOSIS is. 3 string indexing based on the 'principle of context-dependency.' A string of terms organized accoding to his principle shows remarkable affinity with certain patterns of words in ordinary discourse. From that point onward, natural language rather than classificatory terms become the basic model for indexing schemes. 3) KOSIS uses 24 role operators. One or more operators should be allocated to the index string, which is organized manually by the indexer's intellectual work, in order to establish the most explicit syntactic relationship of index terms. 4) Traditionally, a single -line entry format is used in which a subject heading or index entry is presented as a single sequence of words, consisting of the entry terms, plus, in some cases, an extra qualifying term or phrase. But KOSIS employs a two-line entry format which contains three basic positions for the production of index entries. The 'lead' serves as the user's access point, the 'display' contains those terms which are themselves context dependent on the lead, 'qualifier' sets the lead term into its wider context. 5) Each of the KOSIS entries is co-extensive with the initial subject statement prepared by the indexer, since it displays all the subject specificities. Compound terms are always presented in their natural language order. Inverted headings are not produced in KOSIS. Consequently, the precision ratio of information retrieval can be increased. 6) KOSIS uses 5 relational codes for the system of references among semantically related terms. Semantically related terms are handled by a different set of routines, leading to the production of 'See' and 'See also' references. 7) KOSIS was riginally developed for a classified catalog system which requires a subject index, that is an index -which 'trans-lates' subject index, that is, an index which 'translates' subjects expressed in natural language into the appropriate classification numbers. However, KOSIS can also be us d for a dictionary catalog system. Accordingly, KOSIS strings can be manipulated to produce either appropriate subject indexes for a classified catalog system, or acceptable subject headings for a dictionary catalog system. 8) KOSIS is able to maintain a constistency of index entries and cross references by means of a routine identification of the established index strings and reference system. For this purpose, an individual Subject Indicator Number and Reference Indicator Number is allocated to each new index strings and new index terms, respectively. can produce all the index entries, cross references, and authority cards by means of either manual or mechanical methods. Thus, detailed algorithms for the machine-production of various outputs are provided for the institutions which can use computer facilities.

  • PDF

XGBoost와 교차검증을 이용한 품사부착말뭉치에서의 오류 탐지 (Detecting Errors in POS-Tagged Corpus on XGBoost and Cross Validation)

  • 최민석;김창현;박호민;천민아;윤호;남궁영;김재균;김재훈
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제9권7호
    • /
    • pp.221-228
    • /
    • 2020
  • 품사부착말뭉치는 품사정보를 부착한 말뭉치를 말하며 자연언어처리 분야에서 다양한 학습말뭉치로 사용된다. 학습말뭉치는 일반적으로 오류가 없다고 가정하지만, 실상은 다양한 오류를 포함하고 있으며, 이러한 오류들은 학습된 시스템의 성능을 저하시키는 요인이 된다. 이러한 문제를 다소 완화시키기 위해서 본 논문에서는 XGBoost와 교차 검증을 이용하여 이미 구축된 품사부착말뭉치로부터 오류를 탐지하는 방법을 제안한다. 제안된 방법은 먼저 오류가 포함된 품사부착말뭉치와 XGBoost를 사용해서 품사부착기를 학습하고, 교차검증을 이용해서 품사오류를 검출한다. 그러나 오류가 부착된 학습말뭉치가 존재하지 않으므로 일반적인 분류기로서 오류를 검출할 수 없다. 따라서 본 논문에서는 매개변수를 조절하면서 학습된 품사부착기의 출력을 비교함으로써 오류를 검출한다. 매개변수를 조절하기 위해서 본 논문에서는 작은 규모의 오류부착말뭉치를 이용한다. 이 말뭉치는 오류 검출 대상의 전체 말뭉치로부터 임의로 추출된 것을 전문가에 의해서 오류가 부착된 것이다. 본 논문에서는 성능 평가의 척도로 정보검색에서 널리 사용되는 정밀도와 재현율을 사용하였다. 또한 모집단의 모든 오류 후보를 수작업으로 확인할 수 없으므로 표본 집단과 모집단의 오류 분포를 비교하여 본 논문의 타당성을 보였다. 앞으로 의존구조부착 말뭉치와 의미역 부착말뭉치에서 적용할 계획이다.