• 제목/요약/키워드: 이형태

검색결과 86건 처리시간 0.028초

트라이 인덱스를 이용한 이형태 검색 (Searching for Variants Using Trie-Index)

  • 박인철
    • 한국산학기술학회논문지
    • /
    • 제10권8호
    • /
    • pp.1986-1992
    • /
    • 2009
  • 사용자는 정보검색에서 단어의 약어나 부분문자열, 혹은 오타가 포함된 단어와 같은 이형태로 자료를 검색하고자 한다. 이형태 검색을 위한 단순한 방법은 사전에 모든 이형태를 등록하는 것이다. 그러나 이 방법은 이형태 사전 구축에 막대한 시간과 비용이 필요할 뿐만 아니라 오타로 인해 생기는 이형태를 처리할 수 없는 문제점이 있다. 이에 대한 대안으로 근사 문자열 매칭 기법을 이용한 방법이 개발되었으나 이 방법 또한 약어 형태의 이형태를 처리하기 어렵다는 단점이 있다. 본 논문에서는 트라이 인덱스를 이용해 약어나 오타를 포함한 대부분의 이형태를 검색할 수 있는 방법을 제안한다. 먼저, 패스 가중치의 계산을 통한 이형태 매칭 방법을 보이고, 검색 속도 향상을 위한 이형태 검색 알고리즘을 제시한다.

효과적인 외래어 이형태 생성을 위한 확률 문맥 의존 치환 방법 (A Probabilistic Context Sensitive Rewriting Method for Effective Transliteration Variants Generation)

  • 이재성
    • 한국콘텐츠학회논문지
    • /
    • 제7권2호
    • /
    • pp.73-83
    • /
    • 2007
  • 완전 일치 방법을 주로 사용하는 정보 검색 시스템에서 외래어 이형태를 검색할 수 있도록 위해서는 외래어 이형태를 자동 생성하는 전처리나 질의어 확장이 필요하다. 본 연구에서는 하나의 외래어가 입력되면, 이를 근거로 실제 사용될 만한 외래어 이형태들을 효과적으로 생성하기 위한 방법을 제안한다. 혼동 자소를 단순하게 치환하는 방법은 불필요한 이형태를 과도하게 생성하므로, 본 연구에서는 실제 문서에 사용된 외래어 이형태들로부터 혼동 패턴을 학습하고, 이를 확률로 계산하여 생성 순서를 조절하였다. 특히, 혼동 패턴에서 좌우문맥을 고려하고 지역 치환 확률과 전역 치환 확률을 계산하여 조기에 많이 사용하는 이형태를 생성하도록 하였다. KT SET 2.0에서 추출한 이형태 데이터에 대해 실험한 결과, 상위 20개의 생성으로도 평균 80% 이상 찾아내어 이 방법이 매우 효과적임을 보였다.

POI 이형태 데이타베이스 구축 시스템 (A Point-Of-Interest Allomorph Database Construction System)

  • 양승원;이현영;왕지현
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제36권3호
    • /
    • pp.226-235
    • /
    • 2009
  • 내비게이션 시스템에서 목적지를 찾기 위하여 목적지의 이름, 분류, 주소, 전화번호 등의 정보를 이용하게 되는데 대부분의 사용자들은 이들 중에서 목적지의 이름을 사용한다. 그런데 사용자들은 공급사에서 제공하는 POI DB에 등재된 이름을 정확히 알지 못할 뿐만 아니라 편의상 축약된 명칭이나 일반적으로 불리어지는 명칭 등으로 POI 검색을 시도하므로 검색이 실패하는 경우가 빈번하다. 본 논문에서는 내비게이션 시스템에서 이름으로 검색 할 때 검색 성공률을 제고할 수 있는 이형태 DB 구축 시스템을 제안한다. 이 시스템은 원 DB의 POI 명과 연결되는 이형태를 생성하여 DB화한다. 우리는 이형태의 생성을 위하여 약 650,000 개의 개체를 가지고 있는 원 DB의 POI 명으로부터 모은 패턴을 분석하여 이형태의 유형을 7 가지로 분류하였다 분류한 유형을 토대로 일정한 패턴이 존재하여 자동화가 가능한 유형들에 대하여 577개의 규칙을 만들어 자동으로 이형태를 구축하였다. 규칙으로 만들기가 어렵거나 빈도수가 적은 개체들에 대해서는 수동으로 이형태를 구축하였다. 생성된 비율은 전체 POI DB의 35.8%에 해당하며 구축한 이형태 DB를 사용한 검색 성공률은 89%이었다.

의존 명사 '것'으로부터 도출된 몇몇 형식에 대한 고찰 (A Study on Some Forms that Originated from the Dependent Noun "것" [kət])

  • 이은섭
    • 비교문화연구
    • /
    • 제41권
    • /
    • pp.245-273
    • /
    • 2015
  • 본고는 의존 명사 '것'으로부터 도출된 '거', '게', '걸'의 성격 구명을 위해 작성된 것이다. 최근 이 형식들을 '것'의 이형태로 간주한 논의가 있다. 그러나 이는 교체와 이형태 개념의 전제가 되는 엄밀한 조건들에 대한 고려를 결한 것으로서 재고되어야 한다. 특히 '거'는 기능과 분포의 면에서 '것'과 거의 동일하므로 이형태가 아닌 수의적 변이형이며, 부사격 조사와 통합하는 '걸'은 비록 제약이 강하기는 하나 '거'의 수의적 변이형으로 보아야 한다. 또한 격조사구의 일부로서의 '게'나 '걸'은 이미 형태소의 층위를 넘어선 통합 형식이므로 이형태 논의와는 무관하다. 결국 '것'의 이형태는 존재하지 않는 것으로 보아야 한다.

한국어의 이형태 표준화를 통한 구 기반 통계적 기계 번역 성능 향상 (Improve Performance of Phrase-based Statistical Machine Translation through Standardizing Korean Allomorph)

  • 이원기;김영길;이의현;권홍석;조승우;조형미;이종혁
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.285-290
    • /
    • 2016
  • 한국어는 형태론적으로 굴절어에 속하는 언어로서, 어휘의 형태가 문장 속에서 문법적인 기능을 하게 되고, 형태론적으로 풍부한 언어라는 특징 때문에 조사나 어미와 같은 기능어들이 다양하게 내용어들과 결합한다. 이와 같은 특징들은 한국어를 대상으로 하는 구 기반 통계적 기계번역 시스템에서 데이터 부족문제(Data Sparseness problem)를 더욱 크게 부각시킨다. 하지만, 한국어의 몇몇 조사와 어미는 함께 결합되는 내용어에 따라 의미는 같지만 두 가지의 형태를 가지는 이형태로 존재한다. 따라서 본 논문에서 이러한 이형태들을 하나로 표준화하여 데이터부족 문제를 완화하고, 베트남-한국어 통계적 기계 번역에서 성능이 개선됨을 보였다.

  • PDF

한국어의 이형태 표준화를 통한 구 기반 통계적 기계 번역 성능 향상 (Improve Performance of Phrase-based Statistical Machine Translation through Standardizing Korean Allomorph)

  • 이원기;김영길;이의현;권홍석;조승우;조형미;이종혁
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.285-290
    • /
    • 2016
  • 한국어는 형태론적으로 굴절어에 속하는 언어로서, 어휘의 형태가 문장 속에서 문법적인 기능을 하게 되고, 형태론적으로 풍부한 언어라는 특징 때문에 조사나 어미와 같은 기능어들이 다양하게 내용어들과 결합한다. 이와 같은 특징들은 한국어를 대상으로 하는 구 기반 통계적 기계번역 시스템에서 데이터 부족 문제(Data Sparseness problem)를 더욱 크게 부각시킨다. 하지만, 한국어의 몇몇 조사와 어미는 함께 결합되는 내용어에 따라 의미는 같지만 두 가지의 형태를 가지는 이형태로 존재한다. 따라서 본 논문에서 이러한 이형태들을 하나로 표준화하여 데이터부족 문제를 완화하고, 베트남-한국어 통계적 기계 번역에서 성능이 개선됨을 보였다.

  • PDF

메타 검색에서 외래어 질의 정제 효과 (The Refinement Effect of Foreign Word Transliteration Query on Meta Search)

  • 이재성
    • 정보처리학회논문지B
    • /
    • 제15B권2호
    • /
    • pp.171-178
    • /
    • 2008
  • 문서에서 외래어가 일관되게 사용되지 않고 여러 이형태로 사용되고 있기 때문에, 정확한 질의어 일치를 지원하는 검색 시스템에서 외래어 질의로 문서를 검색하는데 어려움이 많다. 본 논문에서는 하나의 외래어로 질의할 경우, 원 질의어와 같은 뜻의 다양한 이형태 외래어 질의로 자동 확장하고 정제하여 더 많은 관련 문서를 손쉽게 검색할 수 있는 메타 검색 방법을 제안한다. 이 방법은 1차로 원 질의어에서 다양한 외래어 이형태를 통계적 방법으로 확장하고, 2차로 그 결과를 각 검색 엔진에게 질의하여 일정 개수 이상의 질의어가 문서에 나타났는지, 원 질의어의 문맥과 유사한 문맥에서 그 질의어가 쓰였는지를 비교하여, 같은 뜻의 유효한 외래어를 판별해 내고 이를 이용하여 검색할 수 있도록 한다. 실험 결과, 기준점으로 쓰인 1차로 만든 이형태로 검색했을 때 F값은 평균 38%이었으나, 제안된 방법인 2차로 정제된 질의어로 검색했을 때의 F값은 평균 81%로 매우 향상된 결과를 보였다.

한국어에서 Viterbi 형태소 복원 (Viterbi Morpheme Restoration in Korean)

  • 이제승;김재훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.536-539
    • /
    • 2021
  • 본 논문은 한국어에서 형태소 복원을 위한 새로운 방법을 제안한다. 일반적으로 기계학습 기반 형태소 분석에서 형태소 복원은 기분석 사전과 약간의 경험규칙을 이용한다. 이와 같은 방법은 모호성을 해결하기 위해 사전에 모든 정보를 저장하는 것이 불가능할 뿐 아니라 단음절 이형태의 모호성을 해결할 수 없을 것이다. 이러한 문제를 완화하기 위해 본 논문에서는 생성된 모호성을 Viterbi 알고리즘을 이용해서 해소한다. 본 논문의 형태소 복원 과정은 기본적으로 기분석 사전과 약간의 경험규칙을 이용하여 형태소 복원 후보를 찾고 여러 후보가 있을 경우(모호성의 생성), 그 결과를 Viterbi 알고리즘으로 이형태를 결정한다. 실험을 위해 모두의 말뭉치(형태 분석)를 사용하고, 평가는 NER 방식으로 평가한다. 그 결과 품사 부착에 대해 96.28%정도의 성능을 보여주었다.

  • PDF

전동차의 폐 FRP 내장재 재활용 공정 개발 (Development of Recycling Process for the used FRP of Electric Motor Unit(EMU))

  • 이형태;김용기;이철규;이재영
    • 한국철도학회:학술대회논문집
    • /
    • 한국철도학회 2007년도 추계학술대회 논문집
    • /
    • pp.19-21
    • /
    • 2007
  • In recent, a great number of electric motor units (EMUs) have been disused in Korea according as its legal duration is 25 years. Generally, the disused EMUs are disposed by selling original form or scrapping for junk. Until now, any efficient disposal system for disused EMUs has not existed. The purpose of this study was to develop the recycling process for the FRP used as an interior panel of EMU. This process was to manufacture a product mixing binders, fillers and the powdered FRP. The characteristics of a product were changed with the mixing ratio of the powdered FRP. The optimal ratio of the powdered FRP was from 10 % to 15 % (w/w). In the future, the application of this process can enhance the efficiency of resource recycling and decrease the cost of waste treatment in the EMU industry.

  • PDF

구문 관계 지식 추출을 위한 코퍼스 정규화에 대한 연구 (A Corpus Formalization for Extracting the Syntactic Relations)

  • 조정미;조영환;김길창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1996년도 제8회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.207-215
    • /
    • 1996
  • 대량의 코퍼스를 이용해 여러 가지 일반적인 언어 현상을 관찰하고, 언어 지식을 자동으로 획득하여 자연 언어 처리의 여러 분야에 이용하는 등의 연구가 활발히 진행되고 있으며, 이에 따라 코퍼스에 대한 필요성이 날로 증가하고 있다. 코퍼스에서 추출할 수 있는 유용한 지식 중의 하나가 구문 관계 지식이다. 그러나 한국어에 자주 나타나는 격이동이나 생략 현상, 복합어의 이형태 등은 정확한 지식 획득을 어렵게 할 뿐 아니라 자료 회귀 문제를 더욱 심화시킨다. 본 논문에서는 한국어의 문법적인 특징을 반영한 코퍼스정규화에 의해 이러한 문제를 해결하고자한다.

  • PDF