• 제목/요약/키워드: 중의성

검색결과 4,485건 처리시간 0.027초

검색엔진의 정확률 향상을 위한 질의어 의미와 사용자 반응 정보의 이용 (Using Query Word Senses and User Feedback to Improve Precision of Search Engine)

  • 윤성희
    • 정보관리학회지
    • /
    • 제26권4호
    • /
    • pp.81-92
    • /
    • 2009
  • 본 논문은 정보검색 시스템의 사용자 질의어와 색인에 기반한 검색 과정에서 나타나는 중의성 해소를 위해 질의어 의미정보와 사용자 피드백을 사용하여 검색 성능을 향상시키는 방법을 소개한다. 의미 정보를 이용하여 질의어의 중의성을 해소하는 검색 과정은 검색 결과로서 의미적으로 무관한 많은 문서들 을 배제할 수 있다. 이를 위해 검색의 색인이 되는 명사 중심의 의미범주를 기반으로 의미정보 지식베이스를 구축하고, 검색 문서들을 색인어와 해당 의미범주로 분류한다. 검색 과정에서는 사용자의 질의 의미 선택과 정답 문서에 대한 참조 행위를 웹 페이지의 순위 결정에 반영하여 검색 성능을 향상시킬 수 있다.

질의어 의미정보와 사용자 피드백을 이용한 웹 검색엔진의 성능향상 (Improving Performance of Web Search Engine using Query Word Senses and User Feedback)

  • 윤성희
    • 한국산학기술학회논문지
    • /
    • 제8권2호
    • /
    • pp.280-285
    • /
    • 2007
  • 본 논문에서는 웹 정보검색 시스템의 사용자 질의어와 색인에 기반한 검색 과정에서 나타나는 중의성을 해소하기 위해 질의어 의미정보와 사용자 피드백을 사용하여 검색 성능을 향상시키기는 방법을 제안한다. 의미 정보를 이용한 질의어 중의성 해소 과정은 결과 문서집합에서 의미적으로 무관한 많은 문서들을 배제함으로써 검색 정확도를 크게 높일 수 있는 매우 중요한 처리 과정이다. 검색의 색인어가 되는 명사 중심의 의미범주 분류를 이용하여 의미정보 지식베이스를 구축하고, 웹 문서들을 색인어와 사용되는 의미범주로 분류한다. 사용자의 질의 의미 선택과 정답문서에 대한 참조 행위를 피드백 정보로 웹 페이지의 순위 결정에 반영하여 검색시스템의 성능을 향상시킬 수 있다.

  • PDF

안구운동 추적을 통한 한국어 중의성 해소과정 연구 (Resolving Grammatical Marking Ambiguities of Korean: An Eye-tracking Study)

  • 김영진
    • 인지과학
    • /
    • 제15권4호
    • /
    • pp.49-59
    • /
    • 2004
  • 한국어의 문법적 표지 중의성 해소 과정과, 한국어의 형태론적 정보 처리과정에 관한 길-혼동 의형과 제약-기반 모형의 예측을 비교 검토하기 위해 안구운동 추적 연구를 수행하였다. 최소부착원리에 따라 구문분석될 수 있는 복합 명사구 구조와, 첫 명사에 주격조사 (-가/이), 한정사(-만), 및 주제표지(-는/은)가 부착되는 삽입 관계절 구조를 비교하였다. 실험 결과, 한국어의 표지 중의성이 최소 부착의 원리에 따라 해소됨을 확인할 수 있었고, 주제표지는 재분석 과정에 영향을 끼침을 알 수 있었다. 안구 고정 시간의 양상은 길-혼동 모형과 더 일치했으며, 제약-기반 설명과는 일치하지 않았다. 추후 연구를 위한 제안을 논의하였다.

  • PDF

구묶음과 구간분할을 이용한 의존 관계 추출 기법 (A Method for Extracting Dependency Relations Using Chunking and Segmentation)

  • 박의규;조민희;김성원;나동열
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2004년도 제16회 한글.언어.인지 한술대회
    • /
    • pp.131-137
    • /
    • 2004
  • 본 논문에서는 구묶음과 구간분할에 기반하여 한국어 문장에서 명백한 의존관계를 파악 추출하는 기법에 대해 다룬다. 구묶음 기법은 문장에 나타나는 복합 명사, 본용언/보조용언. 의존명사 등을 묶어서 문장의 구조를 단순하게 만든다. 특히 문장에 다양한 형태로 나타나는 의존명사의 처리를 강화하여 구묶음을 효과적으로 할 수 있도록 하였다. 구간분할 기법은 긴 문장을 여러 개의 구간으로 나누어 각 구간을 구문분석 한다. 각 구간은 분할 이전보다는 단순화된 형태이기 때문에 긴 문장보다는 중의성이 줄어들어 견고한 구문분석을 할 수 있게 된다. 본 논문에서는 한국어 구문분석 시스템 개발의 1 단계 과정으로써 일단 중의성이 있는 상황이 아닌 명백한 의존관계를 수집하는 것을 목표로 한다. 본 논문에서는 실험을 통하여 구묶음과 구간분할 기법이 문장의 구조 중의성을 줄여 줌으로써 보다 많은 명백한 의존관계를 정확하게 추출할 수 있음을 보였다.

  • PDF

확률적 문법규칙에 기반한 국어사전의 뜻풀이말 구문분석기 (A Parser of Definitions in Korean Dictionary based on Probabilistic Grammar Rules)

  • 이수광;옥철영
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제28권5호
    • /
    • pp.48-460
    • /
    • 2001
  • 국어사전의 뜻풀이말은 표제어의 의미를 기술할 뿐만 아니라, 상위/하위개념, 부분-전체개념, 다의어, 동형이의어, 동의어, 반의어, 의미속성 등의 많은 의미정보를 내재하고 있다. 본 연구는 뜻풀이말에서 다양한 의미정보를 획득을 위한 기본적인 도구로서 국어사전의 뜻풀이말 구문분석기를 구현하는 것을 목적으로 한다. 이를 위해서 우선 국어사전의 뜻풀이말을 대상으로 일정한 수준의 품사 및 구문 부착 말 뭉치를 구축하고, 이 말뭉치들로부터 품사 태그 중의성 어절의 빈도 정보와 통계적 방법에 기반한 문법규칙과 확률정보를 자동으로 추출한다. 본 연구의 뜻풀이말 구문분석기는 이를 이용한 확률적 차트파서이다. 품사 태그 중의성 어절의 빈도 정보와 문법규칙 및 확률정보는 파싱 과정의 명사구 중의성을 해소한다. 또한, 파싱 과정에서 생성되는 노드의 수를 줄이고 수행 속도를 높이기 위한 방법으로 문법 Factoring, Best-First 탐색 그리고 Viterbi 탐색의 방법을 이용한다. 문법규칙의 확률과 왼쪽 우선 파싱 그리고 왼쪽 우선 탐색 방법을 사용하여 실험한 결과, 왼쪽 우선 탐색 방식과 문법확률을 혼용하는 방식이 가장 정확한 결과를 보였으며 비학습 문장에 대해 51.74%의 재현률과 87.47%의 정확률을 보였다.

  • PDF

한국어 병렬문의 중의성 분석 (Analysis of Coordination Ambiguity in Korean)

  • 이호동;박종철
    • 한국언어정보학회지:언어와정보
    • /
    • 제7권2호
    • /
    • pp.59-79
    • /
    • 2003
  • Coordination in natural language is often syntactically explained by the rule schema X \longrightarrow X′ and X", where X′ and X" refer to expressions of a like syntactic type. While this schema does explain a lot of instances of coordination, it is well known that this schema also gives rise to serious structural ambiguity, leading not only to numerous unintended interpretations but also to a high degree of unnecessary computational complexity. In order to identify intended interpretations, we need to take into account a number of clues at all the levels of morphology, syntax, semantics, and pragmatics/discourse. In this paper, we propose, with an accompanying data analysis, principles of symmetry and coherency for an effective and reasonable identification of intended interpretations from coordination-bearing sentences.

  • PDF

통계정보에 기반을 둔 한국어 어휘중의성해소 (Korean Lexical Disambiguation Based on Statistical Information)

  • 박하규;김영택
    • 한국통신학회논문지
    • /
    • 제19권2호
    • /
    • pp.265-275
    • /
    • 1994
  • 어휘중의성 해소는 음성 인식/생성, 정보 검색, 발뭉치 태킹 등 자연언어 처리에서 가장 기초가 되는 분야 중의 하나이다. 본 논문은 말뭉치로부터 추출된 통계정보를 이용하는 한국어 어휘중의성해소 기법에 대해 기술한다. 이 기법에서는 좀더 정밀한 중의성해소를 위해 품사태그 대신 형태소분석 결과에 해당하는 토큰태그를 사용하고 있다. 본 논문에서 제안한 어휘선택함수는 어미나 조사의 호응 관계등 한국어의 어휘적 특성을 잘 반영하기 때문에 상당히 높은 정확성을 보여준다. 그리고 활용분야에 적합하게 사용될 수 있도록 유일선택 방식과 다중선택 방식이라는 두가지 중의성해소 방식을 지원하고 있다.

  • PDF

토픽모델링을 이용한 약어 중의성 해소 (Abbreviation Disambiguation using Topic Modeling)

  • 이운교;김자희;양준기
    • 한국시뮬레이션학회논문지
    • /
    • 제32권1호
    • /
    • pp.35-44
    • /
    • 2023
  • 최근 텍스트 분석으로 트렌드 분석이나 연구 동향 분석을 하는 연구 사례가 많다. 텍스트 분석을 위한 자료 수집에 사용되는 검색어가 약어일 때 약어의 특성상 의미 중의성 해소가 필요하다. 다수의 연구에서는 연구에 필요한 자료를 찾기 위해 수작업으로 자료를 하나씩 읽어 문서를 분류하고 있다. 약어의 의미 중의성 해소를 위한 연구는 단어의 의미를 명확화하는 연구가 대부분이고 지도학습을 이용하고 있다. 약어 중의성 해소를 위한 선행 방법은 약어로 검색된 자료에서 연구 대상 자료를 찾는 문서 분류에는 적합하지 않으며 관련 연구도 부족하다. 본 연구에서는 데이터 전처리 단계에서 비지도 학습 방법인 비음수 행렬 분해 방법으로 토픽 모델링을 진행하여 약어로 수집된 문서를 반자동으로 분류하는 방법을 제시한다. 이를 검증하기 위해 'MSA'라는 약어 검색어로 학술 데이터베이스에서 논문 자료를 수집했다. 수집된 논문 1,401편에서 제안된 방법으로 316편의 Micro Services Architecture와 관련된 논문을 찾았다. 제안된 방법의 문서 분류 정확도는 92.36%로 측정되었다. 제안된 방법이 수작업에 따른 연구자의 시간과 비용을 줄일 수 있기를 기대한다.

가중치를 이용한 통계 기반 한국어 동형이의어 분별 모델 (A Korean Homonym Disambiguation Model Based on Statistics Using Weights)

  • 김준수;최호섭;옥철영
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제30권11호
    • /
    • pp.1112-1123
    • /
    • 2003
  • 본 논문은 한국어 정보처리에서 발생하는 어휘 중의성 문제 중 한국어에서 그 심각성이 큰 동형이의어 중의성을 해결하기 위하여, 사전 뜻풀이 말뭉치에서 구축한 의미정보(Semantic Information)와 이를 이용한 기존의 통계기반 동형이의어 분별 모델에 대한 실험 결과를 분석하여, 정확률 향상을 위한 새로운 동형이의어 NPH(New Prior Probability of Homonym sense) 가중치 및 인접 어절에 대한 거리 가중치 적용 모델을 제안한다. 사전 뜻풀이 말뭉치의 상위 고빈도 동형이의어 200개 중 중의성이 높은 46개(명사 30개, 동사 16개)를 선별하고, 21세기 세종 계획에서 제공하는 350만 어절 품사 부착 말뭉치에서 이들 동형이의어를 포함하는 47,977개의 문장을 추출하여 실험을 하였다. 기존의 통계기반 동형이의어 분별 모델에서는 72.08%(명사78.12%, 동사 62.45%)의 정확률을 나타냈으나, NPH 가중치를 부여한 실험 결과 정확률이 평균 1.70% 향상되었으며, NPH와 거리 가중치를 함께 이용한 결과 평균 2.01% 정확률이 향상되었다.

모빌구조와 표지 개념에 의한 지식기반적 한국어 구문분석기 개발 (Developing Knowledge-Based Korean Syntactic Parser In terms of Mobile Configuration and Marker Theory)

  • 우순조
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2003년도 제15회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.184-190
    • /
    • 2003
  • 이 글은 활용 개념과 수형도를 근간으로 기술되어 온 한국어 문법 모델에 대한 대안으로 표지 개념과 모빌 구조를 제시하고 이를 바탕으로 개발된 한국어 구문분석기의 특성을 소개하고자 한다. 먼저, 조사와 어미를 독자적인 토사 단위인 표지로 처리함으로써 국부 구조의 통사 범주와 문법적 기능을 명확하고 일관되게 구분할 수 있으며, 모빌 구조는 한국어의(상대적) 자유 어순 현상을 효과적으로 기술할 수 있다. 이에 의거한 문법 모형은 언어학적 지식과 구문분석 엔진 사이의 독립성을 향상시킴으로써 향후 구문분석기의 성능 개선을 보다 용이하게 한다. 이 글에서 소개하는 구문분석기는 언어학자에 의해 구축된 지식을 이용한다는 점에서 지식기반적이라고 할 수 있는데 여기에는 동사의 하위범주화 정보, 첨어 유형정보, 의미정보가 핵심적인 언어 지식으로 이용된다. 모빌 구조에 의한 구문분석은 국부 구조를 단순화함으로써 구문적 중의성을 최소화하며, 의미정보는 주어진 술어의 논항적 자격을 검증하는 기준으로 작용하여 구문적 중의성을 감소시키고 정확한 분석을 가능하게 한다.

  • PDF