• 제목/요약/키워드: 단문분석

검색결과 56건 처리시간 0.022초

한영 자동 번역을 위한 동사구 번역패턴의 활용 (Design of Verb-Phrase Patterns for Korean-to-English MT)

  • 양성일;김영길;서영애;김창현;홍문표;최승권
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (2)
    • /
    • pp.178-180
    • /
    • 2001
  • 원시언어 문장의 구조 분석을 기반으로 하는 기계번역 시스템에서 원시언어의 최소 의미 단위는 동사를 중심으로 한 단문으로 생각할 수 있다. 단문 단위 대역어를 지정하기 위해서는 동사구 번역패턴의 사용이 요구된다. 본 논문에서는 한국어 단문 내 격 정보와 번역을 위한 의미 제약조건을 기술하여 한영 기계번역 시스템에서 사용하는 동사구 번역패턴을 정의하고, 문장 정규화를 통한 동사구 번역패턴의 활용방법을 제안한다. 동사구 번역패턴은 단문 구조 파악을 위한 제약 조건부와 대역어 선정부로 나뉜다. 제약 조건부는 단문 구조 번역을 위한 최소한의 의미 제약만으로 기술되며, 격조사로 구분되는 격 정보를 갖는다. 이러한 격 정보는 원시언어인 한국어의 단문 분석을 위해 사용되며 분석결과에 대해 단문 단위 대역어를 지정한다. 동사구 번역 패턴은 실제 말뭉치에서의 사용을 반영하기 위해 병렬 말뭉치로부터 구축되며 실험을 통해 예측되는 패턴의 규모를 알아볼 수 있다.

  • PDF

문형을 제약 조건으로 하는 단문 분할 기반 한국어 구문분석 (Syntax Analysis of Korean Based on Clausal Segmentation using Sentence Patterns Information as a Constraint)

  • 이현영;이용석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2006년도 제18회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.140-147
    • /
    • 2006
  • 한국어 문장은 하나 이상의 용언으로 인해 구문 분석 과정에서 다양한 구문 모호성이 발생한다. 이들 중 대부분은 내포문의 수식 범위로부터 발생되는 구 부착의 문제 때문이다. 이런 구운 모호성은 내포문의 범위를 정해서 하나의 구문 범주의 기능을 가지도록 하면 해결할 수가 있다. 본 논문에서는 내포문의 범위를 정하기 위해서 문형과 한국어의 구문 특성을 이용한다. 먼저, 내포문에 있는 용언의 문형 정보가 가질 수 있는 필수격을 최대로 부착하여 내포문의 범위를 정해서 단문으로 분할한다. 그리고 한국어의 구문 특성을 이용해서 분할된 내포문의 기능을 하나의 구문 범주인 체언구나 부사구로 변환한다. 이렇게 함으로써 복합문의 구성 형태가 단문 구조로 변환되기 때문에 내포문의 범위에 의한 구 부착의 문제가 쉽게 해결된다. 이것을 본 논문에서는 내포문의 단문 분할이라고 한다. 본 논문에서 제안한 방법으로 432 문장을 실험한 결과 문형과 단문 분할을 이용하지 않은 방범보다 구문모호성이 87.73% 감소되었다.

  • PDF

문형과 단문 분할을 이용한 한국어 구문 모호성 해결 (Resolution of Korean Syntactic Ambiguity using Sentence Pattems Information and Clausal Segmentation)

  • 이현영;황이규;이용석
    • 한국인지과학회:학술대회논문집
    • /
    • 한국인지과학회 2000년도 한글 및 한국어 정보처리
    • /
    • pp.116-123
    • /
    • 2000
  • 한국어 구문 분석은 체언구 부착이나 부사구 부착의 문제를 가진다. 이런 부착의 문제는 많은 구문 모호성을 만들어 내어 올바른 의미를 가지는 파스 트리의 선택을 어렵게 한다. 한국어에서 이런 부착의 문제는 대부분 한국어 문장이 내포문을 포함하는 복문의 형태로 구성되어 있기 때문이다. 단문에서는 부착의 문제가 발생하지 않지만 복문에서는 체언구나 부사구가 어떤 용언에 부착하느냐에 따라 체언구 부착이나 부사구 부착의 문제가 발생한다. 따라서 용언이 가지는 정보를 이용하여 내포문의 범위를 결정해서 하나의 구문범주의 기능을 가지도록 분할한다. 이를 단문 분할이라 하며 문형이 가지는 필수격들을 최대로 부착하여 이루어진다. 단문분할을 하면 복문의 구조가 단문으로 바뀌므로 이런 부착의 문제가 자연스럽게 해결된다. 본 논문에서는 문형과 단문 분할을 이용하여 많은 구문 모호성을 해결할 수 있음을 제안한다.

  • PDF

문형과 단문 분할을 이용한 한국어 구문 모호성 해결 (Resolution of Korean Syntactic Ambiguity using Sentence Patterns Information and Clausal Segmentation)

  • 이현영;황이규;이용석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2000년도 제12회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.116-123
    • /
    • 2000
  • 한국어 구문 분석은 체언구 부착이나 부사구 부착의 문제를 가진다. 이런 부착의 문제는 많은 구문 모호성을 만들어 내어 올바른 의미를 가지는 파스 트리의 선택을 어렵게 한다. 한국어에서 이런 부착의 문제는 대부분 한국어 문장이 내포문을 포함하는 복문의 형태로 구성되어 있기 때문이다. 단문에서는 부착의 문제가 발생하지 않지만 복문에서는 체언구나 부사구가 어떤 용언에 부착하느냐에 따라 체언구 부착이나 부사구 부착의 문제가 발생한다. 따라서 용언이 가지는 정보를 이용하여 내포문의 범위를 결정해서 하나의 구문범주의 기능을 가지도록 분할한다. 이를 단문 분할이라 하며 문형이 가지는 필수격들을 최대로 부착하여 이루어진다. 단문분할을 하면 복문의 구조가 단문으로 바뀌므로 이런 부착의 문제가 자연스럽게 해결된다. 본 논문에서는 문형과 단문 분할을 이용하여 많은 구문 모호성을 해결할 수 있음을 제안한다.

  • PDF

휴대전화에서 단문 메시지로부터 일정 자동 등록 (Automatically Registering Schedules from SMS Messages on Handheld Devices)

  • 김재훈;김형철
    • 인지과학
    • /
    • 제22권1호
    • /
    • pp.1-18
    • /
    • 2011
  • 휴대전화가 대중에게 널리 보급됨에 따라, 단문 서비스(SMS)가 새로운 의사소통 수단으로 등장하고 있다. 단문 서비스는 가격이 저렴할 뿐 아니라 단문 메시지를 쉽게 저장할 수 있어 약속이나 일정 알림용으로 널리 사용된다. 본 논문은 단문 메시지로부터 일정 정보(시간과 장소)를 추출하여 자동으로 일정 관리 시스템에 등록하는 시스템을 개발한다. 단문 메시지는 짧고 간결하지만 비속어나 준말 등이 많이 사용된다. 이것이 일정 정보를 추출하는데 더욱 어렵게 한다. 또한 휴대전화에는 계산 능력과 저장 공간이 충분하지 못하므로 형태소 분석과 같은 일반적인 자연언어 처리 모듈을 그대로 사용하는 것은 다소 무리가 있다. 이 문제를 해결하기 위해서 본 논문에서는 형태소 분석과 같이 복잡한 언어 처리 모듈을 사용하지 않고 기계학습 기반으로 일정 정보를 추출하고 추출된 정보를 휴대전화의 일정 관리 시스템에 등록한다. 본 논문에서 제안된 자동 일정 등록 시스템은 삼성전자 옴니아 휴대전화에 탑재되어 정상적으로 잘 동작함을 확인할 수 있었다.

  • PDF

개체명 공기 정보를 이용한 이벤트 문장의 단문 구조 분석 (Clausal Segmentation for Event Sentences Using Named Entity Co-occurrence Information)

  • 임수종;김태현;황이규;윤보현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (상)
    • /
    • pp.593-596
    • /
    • 2002
  • 정보추출이란 자연어로 작성된 문서 집합에서 원하는 정보를 선택하여 구조화된 표현으로 생성하는 것을 말한다. 문장 단위로 정보 추출 작업을 수행할 때 추출되는 정보를 보유한 문장을 이벤트 문장이라고 정의하고 이러한 이벤트 문장의 구조를 분석하여 최종적으로 유용한 정보를 추출하기 위해서는 이벤트 문장의 구조를 파악하기 위해 이벤트 문장을 단문으로 분할하여 구조를 분석한다. 본 연구에서는 단문 구조 분석을 위해 일반적인 한국어 문장의 특성과 용언의 조사 정보를 이용하고 이러한 정보로 분석할 수 없는 문장에 대해서는 공기 정보를 사용한다. 사용되는 공기 정보는 개체명이 많이 사용되는 이벤트 문장의 특성을 이용하기 위하여 개체명으로 확장된 명사(개체명)-조사-용언의 공기 정보를 구축하여 사용한다. 개체명 확장된 공기 정보는 일반 공기 정보에 비해 이벤트 문장에서 F-Measure 기준으로 약 2%의 성능향상을 보인다.

  • PDF

의미 지향성 분석을 통한 단문 텍스트 기반 감정인지 (Emotion Recognition based on Short Text using Semantic Orientation Analysis)

  • 김현우;이승룡;정태충;윤석환
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(B)
    • /
    • pp.375-377
    • /
    • 2012
  • 스마트폰과 같은 모바일 기기가 발전함에 따라 SNS, 모바일 메신저, SMS와 같은 단문 기반 메시지는 자신의 감정을 가장 잘 표현하는 매체이다. 그럼에도 불구하고 기존 연구는 주로 장문의 텍스트로부터 긍정, 부정 분류나 문서의 성향을 분석하는 것에 그치는 경우가 많다. 의미지향(Semantic Orientation)방법은 검색엔진을 통해 감정 키워드와 인지하고자 하는 단어의 동시 빈출 정도를 PMI로 계산한 것으로 WordNet과 같은 의미 사전이 존재하지 않는 한국어의 특성에서 적용 가능한 방법이다. 본 논문에서는 의미 지향성 및 다른 텍스트 기반 감정 분류 기술에 대해 비교하고 이들을 활용하여 한국어로 구성된 단문 텍스트에서 효율적인 감정 분류 기법을 제안하고자 한다.

단문화와 변환 규칙을 이용한 온톨로지의 자동 생성 (Automatic Generation of Ontology with Simplified Sentences and Transfer Rules)

  • 박인철
    • 한국산학기술학회논문지
    • /
    • 제8권5호
    • /
    • pp.1092-1097
    • /
    • 2007
  • 온톨로지의 구축은 상당한 시간과 비용을 소모하기 때문에 상업적인 시맨틱 웹의 구축은 매우 어려운 작업이다. 이러한 문제의 해결 방법은 온톨로지를 자동적으로 구축하는 것이다. 본 논문에서는 대부분의 중요한 정보를 포함하고 있는 웹 문서를 분석하여 온톨로지를 자동으로 생성하는 시스템을 제안한다. 제안하는 시스템은 한국어 문장을 분석하여 문서 내 모든 문장을 단문으로 재구성하는 단문화 과정과 변환 규칙을 이용한 온톨로지 자동 생성 과정의 두 단계로 구성된다. 이러한 시스템은 온라인 쇼핑몰처럼 비슷한 내용을 포함하는 문서가 대다수 존재하고, 문서의 갱신 및 추가가 빈번한 응용 분야에서 매우 유용하게 사용될 수 있다.

  • PDF

가중치를 이용한 효과적인 항공 단문 군집 방법 (DOCST: Document frequency Oriented Clustering for Short Texts)

  • 김주영;이지민;안순홍;이훈석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 춘계학술발표대회
    • /
    • pp.331-334
    • /
    • 2018
  • 비정형 데이터의 대표적인 형태 중 하나인 텍스트 데이터 기계학습은 다양한 산업군에서 활용되고 있다. NOTAM 은 하루에 수 천개씩 생성되는 항공전문으로써 현재는 사람의 수작업으로 분석하고 있다. 기계학습을 통해 업무 효율성을 기대할 수 있는 반면, 축약어가 혼재된 단문이라는 데이터의 특성상 일반적인 분석에 어려움이 있다. 본 연구에서는, 데이터의 크기가 크지 않고, 축약어가 혼재되어 있으며, 문장의 길이가 매우 짧은 문서들을 군집화하는 방법을 제안한다. 주제를 기준으로 문서를 분류하는 LDA 와, 단어를 k 차원의 벡터공간에 표현하는 Word2Vec 를 활용하여 잡음이 포함된 단문 데이터에서도 효율적으로 문서를 군집화 할 수 있다.

기계학습 기반 단문에서의 문장 분류 방법을 이용한 한국표준산업분류 (Standard Industrial Classification in Short Sentence Based on Machine Learning Approach)

  • 오교중;최호진;안현각
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.394-398
    • /
    • 2020
  • 산업/직업분류 자동코딩시스템은 고용조사 등을 함에 있어 사업체 정보, 업무, 직급, 부서명 등 사용자의 다양한 입력을 표준 산업/직업분류에 맞춰 코드 정보를 제공해주는 시스템이다. 입력 데이터로부터 비지도학습 기반의 색인어 추출 모델을 학습하고, 부분단어 임베딩이 적용된 색인어 임베딩 모델을 통해 입력 벡터를 추출 후, 출력 분류 코드를 인코딩하여 지도학습 모델에서 학습하는 방법을 적용하였다. 기존 시스템의 분류 결과 데이터를 통해 대, 중, 소, 세분류에서 높은 정확도의 모델을 구축할 수 있으며, 기계학습 기술의 적용이 가능한 시스템임을 알 수 있다.

  • PDF