• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2000년도 제12회 한글 및 한국어 정보처리 학술대회
• /
• pp.216-223
• /
• 2000

웹 문서는 일반 문서들과 달리 자유로운 형식으로 기술되어 있고, 원문에 태그나 코드 등 불필요한 내용들을 많이 포함하고 있어 언어 처리에 바로 사용하기에 적합하지 못하다. 본 논문은 인덱싱 대상 문서로 사용되는 웹 문서를 자동으로 수집하여, 문장 단위로 정렬된 문서로 제작, 관리하는 통합 전처리 시스템인 Web Tagger의 구조와 전처리 방법을 소개한다. Web Tagger는 문서 정제, 문장 분할, 띄어쓰기의 과정을 거쳐 웹 문서에서 표준화된 정보를 추출하고, 형태소 분석기를 포함한 응용 시스템의 목적에 맞게 XML 형식의 원문 코퍼스를 자동으로 생성하고 관리한다. '정규문법(Regexp)', '휴리스틱', '품사 인덱스 참조', 'C4.5를 사용한 학습 규칙' 등의 다양한 전처리 기법은 형태소 분석 정확도 향상과 시스템 안정성 보장에 기여한다.

• Journal of Electrical Engineering and information Science
• /
• 제1권1호
• /
• pp.1-9
• /
• 1996

A key issue in spoken language processing has become the integration of speech understanding and natural language processing(NLP). This paper presents a parallel computational model for the integration of speech and NLP. The model adopts a hierarchically-structured knowledge base and memory-based parsing techniques. Processing is carried out by passing multiple markers in parallel through the knowledge base. Speech-specific problems such as insertion, deletion, and substitution have been analyzed and their parallel solutions are provided. The complete system has been implemented on the Semantic Network Array Processor(SNAP) and is operational. Results show an 80% sentence recognition rate for the Air Traffic Control domain. Moreover, a 15-fold speed-up can be obtained over an identical sequential implementation with an increasing speed advantage as the size of the knowledge base grows.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2008년도 심포지엄 논문집 정보 및 제어부문
• /
• pp.170-171
• /
• 2008

연속적인 음성 인식 결과는 띄어쓰기를 하지 않은 연속 음절 문장들로 이루어져 있다. 본 논문은 음성 인식 후처리 단계에서 연속 음절 문장을 조사/어미 사전을 이용한 어절 생성 과정과 형태소 분석기를 이용하여 어절을 생성한 후 키워드를 추출한다. 실험 결과, 어절 생성기만 적용한 방식보다 제안된 알고리즘의 인식률이 향상되는 것을 확인하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (B)
• /
• pp.324-326
• /
• 2000

본 논문에서는 항공편 예약이라는 제한 영역에서의 연속음성인식 시스템을 위한 후처리 본 논문에서는 항공편 예약이라는 제한 영역에서의 연속음성인식 시스템을 위한 후처리 방안을 제시한다. 제안하는 후처리 방안은 200 문장의 항공편 예약 텍스트 데이터를 이용하여 문형 정보를 추출한 뒤 특정 문형별로 분류하였다. 분류된 문형과 음성인식 후의 문장을 비교하여 가장 유사한 문형을 추론한다. 추론한 특정 문형에서 나올 수 있는 형태소를 형태소들간의 N-gram 정보가 수록된 데이터베이스를 이용하여 형태소를 수정하고 보완한 결과를 최종 문장으로 출력한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제2권6호
• /
• pp.433-442
• /
• 2013

기계번역 시스템 구축에 가장 필수적인 요소는 번역하고자 하는 언어간의 단어쌍을 담고 있는 대역어 사전이다. 대역어 사전은 기계번역뿐만 아니라 서로 다른 언어간의 정보를 교환하는 모든 응용프로그램의 필수적인 지식원(knowledge source)이다. 본 연구에서는 문서 단위로 정렬된 병렬 코퍼스와 기본적인 대역어 사전을 이용하여 영-한 대역어를 자동으로 추출하는 방법에 대해 소개한다. 이 방법은 수집된 병렬 코퍼스의 크기에 영향을 받지 않는 방법이다. 문서 단위로 정렬된 병렬 코퍼스로부터 문장 단위의 정렬을 수행하고 다시 단어 단위의 정렬을 수행한 후, 정렬이 채 되지 않은 부분에 대해 추정 정렬을 수행한다. 추정 정렬에는 문장에서의 위치, 다른 단어와의 관계, 두 언어간의 언어적 정보등 다양한 정보가 사용된다. 이렇게 추정 정렬된 단어쌍으로부터 영-한 대역어를 추출할 수 있다. 약 1,000개로 구성된 병렬 코퍼스로부터 추출한 영-한 대역어는 71.7%의 정확도를 얻을 수 있었다.

• 한국산업정보학회논문지
• /
• 제22권2호
• /
• pp.43-52
• /
• 2017

패턴 분석은 신호 및 영상 처리와 텍스트 마이닝 분야에서 가장 중요한 기술 중 하나이다. 이산 푸리에 변환(Discrete Fourier Transform: DFT)은 일반적으로 신호와 영상의 패턴을 분석하는데 사용된다. 본 논문에서는 DFT가 텍스트 패턴 분석에도 적용될 수 있음을 가정하고 문서의 텍스트 패턴이 다른 문서에서도 존재하는지를 탐색하는 표절 문장 탐색에 세계 최초로 적용하였다. 이를 위해 텍스트를 ASCII 코드로 변환하여 신호화하고 복사/붙여넣기, 용어의 재배치 등 단순한 표절 형태의 탐색은 Cross-Correlation(상호상관)을 이용하였다. 또한 유의어를 사용하거나 번역 및 요약 등의 표절 형태를 탐색하기 위해 워드넷(WordNet) 유사도를 사용하였다. 실험을 위해 표절 탐색 분야의 저명한 워크숍인 PAN에서 제공하는 공식적인 데이터 셋(2013 Corpus)을 사용하였으며, 실험 결과 11개의 표절 문장 탐색 기법 중 4번째로 우수한 성능을 보였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제37권2호
• /
• pp.155-160
• /
• 2010

본 논문은 비교마이닝(comparison mining)의 일환인 비교 문장 유형 자동 분류에 관하여 연구한다. 비교마이닝은 텍스트 마이닝의 한 분야로서 대용량의 텍스트를 대상으로 비교 관계를 분석하며, 크게 세 단계의 과정을 거치게 되는데 첫 번째 단계는 대용량의 문서에서 비교 문장만을 식별 후 추출해 내는 과정이고, 두 번째 단계는 추출된 비교 문장들을 비교 유형별로 분류하는 과정이며, 앞의 두 선행 과정이 끝나면 유형별로 비교 속성을 추출 및 비교 관계를 분석하는 세 번째 단계를 수행하게 된다. 본 연구에서는 변환 기반 학습(transformation-based learning) 기법을 이용하여 비교 문장들을 일곱 가지의 유형으로 자동 분류하는 두 번째 과제를 수행한다. 자연어 처리 분야 여러 부문에서 사용되고 있는 변환기반 학습은 오류를 감소시키는 최적의 규칙을 자동으로 생성하여 정답을 찾아가는 규칙 기반 학습 방법이다. 웹상의 다양한 도메인에서 추출된 비교 문장들을 대상으로 유형 분류를 수행한 결과 정확도 80.01%의 성능으로 일곱 가지 유형을 분류할 수 있었다.

• 정보처리학회논문지B
• /
• 제13B권1호
• /
• pp.71-76
• /
• 2006

기계번역에서 올바른 번역 문장을 구성하기 위해서는 원시 문장의 의미를 올바르게 표현하면서 자연스러운 목적 문장을 구성하는 번역어를 선택해야 한다. 본 논문에서는 '단어-의미 의미-단어' 관계, 즉 원시언어의 한 단어는 하나 이상의 의미를 가지고 각 의미는 각기 다른 목적언어 단어로 표현된다는 점에 기반하여, 원시 단어의 의미 분별과 목적 단어 선택을 결합하여 번역어를 선택하는 방식을 제안한다. 기존의 번역방식은 원시 단어에 대한 목적단어를 직접 선택하는 '단어-단어' 관계에 기반하고 있기 때문에, 원시언어를 목적 언어로 직접 대응시키기 위한 지식을 필요로 하여 지식 획득에 어려움이 있었다. 본 논문의 방식에서는 원시 단어의 의미 분별과 목적 언어의 단어 선택의 결합을 통해 번역어를 선택함으로써, 손쉽게 획득할 수 있는 원시 언어와 목적 언어 각각의 지식원에서 번역어 선택을 위한 지식을 자동으로 추출할 수 있다. 또한 원시 언어의 의미와 목적 언어의 쓰임새를 모두 반영하여 충실도와 이해도를 모두 만족시키는 보다 정확한 번역어를 선택할 수 있다.

• 정보처리학회논문지B
• /
• 제13B권3호
• /
• pp.345-352
• /
• 2006

실용적인 영한 기계번역 시스템은 긴 문장을 빠르고 정확하게 번역할 수 있어야 한다. 보다 빠른 번역을 위해 문장 분할을 이용한 부분 파싱 방법이 제안되어 속도 향상에 기여하였다. 본 논문에서는 보다 정확한 분석을 위해 결정 트리를 이용한 구문 범주 예측 방법을 제안한다. 문장 분할을 적용한 영어 분석에서 각각의 분할된 부분은 개별적으로 분석되며 각 분석 결과들이 결합되어 문장의 구조가 생성된다. 여기서 각 분할의 구문 범주를 미리 예측하여 부분 파싱 후에 보다 정확한 분석 결과를 선정하고 예측된 구문 범주에 근거하여 올바르게 다른 문장의 분할결과와 결합함으로써 문장 분석의 정확도를 향상시키는 것이 본 논문에서 제안한 방법의 목적이다. 본 논문에서는 Wall Street Journal의 파싱된 말뭉치에서 구문 범주 예측에 필요한 특성을 추출하고 결정 트리를 이용하여 구문 범주 예측을 위한 결정 트리를 생성하였다. 실험에서는 사람이 구축한 규칙을 이용한 방법, trigram 확률을 이용한 방법, 신경망을 이용한 방법 등에 의한 구문 범주 예측 성능을 측정, 비교하였으며 제안된 구문 범주 예측이 번역의 품질 향상에 기여한 정도를 제시하였다.

• 인터넷정보학회논문지
• /
• 제14권3호
• /
• pp.81-90
• /
• 2013

모바일 기기는 사용자가 늘 지니고 다니기 때문에 사용자의 주변 환경이나 행동 양상에 대한 매우 유용한 정보를 얻을 수 있다. 본 논문에서는 이들 정보를 하루 단위로 수집하여 하룻동안에 있었던 사용자의 행동에 대한 주제를 추출하고 이를 이용해 자동으로 일기를 생성하는 방법을 제안한다. 이를 위해 (1) 모바일 기기에서 사용자 행동 양상에 대한 정보를 모두 수집하고 (2) 수집한 정보로부터 개체명과 주제 연관 정보를 추출해 사용자가 그 날 있었던 일에 대한 주제를 추출한다. (3) (2)의 결과로부터 주제와 연관된 사건인 에피소드를 결정하고 (4) 문장 템플릿을 이용하여 문장을 생성한 후, 주제별 혹은 시간별로 스토리를 구성한다. 본 논문에서 제안한 방법은 기존의 방법보다 간단하기 때문에 모바일 기기 내에서도 수행이 가능하므로 개인 정보를 유출할 수 있는 문제를 최소화 할 수 있다. 또한, 본 논문에서는 문장의 형태로 정보를 제공하기 때문에 보다 많은 정보를 표현할 수 있다. 그리고 문장 생성 과정에 생성되는 주제 정보는 사용자의 행동 양상을 파악하는 자료로 이용할 수 있으므로 이를 바탕으로 한 사용자 맞춤형 서비스를 제공하는데 도움을 줄 수 있을 것으로 기대된다.