• Journal of Information Processing Systems
• /
• 제14권5호
• /
• pp.1254-1271
• /
• 2018

Keyphrase extraction is one of fundamental natural language processing (NLP) tools to improve many text-mining applications such as document summarization and clustering. In this paper, we propose to use two novel techniques on the top of the state-of-the-art keyphrase extraction methods. First is the anti-patterns that aim to recognize non-keyphrase candidates. The state-of-the-art methods often used the rich feature set to identify keyphrases while those rich feature set cover only some of all keyphrases because keyphrases share very few similar patterns and stylistic features while non-keyphrase candidates often share many similar patterns and stylistic features. Second one is to use the dependency graph instead of the word co-occurrence graph that could not connect two words that are syntactically related and placed far from each other in a sentence while the dependency graph can do so. In experiments, we have compared the performances with different settings of the graphs (co-occurrence and dependency), and with the existing method results. Finally, we discovered that the combination method of dependency graph and anti-patterns outperform the state-of-the-art performances.

• 한국정보처리학회논문지
• /
• 제4권8호
• /
• pp.2025-2037
• /
• 1997

대화체 음성언어번역시스템의 일부인 개념기반 번역시스템은 음성인식의 결과를 이용하여 다른 언어로 번역해 주는 시스템이다. 본 논문은 여행계획 영역에 대해 한국어를 해석하여 영어, 일본어, 한국어로 번역해 주는 시스템에 대해 기술한 것이다. 개념기반 번역은 비정형 문장이 많은 대화체 문장을 처리하기 위해 형태소 분석 등의 구문정보를 이용하지 않고, 의미단위의 번역을 시도한 것으로 화자의 의도를 정확히 번역해 주는 것을 목표로 한다. 개념기반 번역은 280여개의 개념과 개념간의 계층구조에 의해, 인식결과를 개념구조로 변환한 후 다른 언어로 생성해 준다. 효율적인 한국어 처리를 위해 기준단어를 이용한 토큰분리기와 문법자동 수정기를 개발하였다. 그리고 자연스러운 생성문을 위해 각 언어에 대한 후처리기를 개발하였다.

• 국제학술발표논문집
• /
• The 9th International Conference on Construction Engineering and Project Management
• /
• pp.744-751
• /
• 2022

Construction is among the most dangerous industries with numerous accidents occurring at job sites. Following an accident, an investigation report is issued, containing all of the specifics. Analyzing the text information in construction accident reports can help enhance our understanding of historical data and be utilized for accident prevention. However, the conventional method requires a significant amount of time and effort to read and identify crucial information. The previous studies primarily focused on analyzing related objects and causes of accidents rather than the construction activities. This study aims to extract construction activities taken by workers associated with accidents by presenting an automated framework that adopts a deep learning-based approach and natural language processing (NLP) techniques to automatically classify sentences obtained from previous construction accident reports into predefined categories, namely TRADE (i.e., a construction activity before an accident), EVENT (i.e., an accident), and CONSEQUENCE (i.e., the outcome of an accident). The classification model was developed using Convolutional Neural Network (CNN) showed a robust accuracy of 88.7%, indicating that the proposed model is capable of investigating the occurrence of accidents with minimal manual involvement and sophisticated engineering. Also, this study is expected to support safety assessments and build risk management systems.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2000년도 제12회 한글 및 한국어 정보처리 학술대회
• /
• pp.323-328
• /
• 2000

국내에서 영한 자동번역 시스템을 1985 년부터 개발한 지 벌써 15년이 흐르고 있다. 15 년의 영한 자동번역 기술개발에도 불구하고 아직도 영한 자동번역 시스템의 번역품질은 40%를 넘지 못하고 있다. 이렇게 번역품질이 낮은 이유는 다음과 같이 요약할 수 있을 것이다. o 입력문에 대해 파싱할 때 오른쪽 경계를 잘못 인식함으로써 구조적 모호성의 발생문제: 예를 들어 등위 접속절에서 오른쪽 등위절이 등위 접속절에 포함되는 지의 모호성. o 번역 단위로써 전체 문장을 대상으로 한 번역패턴이 아닌 구나 절과 같은 부분적인 번역패턴으로 인한 문장 전체의 잘못된 번역 결과 발생. o 점차 증가하는 대용량 번역지식의 구축과 관련해 새로 구축되는 번역 지식과 기구축된 대용량 번역지식들 간의 상호 충돌로 인한 번역 품질의 저하. 이러한 심각한 원인들을 극복하기 위해 본 논문에서는 문틀에 기반한 새로운 영한 자동번역 방법론을 소개하고자 한다. 이 문틀에 기반한 영한 자동번역 방법론은 현재 CNN뉴스 방송 자막을 대상으로 한 영한 자동번역 시스템에서 실제 활용되고 있다. 이 방법론은 기본적으로 data-driven 방법론에 속하다. 문틀 기반 자동번역 방법론은 규칙기반 자동번역 방법론보다는 낮은 단계에서 예제 기반 자동번역 방법론보다는 높은 단계에서 번역을 하는 번역방법론이다. 이 방법론은 영한 자동번역에 뿐만 아니라 다른 언어쌍에서의 번역에도 적용할 수 있을 것이다.

• 인지과학
• /
• 제23권4호
• /
• pp.487-515
• /
• 2012

본 연구의 목적은 다양한 방식으로 개개인의 인지능력을 측정하고 문단 이해 능력을 살펴보는 것을 통해 문단이해에 영향을 미치는 인지정보처리 기제를 살펴보는 것이다. 이를 위하여 본 연구에서는 어휘판단 과제와 형태비교 과제를 사용하여 하위 인지능력을 측정하였고 숫자폭 과제, 작업폭 과제와 읽기폭 과제를 통하여 작업기억의 개인차를 측정하였다. 또한 논리적으로 유효한 추론과 유효하지 않은 추론의 처리 속도와 정확도를 살펴보는 것을 통해 고차 인지능력을 측정하였다. 문단이해 능력을 측정하기 위해서는 목표 문장 앞에 원인 문장이 있는 경우와 그렇지 않은 경우에 실험참여자들의 문장의 읽기 속도와 정확도를 측정하였다. 구조 모형을 통해 문단이해에 영향을 미치는 요인들을 살펴본 결과 하위 인지처리의 속도는 고차 인지처리의 속도와 상관이 있고 하위 인지처리의 정확도는 고차인지 처리의 정확도와 상관이 있었으나 고차 인지처리와 하위 인지처리에서 모두 속도와 정확도간의 상관은 나타나지 않았다. 또한 작업기억은 고차 인지처리 및 하위 인지처리의 정확도와는 상관이 있었으나 인지처리의 속도와는 상관이 없었다. 보다 중요하게 문단이해의 속도에는 하위 인지처리의 속도만이 영향을 미쳤지만 문단이해의 정확도에는 작업기억과 고차인지처리 기제가 영향을 미치는 것으로 나타났다. 문단이해의 속도는 문단이해의 정확도에 영향을 미치지 않았다.

• 인지과학
• /
• 제14권4호
• /
• pp.21-31
• /
• 2003

이 논문은 한국어-중국어(=KC) 이중언어자의 문장 처리 전략을 실험적으로 연구하여 한국어 단일언어자의 문장 처리 전략과 비교함으로써 (1) KC 이중 언어에 나타나는 문장 처리 전략의 전반적 특징을 밝히고, (2) 제 1 언어 처리 전략과 제 2 언어 처리 전략 간의 간섭이 이중 언어 발달에 영향을 줄 수 있음을 보이는 것을 목적으로 한다. 이를 위해 우리는 중국 연변 조선족 집거촌의 만 3세부터 성인에 이르는 다양한 연령 집단에서 166 명의 피험자를 모집하여 실시간 주어/행동주 판정 실험을 실시하였다 (cf. Liu, Bates & Li, 1992). 실험 결과를 한국어 단일언어자 대상의 이전 연구와 비교하여 다음 결론에 도달하였다. 첫째, 한국어 단일언어 아동은 3-4세 경 생물성 (animacy)에 근거해 문장의 주어/행동주를 판별하는 반면, KC 이중언어 아동은 생물성 전략 이외에도 어순 전략을 많이 활용한다. 둘째. KC 이중언어자가 주어/행동주 판별에 형태소를 활용하는 시기는 10세 이후로 한국어 단일언어 아동의 5세 경과 비교하여 많이 늦다. 셋째, 한국어 단일언어자 성인은 형태소 전략을 최우선적으로 활용하는 반면, KC 이중언어자는 성인이 되어서도 형태소 전략 이외에 생물성 전략과 어순 전략을 적극적으로 활용한다. KC 이중언어자의 언어 수행은 생물성과 어순이 중요한 중국어의 영향을 받은 것으로 보이며, 이는 Liu, Bates & Li (1992)가 제안하는 조기이중언어자의 전략 후행 전이를 지지하는 결과라 할 수 있다.

• 한국과학교육학회지
• /
• 제38권2호
• /
• pp.219-234
• /
• 2018

본 연구에서는 국내 교육학 연구에서 거의 사용되지 않던 머신 러닝 기술을 과학 교육 연구에 접목하여, 학생들의 과학 논변 활동에서 나타나는 논변의 구성 요소를 분석하는 과정을 자동화할 수 있는 가능성을 탐색해보았다. 학습 데이터로는 Toulmin이 제안하였던 틀에 따라 학생들의 과학 논변 구성 요소를 코딩한 국내 선행 문헌 18건을 수합하고 정리하여 990개의 문장을 추출하였으며, 테스트 데이터로는 실제 교실 환경에서 발화된 과학 논변 전사 데이터를 사용하여 483개의 문장을 추출하고 연구자들이 사전 코딩을 수행하였다. Python의 'KoNLPy' 패키지와 '꼬꼬마(Kkma)' 모듈을 사용한 한국어 자연어 처리(Natural Language Processing, NLP)를 통해 개별 논변을 구성하는 단어와 형태소를 분석하였으며, 연구자 2인과 국어교육 석사학위 소지자 1인의 검토 과정을 거쳤다. 총 1,473개의 문장에 대한 논변-형태소:품사 행렬을 만든 후에 다섯 가지 방법으로 머신 러닝을 수행하고 생성된 예측 모델과 연구자의 사전 코딩을 비교한 결과, 개별 문장의 형태소만을 고려하였을 때에는 k-최근접 이웃 알고리즘(KNN)이 약 54%의 일치도(${\kappa}=0.22$)를 보임으로써 가장 우수하였다. 직전 문장이 어떻게 코딩되어 있는지에 관한 정보가 주어졌을 때, k-최근접 이웃 알고리즘(KNN)이 약 55%의 일치도(${\kappa}=0.24$)를 보였으며 다른 머신 러닝 기법에서도 전반적으로 일치도가 상승하였다. 더 나아가, 본 연구의 결과는 과학 논변 활동의 분석에서 개별문장을 고려하는 단순한 방법이 어느 정도 유용함과 동시에, 담화의 맥락을 고려하는 것 또한 필요함을 데이터에 기반하여 보여주었다. 또한 머신 러닝을 통해 교실에서 한국어로 이루어진 과학 논변 활동을 분석하여 연구자와 교사들에게 유용하게 사용될 수 있는 가능성을 보여준다.

• Journal of Platform Technology
• /
• 제9권3호
• /
• pp.52-62
• /
• 2021

제조업 현장에서 제작 공정 수행 전 품질 불량 위험 공정을 예측하여 사전품질관리를 수행하는 것은 매우 중요한 일이다. 하지만 기존 엔지니어의 역량에 의존하는 방법은 그 제작공정의 종류와 수가 다양할수록 인적, 물리적 한계에 부딪힌다. 특히 원자력 주요기기 제작과 같이 제작공정이 매우 광범위한 도메인 영역에서는 그 한계가 더욱 명확하다. 본 논문은 제조업 현장에서 자연어 처리 및 기계학습을 활용하여 품질 불량 위험 공정을 예측하는 방법을 제시하였다. 이를 위해 실제 원자력발전소에 설치되는 주기기를 제작하는 공장에서 6년 동안 수집된 제작 기록의 텍스트 데이터를 활용하였다. 텍스트 데이터의 전처리 단계에서는 도메인 지식이 잘 반영될 수 있도록 단어사전에 Mapping 하는 방식을 적용하였고, 문장 벡터화 과정에서는 N-gram, TF-IDF, SVD를 결합한 하이브리드 알고리즘을 구성하였다. 다음으로 품질 불량 위험 공정을 분류해내는 실험에서는 k-fold 교차 검증을 적용하고 Unigram에서 누적 Trigram까지 여러 케이스로 나누어 데이터셋에 대한 객관성을 확보하였다. 또한, 분류 알고리즘으로 나이브 베이즈(NB)와 서포트 벡터 머신(SVM)을 사용하여 유의미한 결과를 확보하였다. 실험결과 최대 accuracy와 F1-score가 각각 0.7685와 0.8641로서 상당히 유효한 수준으로 나타났다. 또한, 수행해본 적이 없는 새로운 공정을 예측하여 현장 엔지니어들의 투표와의 비교를 통해서 실제 현장에 자연스럽게 적용할 수 있음을 보여주었다.

• 한국정보처리학회논문지
• /
• 제5권3호
• /
• pp.851-861
• /
• 1998

한국어는 음운 변동 현상이 매우 발달되어 있다는 특징을 갖고 있다. 따라서, 음성 인식율의 제고와 음성 합성음의 자연스러움을 향상시키기 위해서는 음운 변동 현상을 비롯한 한국어의 모든 특징에 대한 체계적인 연구가 있어야 한다. 본 논문은 한국어의 제 특징 중에서 음운 변동 현상을 효율적으로 처리할 수 있는 규칙을 설계하고 구현함으로써, 한국어 음성 인식과 합성에 효율적으로 이용될 수 있음을 보인다. 음운 변동 규칙의 설계를 위하여 사용된 규정은 한글 맞춤법 통일안의 표준 발음법(7장 30항)이며, 일차적으로 각 규정별로 설계된 규칙을 최종적으로 27개 그룹으로 정리된 종성별 규칙을 제시하였다. 본 연구에서 제안된 음운 변동 처리 시스템은 한번의 규칙 적용으로 음운 변도 dgus상이 신속히 처리되는 잇점이 있으며, 단어 및 용언의 어간에 접속되는 정보에 대한 처리 내용까지도 제안된 규칙내에 수용하였기 때문에 문장 단위의 음성 인식과 합성 시스템의 연구에 도움을 줄 수 있다.

• Journal of Information Processing Systems
• /
• 제18권4호
• /
• pp.549-561
• /
• 2022

In the Khmer writing system, the Khmer script is the official letter of Cambodia, written from left to right without a space separator; it is complicated and requires more analysis studies. Without clear standard guidelines, a space separator in the Khmer language is used inconsistently and informally to separate words in sentences. Therefore, a segmented method should be discussed with the combination of the future Khmer natural language processing (NLP) to define the appropriate rule for Khmer sentences. The critical process in NLP with the capability of extensive data language analysis necessitates applying in this scenario. One of the essential components in Khmer language processing is how to split the word into a series of sentences and count the words used in the sentences. Currently, Microsoft Word cannot count Khmer words correctly. So, this study presents a systematic library to segment Khmer phrases using the bi-directional maximal matching (BiMM) method to address these problematic constraints. In the BiMM algorithm, the paper focuses on the Bidirectional implementation of forward maximal matching (FMM) and backward maximal matching (BMM) to improve word segmentation accuracy. A digital or prefix tree of data structure algorithm, also known as a trie, enhances the segmentation accuracy procedure by finding the children of each word parent node. The accuracy of BiMM is higher than using FMM or BMM independently; moreover, the proposed approach improves dictionary structures and reduces the number of errors. The result of this study can reduce the error by 8.57% compared to FMM and BFF algorithms with 94,807 Khmer words.