• Journal of the Korea Academia-Industrial cooperation Society
• /
• v.8 no.5
• /
• pp.1087-1091
• /
• 2007

This paper proposes a automatic korean lexical acquisition system which reflects the characteristics of human language acquisition. The proposed system automatically builds two kinds of lexicon, full-form lexicon and decomposition using Korean corpus as its input. As the experimental results using Korean Sejeong corpus of which size is 10 million Eojeols, the system acquired 2,097 full-form Eojeols and 3,488 morphemes. The accumulated frequency of the acquired full-form Eojeols covers the 38.63% of the input corpus and accuracy of morpheme acquisition is 99.87%.

• The KIPS Transactions:PartD
• /
• v.19D no.4
• /
• pp.263-270
• /
• 2012

With the current development of high speed Internet and massive database technology, the amount of web documents increases rapidly, and thus, classifying those documents automatically is getting important. In this study, we propose an effective method to extract document features based on Hangeul morpheme and keyword analyses, and to classify non-structured documents automatically by predicting subjects of those documents. To extract document features, first, we select terms using a morpheme analyzer, form the keyword set based on term frequency and subject-discriminating power, and perform the scoring for each keyword using the discriminating power. Then, we generate the classification model by utilizing the commercial software that implements the decision tree, neural network, and SVM(support vector machine). Experimental results show that the proposed feature extraction method has achieved considerable performance, i.e., average precision 0.90 and recall 0.84 in case of the decision tree, in classifying the web documents by subjects.

• Proceedings of the Korean Society for Cognitive Science Conference
• /
• 2002.05a
• /
• pp.125-130
• /
• 2002

우리의 언어생활을 비추어 볼 때 한자어 정보처리는 많은 연구가 이루어야 함에도 불구하고 고유어 언구에 비해 소흘해 다루어져 왔다. 본 연구는 단일 한자어를 구성하는 각 음절이 단어의 재인에 어떤 영향을 미치는지 점화과제를 통하여 알아보았다. 본 실험은 기존의 한자어 연구에 빈도특성과 고유어와 외래어의 글자특성까지 고려하여 종합적으로 살펴보았다. 먼저 실험1의 어휘판단관제에서는 고유어와 한자어의 양상이 비슷하며 외래어는 다른 처리를 하는 것으로 드러났다. 고유어와 한자어는 빈도에 따라 영향을 받지만 외래어는 빈도의 영향에 변함없이 일정하게 나타났다. 이런 결과는 한국인은 고유어와 한자어를 동일한 양상으로 처리하며 이런 이유는 외래어의 한국어와는 다른 음운규칙이나 음절규칙의 영향으로 해석할 수 있겠다. 실험 2에서는 한자어 형태소와 의미적으로 유사한 조건(강도-강력)과 철자적 유사 조건(강도-강변), 고유어 유사 조건(강도-강정)조건을 점화과제를 이용하여 어휘판단을 하게 하였다. 실험 결과 모든 조건이 통제조건에 비하여 빠르게 나왔다. 그리고 의미적 유사 조건이 촉진적 점화효과를 일으키고, 철자적 유사조건은 억제 효과를 일으켰으며 고유어는 특이하게도 판단시간이 빠르게 나와 한자어와는 다른 처리과정이 있음을 보여주고 있다. 이런 결과는 지연조건에서도 동일하게 일어나고 있다. 이런 결과는 한자어는 어휘접근 이후에도 실험의 과제 특성상 한자어 형태소는 단어 수준 아래 위치하기는 힘든 반면, 고유어는 단어 수준 아래에 존재한다고 할 수 있다. 결국 한자어와 고유어는 기본적으로 외래어와 다른 처리를 보이면 한자어와 고유어 내에서도 한자어는 단어접근 전에 의미접근의 단계를 거쳐야 하지만 고유어는 각 음절이 형태소가 아니기 때문에 바로 어휘에 접근하는 것이라고 할 수 있겠다.ulic geometry and sediment transport has been applied to: (1) gravel-bed transport measurements in a cobble-bed stream at Little Granite Creek, Wyoming; (2) sand and gravel transport by size fraction in the sharp meander bends of Fall River, Colorado; (3) changes in sand dune geometry and resistance to flow during major floods of the Rhine River in the Netherlands; (4) changes in hydraulic geometry of the Rio Grande downstream of Cochiti Dam, New Mexico; and (5) analysis of the influence of water temperature and the Coriolis force on flow velocity and sediment transport of the Lower Mississippi River in Louisiana. Recent developments also include two textbooks on "Erosion and Sedimentation" and "River Mechanics" by the author and state-of-the-art papers in the ASCE Journal of Hydraulic Engineering.rk on is diversified, the importance of skills are diversified in each field of jobs.

• Journal of the Korea Society of Computer and Information
• /
• v.26 no.8
• /
• pp.55-63
• /
• 2021

Since social big data often includes new words or proper nouns, statistical morphological analysis methods have been widely used to process them properly which are based on the frequency of occurrence of each word. However, these methods do not properly recognize compound nouns, and thus have a problem in that the accuracy of keyword extraction is lowered. This paper presents a method to extract compound nouns in keyword analysis of social big data. The proposed method creates a candidate group of compound nouns by combining the words obtained through the morphological analysis step, and extracts compound nouns by examining their frequency of appearance in a given review. Two algorithms have been proposed according to the method of constructing the candidate group, and the performance of each algorithm is expressed and compared with formulas. The comparison result is verified through experiments on real data collected online, where the results also show that the proposed method is suitable for real-time processing.

• Annual Conference on Human and Language Technology
• /
• 1998.10c
• /
• pp.316-320
• /
• 1998

한국어나 일본어처럼 문법형태소의 기능에 의해 단어의 통사적, 의미적 역할이 결정되는 교착어에서는 형태소 분석이 통사 분석과 의미 분석에 미치는 영향이 크기 때문에 한국어의 분석에 있어서 형태소 분석은 아주 중요하다. 관형적 표현이 많은 한글은 문법 규칙만으론 분석하기가 쉽지 않고, 분기가 많이 생성되므로 오류가 발생할 확률도 높다. 이러한 문제점을 해결하기 위해 본 논문에선 사전을 중심으로 해결하고자 한다. 그러기 위해선 방대한 용량의 사전이 필요로 하게 되고 이를 구축하기 위한 시간과 노력이 요구되므로 이미 구성된 코퍼스를 이용해 사전을 구성하여 많은 시간과 노력을 줄일 수 있도록 한다. 그리고 생성되는 많은 분기 가운데 올바른 경로를 찾아 가기 위해 코퍼스내의 각 태그 결합정보를 추출하고 추출한 결합정보의 통계정보-코퍼스내에서 사용된 빈도수-포함하여 우선순위를 정하도록 한다.

• KIPS Transactions on Software and Data Engineering
• /
• v.2 no.12
• /
• pp.881-888
• /
• 2013

A pre-analyzed dictionary is used to increase the speed and the accuracy of morphological analyzers and to decrease the over-generation. However, if the dictionary includes 'Insufficiently-analyzed word-phrases', which do not include all the possible analysis of the word-phrase, it may cause the decrease of the analysis accuracy. In this paper, we measure the accuracy changes according to the number of word-phrase frequency and the size changes of corpus by Sejong corpus. And performance of integrate system(SMA with pre-dictionary) is highest when sufficient analysis rate of pre-dictionary is more than 99.82%. Also pre-dictionary is constructed with word-phrase that frequency more than 32(64) when size of corpus is 1,600,000(6,300,000) word-phrase.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.394-399
• /
• 2018

본 연구는 SNS 텍스트에서 형태소 분석기로 분석되지 않는 비정규토큰 유형 중 고빈도로 나타나는 의존명사 내포 어형의 형태소를 인식할 수 있는 LGG 기반 패턴문법 사전 구축과 그 성능을 평가하는 것을 목표로 한다. SNS 텍스트에서는 기존의 정형화된 텍스트와 달리, 띄어쓰기 오류로 인한 미분석어가 매우 높은 빈도로 나타나는데, 특히 의존명사를 포함한 유형이 20% 이상을 차지하며 가장 빈번한 것으로 나타났다. 이에 본 연구에서는 의존명사를 내포한 비정규토큰의 띄어쓰기 오류 문제를 효과적으로 처리하기 위해, 부분 문법 그래프(Local Grammar Graph: LGG) 프레임에 기반한 패턴문법 사전을 구축하였다. 이를 SNS 코퍼스에 적용하여 성능을 평가한 결과, 정확률 91.28%, 재현율 89%, 조화 평균 90.13%의 성능을 통해 본 연구의 접근 방법론의 유용성과 구축 자원의 실효성을 입증하였다.

• Annual Conference on Human and Language Technology
• /
• 1998.10c
• /
• pp.391-395
• /
• 1998

대용량의 연속된 음성을 인식하는 데에는 형태소 사이의 음운변동과 언절과 어절 사이의 불일치 등으로 인한 어려움이 따른다. 그러므로 언어학적인 지식을 이용한 자연어 처리 기술과의 결합이 필수적이라 할 수 있다. 본 논문에서는 문장 단위의 연속 음성 문자열을 올바른 어절로 띄어주는 시스템을 제안한다. 먼저 띄어쓰기 발음열 사전을 이용하여 어절의 경계를 추정한다. 이 때 보다 정확한 띄어쓰기 위치를 추정하기 위하여 2음절 이상의 최장 조사 어미와 음절 분리가능빈도가 이용된다. 이렇게 해서 분리된 어절들은 음절 복원기를 거친 뒤, 형태소 분석을 행하여 올바른 어절인지를 검사한다. 분석에 실패한 어절은 띄어쓰기 오류 유형에 따라 교정을 한 후 형태소 분석을 재시도한다. 제안한 시스템을 테스트해 본 결과 96.8%의 정확도를 보였다. 본 시스템은 음운 변동 처리기와 함께 말소리를 음성 그대로 인식하는 인식기의 후처리로 이용할 수 있을 것이다.

• Journal of the Korean Institute of Telematics and Electronics
• /
• v.25 no.10
• /
• pp.1183-1192
• /
• 1988

In this paper, we describe heuristic information-added morphological dictionary and connection table, and automatic MUNJEUL separation process on the basis of least cost method for efficient morphological analysis. It is simplified the composition of connection and inflective word information by mutually interconnect conjugation table with connection tables. As a result, the applicability of system is increased. Translation dictionary consists of analysis and generation part and, increase the applicability by describing frequently using termination phrase which is extracted statistically as idiom and the procedure directly on the dictionary for the efficiency of analysis process and more natural generation of translation sentence.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.619-623
• /
• 2020

한국어는 교착어로 1개 이상의 형태소가 단어를 이루고 있기 때문에 텍스트 분석 시 형태소를 분리하는 작업이 필요하다. 자연어를 처리하는 대부분의 알고리즘은 영미권에서 만들어졌고 영어는 굴절어로 특정 경우를 제외하고 일반적으로 하나의 형태소가 단어를 구성하는 구조이다. 그리고 영문은 주로 띄어쓰기 위주로 토큰화가 진행되기 때문에 텍스트 분석이 한국어에 비해 복잡함이 떨어지는 편이다. 이러한 이유들로 인해 한국어 텍스트 분석은 영문 텍스트 분석에 비해 한계점이 있다고 알려져 있다. 한국어 텍스트 분석의 성능 향상을 위해 본 논문에서는 번역 전처리 기법을 제안한다. 번역 전처리 기법이란 원본인 한국어 텍스트를 영문으로 번역하고 전처리를 거친 뒤 분석된 결과를 재번역하는 것이다. 본 논문에서는 한국어 뉴스 기사 데이터와 번역 전처리 기법이 적용된 영문 뉴스 텍스트 데이터를 사용했다. 그리고 주제어 역할을 하는 키워드를 단어 간의 유사도를 계산하는 알고리즘인 Word2Vec(Word to Vector)을 통해 유사 단어를 추출했다. 이렇게 도출된 유사 단어를 텍스트 분석 전문가 대상으로 성능 비교 투표를 진행했을 때, 한국어 뉴스보다 번역 전처리 기법이 적용된 영문 뉴스가 약 3배의 득표 차이로 의미있는 결과를 도출했다.