• 디지털융복합연구
• /
• 제19권7호
• /
• pp.33-39
• /
• 2021

본 연구는 구약 성경 코퍼스와 신약 성경 코퍼스, 그리고 구약과 신약 성경을 통합한 코퍼스에서 추출된 키워드 목록의 어휘적 특징을 분석하고, 또 사용빈도 기반의 키워드 분석보다 분포도 기반 키워드 분석이 더 우수한 분석 방식임을 밝히고자 하였다. 이를 위해 Bible Hub의 NLT 웹사이트에서 성경 파일을 다운받아 약 57만 어절의 구약 성경 코퍼스와 약 20만 어절의 신약 성경 코퍼스를 구축하였다. 목표 코퍼스와 참조 코퍼스의 비교를 통한 키워드 목록을 추출하기 위해서 Scott(2020)의 WordSmith 8.0 프로그램을 사용하였다. 그 결과, 분포도 기반 키워드 분석이 사용빈도 기반의 키워드 분석보다 키워드 목록의 어휘적 특징을 보다 더 잘 나타낼 수 있었고, 또 코퍼스 내용의 대표성과 변별성을 충분히 충족시킬 수 있는 최적의 키워드 목록을 추출하기 위해서는 분포도 기반 키워드 분석이 더 우수한 방식임을 밝혔다.

• 한국언어정보학회:학술대회논문집
• /
• 한국언어정보학회 2007년도 정기학술대회
• /
• pp.223-233
• /
• 2007

The so-called Korean BNC (bound noun construction) displays complex syntactic, semantic, and constructional properties. This paper, couched upon a constraint-based approach, two different syntactic structures for the construction with articulated lexical properties for the BNs and relevant predicates. The paper reports an implementation of this analysis in the LKB (Linguistic Knowledge Building) system and shows us that this direction is robust enough to pare relevant sentences.

• 정보처리학회논문지B
• /
• 제9B권6호
• /
• pp.809-816
• /
• 2002

구문 분석에서 가장 큰 문제점 중 하나는 구문 구조의 중의성을 어떻게 해결하느냐에 달려있다. 확률 구문 규칙은 구문 구조의 중의성 해결에 한 방법이 될 수 있다. 본 논문에서는 중심어 간의 공기정보를 이용하여 한국어 구문 구조의 중의성을 해결하는 확률 모델을 제안하고자 한다. 중심어는 어휘를 이용하기 때문에 자료 부족 문제를 야기시킬 수 있다. 이 때문에 자료부족 문제를 어떻게 해결하느냐에 따라 어휘 정보 사용의 성공이 결정될 수 있다. 본 논문에서는 구문규칙을 단순화하고 Back-off 방법을 이용해서 이 문제를 완화한다. 제안된 모델은 실험 데이터에 대해 약 84%의 정확도를 보였다.

• 인지과학
• /
• 제20권2호
• /
• pp.225-241
• /
• 2009

본고에서는 빈도 정보를 이용한 저자 판별 (authorship attribution) 기법을 한국어에 적용한 연구를 소개한다. 그 대상으로는 정형화된 장르인 신문 칼럼을, 구체적으로는 조선일보에 연재 중인 4인 칼럼니스트들의 각 40개 칼럼, 총 160개 칼럼 텍스트를 선정하였다. 이들에 대하여 어절, 음절, 형태소, 각 단위 2연쇄 등의 다양한 언어 단위들의 빈도 정보들을 이용한 저자 판별을 시도한 결과, 형태소 빈도를 기반으로 하여 최고 93%를 넘는 높은 예측 정확도를 얻을 수 있었다. 또한, 저자 개인 문체간의 거리도 빈도 정보로써 계량적 표상이 가능함을 보일 수 있었다. 이로써 빈도 분석과 같은 통계적, 계량적 방법을 통하여 한국어 텍스트에 대한 성공적인 저자 판별과 개인 문체의 정량화가 가능하다는 결론을 내릴 수 있다.

• Journal of Multimedia Information System
• /
• 제5권3호
• /
• pp.147-154
• /
• 2018

Natural language processing (NLP) is an emerging research area in which we study how machines can be used to perceive and alter the text written in natural languages. We can perform different tasks on natural languages by analyzing them through various annotational tasks like parsing, chunking, part-of-speech tagging and lexical analysis etc. These annotational tasks depend on morphological structure of a particular natural language. The focus of this work is part-of-speech tagging (POS tagging) on Hindi language. Part-of-speech tagging also known as grammatical tagging is a process of assigning different grammatical categories to each word of a given text. These grammatical categories can be noun, verb, time, date, number etc. Hindi is the most widely used and official language of India. It is also among the top five most spoken languages of the world. For English and other languages, a diverse range of POS taggers are available, but these POS taggers can not be applied on the Hindi language as Hindi is one of the most morphologically rich language. Furthermore there is a significant difference between the morphological structures of these languages. Thus in this work, a POS tagger system is presented for the Hindi language. For Hindi POS tagging a hybrid approach is presented in this paper which combines "Probability-based and Rule-based" approaches. For known word tagging a Unigram model of probability class is used, whereas for tagging unknown words various lexical and contextual features are used. Various finite state machine automata are constructed for demonstrating different rules and then regular expressions are used to implement these rules. A tagset is also prepared for this task, which contains 29 standard part-of-speech tags. The tagset also includes two unique tags, i.e., date tag and time tag. These date and time tags support all possible formats. Regular expressions are used to implement all pattern based tags like time, date, number and special symbols. The aim of the presented approach is to increase the correctness of an automatic Hindi POS tagging while bounding the requirement of a large human-made corpus. This hybrid approach uses a probability-based model to increase automatic tagging and a rule-based model to bound the requirement of an already trained corpus. This approach is based on very small labeled training set (around 9,000 words) and yields 96.54% of best precision and 95.08% of average precision. The approach also yields best accuracy of 91.39% and an average accuracy of 88.15%.

• 지능정보연구
• /
• 제22권1호
• /
• pp.63-82
• /
• 2016

최근 정보기술의 발달로 인해 소비자들은 온라인상에서 많은 정보를 쉽고 빠르게 획득할 수 있다. 소비자가 제품 구매시에는 소비자들이나 전문가들이 작성한 제품 후기 정보를 주로 탐색한다. 기존의 연구들이 소비자들이 창출한 제품 후기 중심으로 주로 진행되어 왔기 때문에, 전문가 제품 후기의 영향력에 대해서는 상대적으로 소수의 연구들만 존재하고 있다. 본 연구는 전문가가 생성하는 제품 후기에 초점을 맞추어, 방대한 실제 비정형데이터인 전문가의 후기를 어떻게 언어학적인 차원과 심리학적인 차원으로 나눌 수 있는지의 방법론을 제안하며, 실제 전문가 제품 후기를 사용하여 의미 있는 다섯 가지 차원의 새로운 변수들을 도출하였다. 그 결과 소비자들이 전문가 후기에서 반응하고 있는 언어적 특성은 제품에 대한 깊이 있는 정보의 양이나 충분한 설명을 나타내는 변수인 Review Depth, 그리고 전문가가 기술하는 방식이 제품에 대한 확신이 없는 듯한 말투를 나타내는 변수인 Lack of Assurance는 소비자의 전반적인 제품평가에 유의한 상관관계가 있는 것으로 밝혀졌다. 또한, 제품에 대한 칭찬이나 긍정적인 면을 서술하는 방식인 Positive Polarity가 소비자의 제품 평가에 영향을 미치지 않았지만, 전문가가 하는 제품에 대한 비관적인 평가인 Negative Polarity는 소비자들의 평가와 유의한 음의 상관관계가 있었다는 점이다. 전문가가 스토리텔링 관점에서 자주 사용하는 Social Orientation 특성은 유의한 관계를 미치지 못함이 밝혀졌다. 본 연구는 새로운 방법론을 제안하고 이를 실제로 활용한 결과를 보여준다는 차원에서 이론적이고 실무적인 공헌을 가진다.

• 한국지능시스템학회논문지
• /
• 제11권6호
• /
• pp.549-557
• /
• 2001

Morphological analysis and POS tagging require a dictionary for the language at hand . In this fashion though it is impossible to analyze a language a dictionary. We also have difficulty if significant portion of the vocabulary is new or unknown . This paper explores the possibility of learning morphology of an agglutinative language. in particular Korean language, without any prior lexical knowledge of the language. We use unsupervised learning in that there is no instructor to guide the outcome of the learner, nor any tagged corpus. Here are the main characteristics of the approach: First. we use only raw corpus without any tags attached or any dictionary. Second, unlike many heuristics that are theoretically ungrounded, this method is based on statistical methods , which are widely accepted. The method is currently applied only to Korean language but since it is essentially language-neutral it can easily be adapted to other agglutinative languages.

• 한국언어정보학회지:언어와정보
• /
• 제13권1호
• /
• pp.57-75
• /
• 2009

English floating quantifiers (FQ) are both limited and complex in the sense that they are introduced by a limited set of words, all, both, and each, and display free distributional possibilities. This paper provides a non-movement approach to the syntax of English floating quantifier constructions. The non-movement analysis we develop here is different from stranding movement analyses in that all the FQs are base-generated while the linkage with their antecedent refers to grammatical features such as SUBJ and PRD. The analysis avoids the postulation of abstract levels as well as empty elements in capturing the flexibility of English FQ constructions, making the grammar of English simpler.

• 한국언어정보학회지:언어와정보
• /
• 제6권2호
• /
• pp.57-82
• /
• 2002

This study explores the lexical-semantic structure of derived causative verbs in Korean based on Pustejovsky(1995)'s Generative Lexicon Theory (GL). Morphological causative verbs are derived from their root stems by affixing ‘-i, -hi, -li, -gi’ in Korean and the meanings of derived predicates are closely related to the meanings of their root verbs. In particular, the change of the ARGUMENT STRUCTURE by morphological derivation leads to the change of the EVENT STRUCTURE. The ARGUMENT STRUCTURES of derived causative verbs include a causer argument, which is added to the ARGUMENT STRUCTURE of their root verbs by means of the causative derivation. Their EVENT STRUCTURE has a headed process related to a causer and its result is the event which their root verbs denote. This approach can also suggest that the (in)directness of causative is dependent on is the semantics of its root verb.

• 한국언어정보학회지:언어와정보
• /
• 제7권2호
• /
• pp.117-137
• /
• 2003

This paper attempts to provide an alternative analysis involving categorical issues related to English gerunds. Especially, this paper rejects Maulof's approach that creates a new syntactic category gerund by mixing nominal and verbal categories. This paper identifies two syntactic structures in English gerunds: nominal gerunds and verbal gerunds. This distinction is based on syntactic and semantic characteristics of each type and is intended to account for the external distribution and endocentricity of the construction. Treating verbal gerunds syntactically as verbal categories, this paper proposes that English verbal gerunds act like other verbal categories such as infinitives whereas nominal gerunds behaves much like derived nominals. This paper proposes a few lexical rules that can take care of the two types of gerunds. The proposal can be extended to prepositional complements as well as sentential subject positions. This proposal not only resolves the issues involving distributional properties of the gerund construction but also captures syntactic parallelism observable between gerunds and other verbal constructions in English.