• Title/Summary/Keyword: 문장 자질

Search Result 178, Processing Time 0.021 seconds

A Similarity-based Dialogue Modeling with Case Frame and Word Embedding (격틀과 워드 임베딩을 활용한 유사도 기반 대화 모델링)

  • Lee, Hokyung;Bae, Kyoungman;Ko, Youngjoong
    • Annual Conference on Human and Language Technology
    • /
    • 2016.10a
    • /
    • pp.220-225
    • /
    • 2016
  • 본 논문에서는 격틀과 워드 임베딩을 활용한 유사도 기반 대화 모델링을 제안한다. 기존의 유사도 기반 대화 모델링 방법은 형태소, 형태소 표지, 개체명, 토픽 자질, 핵심단어 등을 대화 말뭉치에서 추출하여 BOW(Bag Of Words) 자질로 사용하였기 때문에 입력된 사용자 발화에 포함된 단어들의 주어, 목적어와 같은 문장성분들의 위치적 역할을 반영할 수 가 없다. 또한, 의미적으로 유사하지만 다른 형태소를 가지는 문장 성분들의 경우 유사도 계산에 반영되지 않는 형태소 불일치 문제가 존재한다. 이러한 문제점을 해결하기 위해서, 위치적 정보를 반영하기 위한 문장성분 기반의 격틀과 형태소 불일치 문제를 해결하기 위한 워드임베딩을 활용하여 개선된 유사도 기반 대화 모델링을 제안한다. 개선된 유사도 기반 대화 모델링은 MRR 성능 약 92%의 성능을 나타낸다.

  • PDF

Designing SNS tourism review rating system through learning of scored review text (평점이 포함된 문장 학습을 통한 SNS 관광지 리뷰 평점 부여 시스템 설계)

  • An, Hyeon Woo;Moon, Nammee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.10a
    • /
    • pp.739-741
    • /
    • 2018
  • 감성분석을 통한 텍스트의 긍/부정 판단은 의사결정 시스템을 포함한 여러 분야에서 중요한 역할을 맡고 있다. 이런 흐름에 맞춰 감성분석 기술은 여러 기술과 융합하여 발전해왔는데 문장 내 자질을 추출하여 이용하는 자질 공학적 접근 방식과 심층 신뢰 신경망을 이용한 구조 또한 응용 사례에 속한다. 본 논문에서는 이러한 응용 기술 중 심층 신경망을 응용한 분석기술을 사용하여 관광지에 대한 평점이 포함된 문장을 학습하고 이를 SNS 관광지 리뷰에 적용하여 평점을 매기는 시스템을 설계한다.

Robust Method for Sentence Boundary Identification in informal documents (비형식적인 문서에 강건한 문장 경계 인식)

  • Kim, Ju-Hee;Seo, Jung-Yun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2010.06c
    • /
    • pp.266-270
    • /
    • 2010
  • 본 논문에서는 구두점이나 띄어쓰기가 없는 비형식적인 문서에서도 문장의 경계를 잘 인식할 수 있는 문장 경계 인식기를 제안한다. 기존의 문장인식기는 문장경계의 후보를 구두점 출현 위치만으로 하였는데 이는 잡음이 많은 웹문서를 처리하는데 한계가 있다. 반면에 제안한 방법은 문장 경계의 후보를 구두점의 출연 위치로 제한하지 않고 문장 경계 인식을 위한 자질로 구두점에 비 의존적인 음절 n-gram을 사용함으로써, 구두점이 잘 표현된 문서뿐만 아니라 구두점의 생략이 빈번한 웹문서의 문장 경계 인식까지 효과적으로 수행할 수 있다. 통계기반의 기계학습 기법으로 CRFs를 이용하여 하였고, 학습과 실험에 세종계획 말뭉치를 사용하였다. 제안한 문장 경계 인식기는 세종계획 말뭉치에서 99.99%의 정확률과 100.00%의 재현율을 보였고, 세종계획 말뭉치에서 문장 경계의 구두점을 제거한 경우에도 96.20%의 정확률과 87.51%의 재현율을 보여 구두점이 없는 경우에도 문장 경계 인식이 잘이루어짐을 확인할 수 있었다.

  • PDF

A Rating System on Movie Reviews using the Emotion Feature and Kernel Model (감정자질과 커널모델을 이용한 영화평 평점 예측 시스템)

  • Xu, Xiang-Lan;Jeong, Hyoung-Il;Seo, Jung-Yun
    • Annual Conference on Human and Language Technology
    • /
    • 2011.10a
    • /
    • pp.37-41
    • /
    • 2011
  • 본 논문에서는 최근 많은 관심을 받고 있는 Opinion Mining으로서 사용자들의 자연어 형태의 영화평 문장을 분석하여 자동으로 평점을 예측하는 시스템을 제안한다. 제안 시스템은 영화평 분석에 적합한 어휘 자질, 감정 자질, 가치 자질 및 기타 자질들을 추출하고, 10점 척도의 영화평의 평점을 10개의 범주로 가정하여, 커널모델인 다중 범주 Support Vector Machine (SVM) 모델을 이용하여 높은 성능으로 영화평의 평점을 범주 분류한다.

  • PDF

Korean Semantic Role Labeling Using Case Frame Dictionary and Subcategorization (격틀 사전과 하위 범주 정보를 이용한 한국어 의미역 결정)

  • Kim, Wan-Su;Ock, Cheol-Young
    • Journal of KIISE
    • /
    • v.43 no.12
    • /
    • pp.1376-1384
    • /
    • 2016
  • Computers require analytic and processing capability for all possibilities of human expression in order to process sentences like human beings. Linguistic information processing thus forms the initial basis. When analyzing a sentence syntactically, it is necessary to divide the sentence into components, find obligatory arguments focusing on predicates, identify the sentence core, and understand semantic relations between the arguments and predicates. In this study, the method applied a case frame dictionary based on The Korean Standard Dictionary of The National Institute of the Korean Language; in addition, we used a CRF Model that constructed subcategorization of predicates as featured in Korean Lexical Semantic Network (UWordMap) for semantic role labeling. Automatically tagged semantic roles based on the CRF model, which established the information of words, predicates, the case-frame dictionary and hypernyms of words as features, were used. This method demonstrated higher performance in comparison with the existing method, with accuracy rate of 83.13% as compared to 81.2%, respectively.

Secondary Grammaticalization and English Adverbial Tense (이차적 문법화와 영어부사의 시제)

  • Kim, Yangsoon
    • The Journal of the Convergence on Culture Technology
    • /
    • v.6 no.4
    • /
    • pp.115-121
    • /
    • 2020
  • The primary aim of this paper is to discuss the historical development or grammaticalization of English adverbial -ly suffix and provide a diachronic analysis of manner adverbs and sentence adverbs from the perspective of secondary grammaticalization. The grammaticalization includes both the primary grammaticalization from a lexical to a grammatical and the secondary grammaticalization from a less grammatical to a more grammatical status. The emergence of the manner adverbs is due to the primary grammaticalization from OE adjectival suffix -lic to ME adverbial suffix -ly. In contrast, the emergence of sentence adverbs is due to the secondary grammaticalization from manner adverbs in VP domain to sentence adverbs in TP domain with grammatical features of tense and modality. This paper concludes that the secondary grammaticalization of the English adverbial -ly suffix includes the change from manner adverbs to sentence adverbs which obtain a new grammatical function of tense and modality.

A Korean Document Sentiment Classification System based on Semantic Properties of Sentiment Words (감정 단어의 의미적 특성을 반영한 한국어 문서 감정분류 시스템)

  • Hwang, Jae-Won;Ko, Young-Joong
    • Journal of KIISE:Software and Applications
    • /
    • v.37 no.4
    • /
    • pp.317-322
    • /
    • 2010
  • This paper proposes how to improve performance of the Korean document sentiment-classification system using semantic properties of the sentiment words. A sentiment word means a word with sentiment, and sentiment features are defined by a set of the sentiment words which are important lexical resource for the sentiment classification. Sentiment feature represents different sentiment intensity in general field and in specific domain. In general field, we can estimate the sentiment intensity using a snippet from a search engine, while in specific domain, training data can be used for this estimation. When the sentiment intensity of the sentiment features are estimated, it is called semantic orientation and is used to estimate the sentiment intensity of the sentences in the text documents. After estimating sentiment intensity of the sentences, we apply that to the weights of sentiment features. In this paper, we evaluate our system in three different cases such as general, domain-specific, and general/domain-specific semantic orientation using support vector machine. Our experimental results show the improved performance in all cases, and, especially in general/domain-specific semantic orientation, our proposed method performs 3.1% better than a baseline system indexed by only content words.

Korean-English Sentence Alignment using Length and Similarity Information (길이 정보와 유사도 정보를 이용한 한영 문장 정렬)

  • Hong, Jeen-Pyo;Cha, Jeong-Won
    • Annual Conference on Human and Language Technology
    • /
    • 2010.10a
    • /
    • pp.130-135
    • /
    • 2010
  • 문장 정렬은 두 개의 문서 간의 대응이 되는 문장을 찾는 작업이다. 이 방법은 통계적 기계 번역의 학습 문서인 병렬 말뭉치를 자동으로 구축하는데 필수적인 방법이다. 본 연구에서는 길이 정보에 추가적으로 유사도 정보를 반영하는 한영 문장 정렬 방법을 제안한다. 먼저 한국어로 된 문서를 기계번역 시스템에 적용하여 영어 문서로 변환한다. 그리고 번역된 영어로 된 문서 결과와 영어로 된 대상 문서 간의 정렬 작업을 수행한다. 정렬 완료된 결과와 원시 문서, 대상 문서로부터 최종적인 결과를 생성해낸다. 본 논문에서는 기계 번역을 이용하는 방법과 더불어 기존의 길이 기반 문장 정렬 프로그램에 문장 유사도 정보를 추가하여 단어 정렬의 성능 향상을 꾀하였다. 그 결과 "21세기 세종기획"의 최종 배포본 내에 포함된 한영 병렬 말뭉치에 대해 한영 문장 정렬 F-1 자질의 결과가 89.39%를 보였다. 이 수치는 기존의 길이 기반의 단어 정렬의 성능 평가 결과와 비교했을 때 약 8.5% 가량 성능이 향상되었다.

  • PDF

Discrimination System for Abusive Comments using Machine Learning (기계 학습을 이용한 악성 댓글 판별 시스템)

  • Shin, Hyo-jeong;Choi, So-Woon;Lee, Kyung-ho;Lee, Kong-Joo
    • Annual Conference on Human and Language Technology
    • /
    • 2015.10a
    • /
    • pp.178-180
    • /
    • 2015
  • 본 논문에서는 기계 학습(Machine Learning)을 이용하여 댓글의 악성 여부를 분류하는 시스템에 대해 설명한다. 댓글은 문장의 길이가 짧고 맞춤법이 잘 되어있지 않는 특성을 가지고 있다. 따라서 댓글 분석을 위해 형태소 분석 결과와 문자단위 Bi-gram, Tri-gram을 자질로 이용한다. 전처리 된 댓글에서 각 자질 추출 방법에 따라 자질을 추출한다. 추출된 자질을 이용하여 기계학습 알고리즘의 모델을 학습하고 댓글의 악성 여부 분류에 활용한다. 본 논문에서는 댓글의 악성 여부 판별을 위한 자질 추출방법을 제안하고 실험을 통해 이에 대한 효용성을 검증하였다.

  • PDF

Expansion of Feature Information for Korean Semantic Role Labeling (한국어 의미역 결정을 위한 자질 정보 확장)

  • Jo, Byeong-Cheol;Seok, Mi-Ran;Kim, Yu-Seop
    • Annual Conference on Human and Language Technology
    • /
    • 2015.10a
    • /
    • pp.184-186
    • /
    • 2015
  • 의미역 결정은 주어진 술어와 의존 관계에 있는 여러 논항들과 그 술어간의 의미 관계를 결정하는 것이다. 의미역 결정은 보통 대량의 말뭉치를 이용하여 분류의 관점에서 문제를 해결하고자 한다. 본 논문에서는 한국어 구문 표지 부착된 말뭉치에 구축한 의미역 표지 부착 말뭉치 10,000 문장을 이용한 자동 의미역 결정 방법을 제안한다. 특히, 한국어는 그 특성상 조사와 어미가 문법 관계뿐만 아니라 의미 관계 설정에도 매우 중요한 역할을 하기 때문에 기존의 의미역 결정 연구에서 미비했던 부분인 조사와 어미 정보를 개선하여 새로운 자질 (features) 로 설계하여 의미역 결정을 시도하였다. 기존의 다른 언어에서의 의미역 결정 연구에서 사용된 자질에 본 논문에서 제시된 접사 정보에 기반한 자질을 추가하게 되면 약 77.9%의 F1 점수를 얻을 수 있었는데, 이는 기존 연구에 비하여 약 10% 포인트 향상된 결과이다.

  • PDF