• The KIPS Transactions:PartB
• /
• v.14B no.7
• /
• pp.559-566
• /
• 2007

Subjective sentences express opinions, emotions, evaluations and other subjective ideas relevant to products or events. These expressions sometimes can be seen in only part of a sentence, thus extracting features from a full-sentence can degrade the performance of subjective-sentence-classification. This paper presents a method for improving the performance of a subjectivity classifier by combining two classifiers generated from the different representations of an input sentence. One representation is a sentimental phrase that represents an automatically identified subjective expression or objective expression and the other representation is a full-sentence. Each representation is used to extract modified n-grams that are composed of a word and its contextual words' polarity information. The best performance, 79.7% accuracy, 2.5% improvement, was obtained when the phrase-level classifier and the sentence-level classifier were merged.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.22 no.5
• /
• pp.656-662
• /
• 2012

In this paper, we describe a new summarizing method based on a graph-based and a sense-based analysis. In the graph-based analysis, we convert sentences in a document into word vectors and calculate the similarity between each sentence using LSA. We reflect this similarity of sentences and the rarity scores of words in sentences to define weights of edges in the graph. Meanwhile, in the sense-based analysis, in order to determine the sense of words, subjectivity or objectivity, we built a database which is extended from the golden standards using Wordnet. We calculate the subjectivity of sentences from the sense of words, and select more subjective sentences. Lastly, we combine the results of these two methods. We evaluate the performance of the proposed method using classification games, which are usually used to measure the performances of summarization methods. We compare our method with the MS-Word auto-summarization, and verify the effectiveness of ours.

• Science of Emotion and Sensibility
• /
• v.11 no.3
• /
• pp.397-418
• /
• 2008

This research investigated differences of perception ratio and processes of memory reconstruction. To examine the differences in perception for positive or negative events related to individual subjective well-level, 199 participants were asked to report the perceived ratio of positive versus negative events for the provided event list. Also, recall differences of positive versus negative events were examined in relation to individual differences in happiness. Results partially supported the hypothesis that happy people perceive more positive stimulus in a given situation than less happy people. Happy people also showed more positive percentage in recalled events than actual ratio while unhappy people reported less positive recall percentage than actual ratio. These findings indicate existence of cognitive process that enhances positive or negative memory related to subjective well-being. Significant correlation between perceived ratio and recalled ratio further supports this proposition. Finally, theoretical implications of the present research and suggestions for future research were discussed.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.363-364
• /
• 2023

현재 많은 사람이 GPT를 통해 다양한 활동 및 연구를 진행하고 있다. 사람들은 GPT를 통해 문장생성 시 문장에 대한 정확도를 중요하게 생각한다. 하지만 용도에 따라 GPT를 통해 생성하는 문장의 문체와 같은 표현방식이 다르다. 그래서 생성된 문장이 유의미한 문장이라는 것에 판단이 매우 주관적이기 때문에 수치적 평가가 어렵다. 본 논문에서는 자연어처리 모델이 생성한 문장의 유의미함을 판단하기 위해 각 모델을 학습하는 데이터 용량과 반복 학습의 횟수에 따른 결과물을 비교하였다. 본 연구에서는 Fine-Tuning을 통해 총 4개의 GPT 모델을 구축하였다. 각 모델로 생성 문장을 BLEU 평가지표를 통해 평가한 결과 본 연구에 BLEU 모델은 부적합하다는 결과를 도출하였다. 이를 해결하기 위해 본 연구에서는 생성된 모델을 평가하고자 설문지를 만들어 평가를 진행하였다. 그 결과 사람에게 긍정적인 평가를 받는 결과를 얻을 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2007.10a
• /
• pp.269-275
• /
• 2007

텔레비전 뉴스에서 부제목을 만들거나, 문장을 PDA나 휴대폰과 같은 작은 화면에 출력하고 싶은 경우, 가능한 방법은 두 가지가 있다. 첫번째는 사람에 의해 직접 만드는 방식이다. 두번째는 자동화된 문장 요약 시스템을 사용하는 방법이다. 따라서 문장 요약 알고리즘은 그 중요성이 계속해서 커지고 있다. 본 논문에서는 구문 트리의 서브 트리가 변화할 수 있는 규칙을 제시하는 방법에 (1)공기 정보와 (2) 문법적으로 올바른 구조를 유지하기 위해 핵심적인 부분(주요 문법 구조) 및 같이 요약되어야 할 절을 표시하는 휴리스틱, (3)주어진 문장이 포함된 글의 제목 정보를 추가로 사용하여 문장 요약을 실행하였다. 본 시스템의 결과와 기존의 요약 방식을 비교하는 실험을 분야 전공자들에 의한 주관적 평가로 수행한 결과, 본 시스템의 알고리즘이 기존에 사용되던 구문서브트리 변환 방법보다 중요한 부분 및 문법적으로 올바른 부분을 많이 유지하는 요약임을 확인하였다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2002.12a
• /
• pp.455-458
• /
• 2002

기존의 점수와 석차로서 학생을 평가하여 발생하는 문제점을 해결하기 위하여 서술식의 성적평가가 도입되고 있다. 그러나, 이 서술식으로 이루어지는 성적 평가는 업무를 증가시키고 또 교사의 주관적인 성적평가로 인해 성적처리의 일관성이 유지되기 어려운 문제점이 있다. 본 논문에서는 교사가 학생의 성적을 효과적으로 평가하기 위하여 퍼지 추론을 이용한 서술식 성적평가 시스템을 제안한다. 사용자(교사)로부터 수행평가요소의 결과와 과목의 최종적인 평가를 퍼지 추론에 적용하여 객관적인 성적평가를 한 후, 추론규칙의 적합도를 이용하여 성적평가 문장을 추출하여 서술식 평가 문장을 생성하도록 한다

• Journal of Internet Computing and Services
• /
• v.16 no.2
• /
• pp.41-48
• /
• 2015

On movie review sites, movie ratings are determined by netizens' subjective judgement. This means that inconsistency between ratings and opinions from netizens often occurs. To solve this problem, this paper proposes sentiment sentence sets which affect movie evaluation, and apply sets to comments to infer ratings. Creation of sentiment sentence sets is consisted of two stages, construction of sentiment word dictionary and creation of sentiment sentences for sentiment estimation. Sentiment word dictionary contains sentimental words and its polarities included in reviews. Elements of sentiment sentences are combined with movie related noun and predicate from words sentiment word dictionary. In this study, to make correspondence between polarity of sentiment sentence and sentiment word dictionary, sentiment sentences which have different polarity with sentiment word dictionary are removed. The scores of comments are calculated by applying averages of sentiment sentences elements. The result of experiment shows that sentence scores from sentiment sentence sets are closer to reflect real opinion of comments than ratings by netizens'.

• Annual Conference on Human and Language Technology
• /
• 2003.10d
• /
• pp.241-245
• /
• 2003

본 논문은 기계번역 시스템의 성능평가를 위한 '핵심어 전달율 측정' 방안에 대해서 기술한다. 기계번역 시스템의 성능평가는 두 가지 측면으로 고려될 수 있다. 첫 번째는 객관적인 평가로 IBM에서 주창한 BLEU score 측정이나 NIST의 NIST score 측정이 그 예이다. 객관적인 평가는 평가자의 주관적인 판단이나 언어적인 특성을 배제한 방법으로 프로그램을 통해 자동으로 fluency와 adequacy를 측정하여 성능을 평가한다. 다음은 주관적인 평가이다. 주관적인 평가는 평가자의 평가를 통해 번역의 품질을 평가하는 방법이다. 주관적 평가 방법의 대표적인 것으로는 NESPOLE이나 LDC가 있다. 주관적인 평가는 평가자의 정확한 판단으로 신뢰할만한 성능평가 결과를 도출하지만, 시간과 비용이 많이 들고, 재사용할 수 없다는 단점이 있다. 본 논문에서는 이러한 문제를 해결하기 위해, 번역대상 문장에서 핵심어를 추출하고, 그 핵심어가 기계번역 시스템의 수행결과에 전달된 정도를 자동으로 측정하는 새로운 평가방법인 '핵심어 전달율 측정' 방안을 제안한다. 이는 성능평가의 비용과 시간을 절약하고, 주관적 평가와 유사한 신뢰성 있는 평가결과를 얻을 수 있는 좋은 지표가 될 수 있을 것으로 기대한다.

• Annual Conference on Human and Language Technology
• /
• 1996.10a
• /
• pp.322-325
• /
• 1996

이 논문은 개념기반의 대화체 언어번역시스템의 번역부의 평가에 대해 기술한 것이다. 대상언어는 한국어와 영어로 한국어를 해석하여 영어로 번역하는 시스템이다. 개념기반 시스템은 개념을 기준으로 입력된 문장을 해석하고 그 개념을 이용하여 번역한다. 개념기반 시스템은 개념에 기반을 두기 때문에 자유로운 간투사의 사용, 빈번한 단어 생략 등의 특성을 가지는 대화체 번역에 유리하다. 시스템의 평가는 입력문에 대한 번역문의 결과가 의미적으로 어느 정도 전달되었는지를 평가자의 주관적인 판단에 의해 평가한다. 현재 개발된 시스템은 여행안내 영역(domain)을 대상으로 하고 있다. 개발된 시스템에 대한 평가는 대화체를 전사한 문장과 음성인식의 결과 두 가지의 입력에 대해 하였다.

• Science of Emotion and Sensibility
• /
• v.13 no.3
• /
• pp.449-458
• /
• 2010

As occasion demands to obtain efficient information from many documents and reviews on the Internet in many kinds of fields, automatic classification of opinion or thought is required. These automatic classification is called sentiment classification, which can be divided into three steps, such as subjective expression classification to extract subjective sentences from documents, sentiment classification to classify whether the polarity of documents is positive or negative, and strength classification to classify whether the documents have weak polarity or strong polarity. The latest studies in Opinion Mining have used N-gram words, lexical phrase pattern, and syntactic phrase pattern, etc. They have not used single word as feature for classification. Especially, patterns have been used frequently as feature because they are more flexible than N-gram words and are also more deterministic than single word. Theses studies are mainly concerned with English, other studies using patterns for Korean are still at an early stage. Although Korean has a slight difference in the meaning between predicates by the change of endings, which is 'Eomi' in Korean, of declinable words, the earlier studies about Korean opinion classification removed endings from predicates only to extract stems. Finally, this study introduces the earlier studies and methods using pattern for English, uses extracted sentimental patterns from Korean documents, and classifies polarities of these documents. In this paper, it also analyses the influence of the change of endings on performances of opinion classification.