• Title/Summary/Keyword: 전체 문장 분석

Search Result 140, Processing Time 0.02 seconds

A Korean Conjunctive Structure Analysis based on Sentence Segmentation (구간분할 기반 한국어 대등접속 구문분석 기법)

  • Jang, Jae-Chul;Park, Eui-Kyu;Ra, Dong-Yul
    • Annual Conference on Human and Language Technology
    • /
    • 2002.10e
    • /
    • pp.139-146
    • /
    • 2002
  • 본 논문에서는 한국어의 대등접속의 구문분석 문제를 다룬다. 이를 전체 문장의 구문분석 기법에 기반하도록 하여, 문장 전체에 대한 분석 결과를 가장 좋게 하는 대등접속 구조가 선정되도록 하였다. 본 기법의 특징으로는 구간 분할 기법에 기반하여 대등접속 구조 후보의 수의 감소가 가능하게 되기 때문에 구문분석의 안정화를 얻게 되었다. 또한 전체 구문분석기에서 한 부품으로 동작함으로써 전체 문장 구조가 올바른 대등구조를 선택할 수 있게 되어, 보다 전역적인 정보의 이용에 의한 분석이 되었다. 선접속부와 후접속부 간의 구조 및 어휘적 유사성, 평행연결의 이용 등은 본 기법의 또 다른 특징으로 볼 수 있다. 실험결과 정상적인 문장의 대등접속에 대한 분석에서 매우 효과적으로 동작함을 관찰하였다.

  • PDF

A Method of Korean Parsing Based on Sentence Segmentation (구간 분할 기반 한국어 구문분석)

  • Kim, Kwang-Baek;Park, Eui-Kyu;Ra, Dong-Yul;Yoon, Joon-Tae
    • Annual Conference on Human and Language Technology
    • /
    • 2002.10e
    • /
    • pp.163-168
    • /
    • 2002
  • 오늘날 자연어 구문 분석 기술은 만족할 만한 수준에 도달하지 못하고 있고 한국어 구문분석 기술 역시 만족할만한 수준과는 거리가 멀다. 특히 문장의 길이가 긴 문장의 경우 구문분석기가 너무 많은 계산 량으로 인해 제대로 동작하지 못하는 경우가 빈번히 발생하고, 비록 구문구조 결과를 내더라도 정확도가 낮은 경우가 많다. 그 이유는 문장의 길이가 길어질수록 중의성이 매우 증가하여 많은 수의 구문분석 결과가 가능하기 때문이다. 이 중에서 정확한 구문구조를 선택하는 문제는 매우 어려워서 기존의 긴 전체 문장에 대한 구문구조를 한번에 계산하려는 시도는 앞으로도 계속 좋은 결과를 기대하기 어렵다. 따라서 우리는 문장의 길이에 상관없이 항상 안정적으로 결과를 내며, 구문분석에 소요되는 시간이 비교적 짧고, 정확도 역시 높은 구문분석기를 개발하고자 한다. 이를 위하여 전체 문장을 여러 개의 구간으로 분할하여 각 구간을 독립적으로 구문 분석한다. 그 다음 각 구간의 결과를 통합하여 전체 문장에 대한 결과를 생성하는 기법을 택하였다.

  • PDF

A Korean Grammar Checker based on the Trees Resulted from a Full Parser (전체 문장 분석에 기반한 한국어 문법 검사기)

  • 이공주;황선영;김지은
    • Journal of KIISE:Software and Applications
    • /
    • v.30 no.10
    • /
    • pp.992-999
    • /
    • 2003
  • The purpose of a grammar checker is to find a grammatical erroneous expression in a sentence, and to provide appropriate suggestions for them. To find those errors, grammar checker should parse the whole input sentence, which is a highly time-consuming job. B7or this reason, most Korean grammar checkers adopt a partial parser that can analyze a fragment of a sentence without an ambiguity. This paper presents a Korean grammar checker using a full parser in order to find grammatical errors. This approach allows the grammar checker to critique the errors between the two words in a long distance relationship within a sentence. As a result, this approach improves the accuracy in correcting errors, but it nay come at the expense of decrease in its performance. The Korean grammar checker described in this paper is implemented with 65 rules for checking and correcting the grammatical errors. The grammar checker shows 96.49% in checking accuracy against the test corpus including 7 million words.

Combining Sentimental Expression-level and Sentence-level Classifiers to Improve Subjective Sentence Classification (감정 표현구 단위 분류기와 문장 단위 분류기의 결합을 통한 주관적 문장 분류의 성능 향상)

  • Kang, In-Ho
    • The KIPS Transactions:PartB
    • /
    • v.14B no.7
    • /
    • pp.559-566
    • /
    • 2007
  • Subjective sentences express opinions, emotions, evaluations and other subjective ideas relevant to products or events. These expressions sometimes can be seen in only part of a sentence, thus extracting features from a full-sentence can degrade the performance of subjective-sentence-classification. This paper presents a method for improving the performance of a subjectivity classifier by combining two classifiers generated from the different representations of an input sentence. One representation is a sentimental phrase that represents an automatically identified subjective expression or objective expression and the other representation is a full-sentence. Each representation is used to extract modified n-grams that are composed of a word and its contextual words' polarity information. The best performance, 79.7% accuracy, 2.5% improvement, was obtained when the phrase-level classifier and the sentence-level classifier were merged.

Text Summarisation with Rhetorical Structure (수사구조를 이용한 텍스트 자동요약)

  • Lee, Yu-Ri;Choi, Key-Sun
    • Annual Conference on Human and Language Technology
    • /
    • 1999.10e
    • /
    • pp.97-102
    • /
    • 1999
  • 텍스트 요약이란 중요정보만을 추출하여 본래 텍스트의 의미를 전달하는 축약 과정이다. 인터넷을 통한 온라인 정보가 급증함에 따라 정보에 대한 처리와 신속한 내용 파악을 위한 효율적인 자동 텍스트 방법이 필요하다. 기존의 통계적 방법으로는 전체 텍스트의 구조적인 특징을 고려할 수가 없기 때문에, 생성된 요약문의 의미적 흐름이 부자연스럽고, 문장간 응집도가 떨어지게 된다. 수사학적 방법은 요약문을 생성하기 위해서 문장간의 접속관계를 이용한다. 수사 구조란 텍스트를 이루는 문장들간의 논리적인 결합관계로, 수사학적 방법은 이러한 결합관계를 파악하여 요약문을 생성하는 방법이다. 본 논문에서는 표지들이 나타내는 접속 관계정보를 사용하여, 텍스트의 수사구조를 분석한 후 요약문을 생성하는 시스템을 구현한다. 수사구조 파싱 과정은 문장간의 수사구조 파싱과 문단간의 수사구조 파싱, 두 단계로 이루어진다. 파싱은 차트파싱 방법을 사용하여 상향식으로 진행된다. 입력된 문장들로부터 두 단계 파싱에 의해 전체 텍스트의 수사구조 트리를 생성하며, 생성된 트리에서 가중치를 계산하여 중요 문장들을 요약문으로 추출한다.

  • PDF

A Korean Grammar Checker using Lexical Disambiguation Rule and Partial Parsing (어휘적 중의성 제거 규칙과 부분 문장 분석을 이용한 한국어 문법 검사기)

  • So, Gil-Ja;Gwon, Hyeok-Cheol
    • Journal of KIISE:Software and Applications
    • /
    • v.28 no.3
    • /
    • pp.305-315
    • /
    • 2001
  • 본 논문에서는 우리말 문서에 있는 오류를 어절 단위로 검증하는 철자 오류와 여러 어절을 분석해야 처리할 수 있는 문법 오류로 분류하였다. 문법 오류를 처리할 때 전체 문장 분석은 시간이 많이 소요되고 구현하기 어려우므로 대부분 부분 문장 분석 방법을 이용한다. 기존 연구에서 사용한 부분 문장 분석은 분석 어절에 어휘 중의성이 있을 때 문장 분석 종결 또는 과분석 등의 오류가 발생한다. 본 논문에서는 문법 검사기에서 어휘 중의성 때문에 발생하는 문제점을 해결하는 방법으로 어휘 중의성 제거 규칙을 사용한다. 본 논문에서 구현한 어휘 중의성 제거 모듈은 코퍼스 데이타에서 얻은 경험적 규칙을 기반으로 한다. 이 경험적 규칙은 언어적 지식을 기반으로 한다.

  • PDF

Movie Revies Sentiment Analysis Considering the Order in which Sentiment Words Appear (감성 단어 등장 순서를 고려한 영화 리뷰 감성 분석)

  • Kim, Hong-Jin;Kim, Dam-Rin;Kim, Bo-Eun;Oh, Shin-Hyeok;Kim, Hark-Soo
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.313-316
    • /
    • 2020
  • 감성 분석은 문장의 감성을 분석해 긍정 또는 부정으로 분류하는 작업을 의미한다. 문장에 담긴 감성을 파악해야 하기 때문에 문장 전체를 이해하는 것이 중요하다. 그러나 한 문장에 긍정과 부정의 이중 극성이 동존하는 문장은 감성 분석에 혼동이 생길 수 있다. 본 논문에서는 이와 같은 문제를 해결하기 위해 단어의 감성 점수 예측을 통해 감성 단어 등장 순서를 고려한 감성 분석 모델을 제안한다. 또한 최근 다양한 자연어 처리 분야에서 좋은 성능을 보이는 사전 학습 언어 모델을 활용한다. 실험 결과 감성 분석 정확도 90.81%로 기존 모델들에 비해 가장 좋은 성능을 보였다.

  • PDF

Document Summarization Using Mutual Recommendation with LSA and Sense Analysis (LSA를 이용한 문장 상호 추천과 문장 성향 분석을 통한 문서 요약)

  • Lee, Dong-Wook;Baek, Seo-Hyeon;Park, Min-Ji;Park, Jin-Hee;Jung, Hye-Wuk;Lee, Jee-Hyong
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.22 no.5
    • /
    • pp.656-662
    • /
    • 2012
  • In this paper, we describe a new summarizing method based on a graph-based and a sense-based analysis. In the graph-based analysis, we convert sentences in a document into word vectors and calculate the similarity between each sentence using LSA. We reflect this similarity of sentences and the rarity scores of words in sentences to define weights of edges in the graph. Meanwhile, in the sense-based analysis, in order to determine the sense of words, subjectivity or objectivity, we built a database which is extended from the golden standards using Wordnet. We calculate the subjectivity of sentences from the sense of words, and select more subjective sentences. Lastly, we combine the results of these two methods. We evaluate the performance of the proposed method using classification games, which are usually used to measure the performances of summarization methods. We compare our method with the MS-Word auto-summarization, and verify the effectiveness of ours.

Methodology of Developing Train Set for BERT's Sentence Similarity Classification with Lexical Mismatch (어휘 유사 문장 판별을 위한 BERT모델의 학습자료 구축)

  • Jeong, Jaehwan;Kim, Dongjun;Lee, Woochul;Lee, Yeonsoo
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.265-271
    • /
    • 2019
  • 본 논문은 어휘가 비슷한 문장들을 효과적으로 분류하는 BERT 기반 유사 문장 분류기의 학습 자료 구성 방법을 제안한다. 기존의 유사 문장 분류기는 문장의 의미와 상관 없이 각 문장에서 출현한 어휘의 유사도를 기준으로 분류하였다. 이는 학습 자료 내의 유사 문장 쌍들이 유사하지 않은 문장 쌍들보다 어휘 유사도가 높기 때문이다. 따라서, 본 논문은 어휘 유사도가 높은 유사 의미 문장 쌍들과 어휘 유사도가 높지 않은 의미 문장 쌍들을 학습 자료에 추가하여 BERT 유사 문장 분류기를 학습하여 전체 분류 성능을 크게 향상시켰다. 이는 문장의 의미를 결정짓는 단어들과 그렇지 않은 단어들을 유사 문장 분류기가 학습하였기 때문이다. 제안하는 학습 데이터 구축 방법을 기반으로 학습된 BERT 유사 문장 분류기들의 학습된 self-attention weight들을 비교 분석하여 BERT 내부에서 어떤 변화가 발생하였는지 확인하였다.

  • PDF

An Analysis on Sentence Structures and Interpretation Errors in Word Problems in Mathematics -Focussing on the 2nd grade elementary students- (수학 문장제의 문장 구조와 해석상의 오류 분석 -초등학교 2학년을 중심으로-)

  • Lee, Byeong-Ok;Ahn, Byeong-Gon
    • Journal of Elementary Mathematics Education in Korea
    • /
    • v.12 no.2
    • /
    • pp.185-204
    • /
    • 2008
  • The purposes of this study are to analyze sentence structures of word problems suggested in educational math programs for the 2nd grade elementary students and error patterns in sentence interpretation, and examine how sentence structures influence on errors during sentence comprehension. Based on the results of the analysis on 168 word problems suggested in math textbooks for the 2nd grade elementary students and error patterns observed while 160 the 2nd grade elementary students attempted to solve math word problems, easy and simple vocabularies are repeatedly used in the sentence structures of word problems and specific real life materials such as fruits, books, the number of people and etc. were repeatedly used. 51.56% of errors in sentence interpretation observed was higher than 39.20% of calculation errors and backtracking operation, a length of sentences, the numbers used in questions and off were analyzed to be involved in the errors in interpretation. Therefore, it is very important to make word problems from a student's points of view rather than a teacher's point of view and the study suggests that teachers help students learn basic sentence interpretation skills.

  • PDF