• Title/Summary/Keyword: 문장유사성분석

Search Result 69, Processing Time 0.026 seconds

Web-based Requirements Elicitation Supporting System using Requirements Sentences Categorization (요구 사항 문장 범주화를 이용한 웹 기반의 요구 사항 추출 지원 시스템)

  • Ko, Young-Joong;Kang, Ki-Sun;Kim, Jae-Seon;Park, Soo-Yong;Seo, Jung-Yun
    • Journal of KIISE:Software and Applications
    • /
    • v.27 no.4
    • /
    • pp.384-392
    • /
    • 2000
  • As a software becomes more complicated and large-scaled, it is very important for a software engineer to analyze user's requirements precisely and apply them effectively in the development stage. Due to the growth of the internet, the necessity of requirements elicitation and analysis in distributed environments has also become larger. This paper proposes a requirements elicitation supporting system that offer the basis for effectively analyzing requirements collected in distributed environments. The proposed system automatically categorizes collected requirements sentences into selected subject fields by measuring their similarity using a similarity measurement technique. Therefore, it reduces the difficulties in the initial stage of requirements analysis and it supports rapid and correct requirements analysis. This paper verifies the efficiency of the proposed system in similarity measurement techniques through experiments, and presents a process for requirements specifications elicitation using the embodied system

  • PDF

Measuring Sentence Similarity using Morpheme Embedding Model and GRU Encoder for Question and Answering System (질의응답 시스템에서 형태소임베딩 모델과 GRU 인코더를 이용한 문장유사도 측정)

  • Lee, DongKeon;Oh, KyoJoong;Choi, Ho-Jin;Heo, Jeong
    • 한국어정보학회:학술대회논문집
    • /
    • 2016.10a
    • /
    • pp.128-133
    • /
    • 2016
  • 문장유사도 분석은 문서 평가 자동화에 활용될 수 있는 중요한 기술이다. 최근 순환신경망을 이용한 인코더-디코더 언어 모델이 기계학습 분야에서 괄목할만한 성과를 거두고 있다. 본 논문에서는 한국어 형태소임베딩 모델과 GRU(Gated Recurrent Unit)기반의 인코더를 제시하고, 이를 이용하여 언어모델을 한국어 위키피디아 말뭉치로부터 학습하고, 한국어 질의응답 시스템에서 질문에 대한 정답을 유추 할 수 있는 증거문장을 찾을 수 있도록 문장유사도를 측정하는 방법을 제시한다. 본 논문에 제시된 형태소임베딩 모델과 GRU 기반의 인코딩 모델을 이용하여 문장유사도 측정에 있어서, 기존 글자임베딩 방법에 비해 개선된 결과를 얻을 수 있었으며, 질의응답 시스템에서도 유용하게 활용될 수 있음을 알 수 있었다.

  • PDF

Measuring Sentence Similarity using Morpheme Embedding Model and GRU Encoder for Question and Answering System (질의응답 시스템에서 형태소임베딩 모델과 GRU 인코더를 이용한 문장유사도 측정)

  • Lee, DongKeon;Oh, KyoJoong;Choi, Ho-Jin;Heo, Jeong
    • Annual Conference on Human and Language Technology
    • /
    • 2016.10a
    • /
    • pp.128-133
    • /
    • 2016
  • 문장유사도 분석은 문서 평가 자동화에 활용될 수 있는 중요한 기술이다. 최근 순환신경망을 이용한 인코더-디코더 언어 모델이 기계학습 분야에서 괄목할만한 성과를 거두고 있다. 본 논문에서는 한국어 형태 소임베딩 모델과 GRU(Gated Recurrent Unit)기반의 인코더를 제시하고, 이를 이용하여 언어모델을 한국어 위키피디아 말뭉치로부터 학습하고, 한국어 질의응답 시스템에서 질문에 대한 정답을 유추 할 수 있는 증거문장을 찾을 수 있도록 문장유사도를 측정하는 방법을 제시한다. 본 논문에 제시된 형태소임베딩 모델과 GRU 기반의 인코딩 모델을 이용하여 문장유사도 측정에 있어서, 기존 글자임베딩 방법에 비해 개선된 결과를 얻을 수 있었으며, 질의응답 시스템에서도 유용하게 활용될 수 있음을 알 수 있었다.

  • PDF

Comparison and Analysis of Unsupervised Contrastive Learning Approaches for Korean Sentence Representations (한국어 문장 표현을 위한 비지도 대조 학습 방법론의 비교 및 분석)

  • Young Hyun Yoo;Kyumin Lee;Minjin Jeon;Jii Cha;Kangsan Kim;Taeuk Kim
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.360-365
    • /
    • 2022
  • 문장 표현(sentence representation)은 자연어처리 분야 내의 다양한 문제 해결 및 응용 개발에 있어 유용하게 활용될 수 있는 주요한 도구 중 하나이다. 하지만 최근 널리 도입되고 있는 사전 학습 언어 모델(pre-trained language model)로부터 도출한 문장 표현은 이방성(anisotropy)이 뚜렷한 등 그 고유의 특성으로 인해 문장 유사도(Semantic Textual Similarity; STS) 측정과 같은 태스크에서 기대 이하의 성능을 보이는 것으로 알려져 있다. 이러한 문제를 해결하기 위해 대조 학습(contrastive learning)을 사전 학습 언어 모델에 적용하는 연구가 문헌에서 활발히 진행되어 왔으며, 그중에서도 레이블이 없는 데이터를 활용하는 비지도 대조 학습 방법이 주목을 받고 있다. 하지만 대다수의 기존 연구들은 주로 영어 문장 표현 개선에 집중하였으며, 이에 대응되는 한국어 문장 표현에 관한 연구는 상대적으로 부족한 실정이다. 이에 본 논문에서는 대표적인 비지도 대조 학습 방법(ConSERT, SimCSE)을 다양한 한국어 사전 학습 언어 모델(KoBERT, KR-BERT, KLUE-BERT)에 적용하여 문장 유사도 태스크(KorSTS, KLUE-STS)에 대해 평가하였다. 그 결과, 한국어의 경우에도 일반적으로 영어의 경우와 유사한 경향성을 보이는 것을 확인하였으며, 이에 더하여 다음과 같은 새로운 사실을 관측하였다. 첫째, 사용한 비지도 대조 학습 방법 모두에서 KLUE-BERT가 KoBERT, KR-BERT보다 더 안정적이고 나은 성능을 보였다. 둘째, ConSERT에서 소개하는 여러 데이터 증강 방법 중 token shuffling 방법이 전반적으로 높은 성능을 보였다. 셋째, 두 가지 비지도 대조 학습 방법 모두 검증 데이터로 활용한 KLUE-STS 학습 데이터에 대해 성능이 과적합되는 현상을 발견하였다. 결론적으로, 본 연구에서는 한국어 문장 표현 또한 영어의 경우와 마찬가지로 비지도 대조 학습의 적용을 통해 그 성능을 개선할 수 있음을 검증하였으며, 이와 같은 결과가 향후 한국어 문장 표현 연구 발전에 초석이 되기를 기대한다.

  • PDF

Korean Paraphrase Corpus and Building Guidelines for Sentence Similarity Analysis (문장 유사성 분석을 위한 한국어 패러프레이즈 말뭉치 및 구축 가이드라인)

  • Oh, Kyo-Joong;Kim, Hyunmin;Ko, Bowon;Nam, Jehyun;Choi, Ho-Jin
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.527-530
    • /
    • 2019
  • 최근 각 산업분야에서 대화 시스템과 챗봇 기술의 업무로의 도입이 활발해짐에 따라 한국어 패러프레이즈 기술에 대한 관심이 높아지고 있다. 기존에는 연구와 평가 목적으로 규모는 작아도 잘 정제된 평가셋을 만드는 것이 중요했으나, 최근에는 기계학습 기술의 발달로 학습을 위한 일정 수준의 품질을 보장하는 대량의 말뭉치를 빠르게 확보하는 방법이 중요해지고 있다. 본 논문에서는 현재 수행하고 있는 한국어 패러프레이즈 말뭉치 구축 경험과 방법에 대해 소개한다.

  • PDF

Feasibility Test and Design of Korean Translation Memory System (한국어 번역 메모리 시스템의 실현성 분석 및 설계)

  • Ryu, Cheol;Roh, Yoon-Hyung;Lee, Ki-Young;Choi, Sung-Kwon;Park, Sang-Kyu
    • Annual Conference on Human and Language Technology
    • /
    • 2001.10d
    • /
    • pp.281-287
    • /
    • 2001
  • 번역 메모리(Translation Memory) 시스템이란 기존에 번역된 결과를 담고 있는 대용량의 번역 메모리에서 사용자가 제시한 입력문과 가장 유사한 문장을 검색한 후, 유사도 순으로 결과를 제시하여 이후의 번역 작업을 보다 효율적으로 할 수 있도록 도와주는 시스템을 말한다. 이는 기계 번역 시스템과 비교해 볼때, 보다 실현 가능성이 높은 자연어 처리의 응용 분야라고 할 수 있다. 일반적으로 번역 메모리 시스템에서 핵심이 되는 요소는 번역메모리의 구성과 유사성 척도에 대한 정의라고 할 수 있다. 국외의 경우, 이미 많은 상용 시스템들이 개발되어 번역 작업의 시간 및 비용을 줄이는데 많은 도움을 주고 있지만, 국내의 경우 한국어 번역 메모리의 구성 및 한국어 문장간 유사성 척도 등에 대한 연구가 미흡한 실정이다. 따라서 본 논문에서는 한국어를 대상으로 번역 메모리의 효율적인 구성 방법 및 문장간 유사성 척도에 대한 정의를 내리며, 한국어를 대상으로한 번역 메모리 시스템에 대한 실현 가능성을 논한다.

  • PDF

A Study on Tools for Text Similarity Evaluation (문서 유사도 분석 도구에 관한 연구)

  • Kang, Hong-Bi;Kim, Hee-Jin;Kim, Han-Sung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.11a
    • /
    • pp.411-414
    • /
    • 2017
  • 본 시스템은 LSA 또는 벡터공간 모델 방식을 이용하여, 문장 대 문장, 문서 대 문장, 다중 문서 간유사도 분석을 수행한다. 이는 문서의 특수문자를 제거한 뒤, 형태소 분석을 기반으로 단어를 추출하여 TF-IDF 가중치를 추출한뒤 행렬 계산을 통하여 Cosine 계산식을 사용하여 유사성을 검출하는 단계로 구성된다. 제시된 기법은 2개의 오픈소스를 이용하며, x86 기반 64bit Windows에서 개발되었으며, 60% 이상의 정확도를 나타낸다.

A Korean Conjunctive Structure Analysis based on Sentence Segmentation (구간분할 기반 한국어 대등접속 구문분석 기법)

  • Jang, Jae-Chul;Park, Eui-Kyu;Ra, Dong-Yul
    • Annual Conference on Human and Language Technology
    • /
    • 2002.10e
    • /
    • pp.139-146
    • /
    • 2002
  • 본 논문에서는 한국어의 대등접속의 구문분석 문제를 다룬다. 이를 전체 문장의 구문분석 기법에 기반하도록 하여, 문장 전체에 대한 분석 결과를 가장 좋게 하는 대등접속 구조가 선정되도록 하였다. 본 기법의 특징으로는 구간 분할 기법에 기반하여 대등접속 구조 후보의 수의 감소가 가능하게 되기 때문에 구문분석의 안정화를 얻게 되었다. 또한 전체 구문분석기에서 한 부품으로 동작함으로써 전체 문장 구조가 올바른 대등구조를 선택할 수 있게 되어, 보다 전역적인 정보의 이용에 의한 분석이 되었다. 선접속부와 후접속부 간의 구조 및 어휘적 유사성, 평행연결의 이용 등은 본 기법의 또 다른 특징으로 볼 수 있다. 실험결과 정상적인 문장의 대등접속에 대한 분석에서 매우 효과적으로 동작함을 관찰하였다.

  • PDF

The Web Based Grading System of Subjective Test in Chinese Writing Using Natural Language Processing (자연어 처리 과정을 이용한 웹기반 한문 주관식 채점 시스템)

  • Bae, Hwa-Sik;Jung, Soon-Ho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.11a
    • /
    • pp.813-816
    • /
    • 2005
  • 본 논문에서는 한문 문장의 기본구조를 자연어 처리과정을 이용하여 채점하는 시스템을 구현하고자 하였다. 기존의 주관식 채점시스템은 단답형이 대부분이며, 서술형은 문장에서 키워드를 추출하여 유사도를 비교한 후 채점하는 방식으로 키워드 추출 시 명사류만 대상으로 하여 다른 품사들은 누락되며, 또한 문장의 구조를 간과하는 문제점이 있다. 본 시스템은 자연어 처리과정을 이용한 것으로 어휘분석과 구문분석을 통해 문장구조를 확인하고, 문장성분별로 해당 단어를 정확하게 사용하였는가를 검사하여 채점함으로써 기존의 문제점을 개선한다.

  • PDF

An Analysis of Similarities that Students Construct in the Process of Problem Solving (중학생들이 수학 문장제 해결 과정에서 구성하는 유사성 분석)

  • Park Hyun-Jeong;Lee Chong-Hee
    • Journal of Educational Research in Mathematics
    • /
    • v.16 no.2
    • /
    • pp.115-138
    • /
    • 2006
  • The purpose of this paper is to investigate students' constructing similarities in the understanding the problem phase and the devising a plan phase of problem solving. the relation between similarities that students construct and how students construct similarities is researched through case study. Based on the results from the research, authors reached a conclusion as following. All of two students constructed surface similarities in the beginning of the problem solving process and responded to the context of the problem information sensitively. Specially student who constructed the similarities and the difference in terms of a specific dimension by using diagram for herself could translate the equation which used to solve the base problem or the experienced problem into the equation of the target problem solution. However student who understood globally the target problem being based on the surface similarity could not translate the equation that she used to solve the base problem into the equation of target problem solution.

  • PDF