• 제목/요약/키워드: 비교 문장

검색결과 658건 처리시간 0.075초

문서 임베딩을 이용한 소셜 미디어 문장의 개체 연결 (Document Embedding for Entity Linking in Social Media)

  • 박영민;정소윤;이정엄;신동수;김선아;서정연
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.194-196
    • /
    • 2017
  • 기존의 단어 기반 접근법을 이용한 개체 연결은 단어의 변형, 신조어 등이 빈번하게 나타나는 비정형 문장에 대해서는 좋은 성능을 기대하기 어렵다. 본 논문에서는 문서 임베딩과 선형 변환을 이용하여 단어 기반 접근법의 단점을 해소하는 개체 연결을 제안한다. 문서 임베딩은 하나의 문서 전체를 벡터 공간에 표현하여 문서 간 의미적 유사도를 계산할 수 있다. 본 논문에서는 또한 비교적 정형 문장인 위키백과 문장과 비정형 문장인 소셜 미디어 문장 사이에 선형 변환을 수행하여 두 문형 사이의 표현 격차를 해소하였다. 제안하는 개체 연결 방법은 대표적인 소셜 미디어인 트위터 환경 문장에서 단어 기반 접근법과 비교하여 높은 성능 향상을 보였다.

  • PDF

어휘 유사 문장 판별을 위한 BERT모델의 학습자료 구축 (Methodology of Developing Train Set for BERT's Sentence Similarity Classification with Lexical Mismatch)

  • 정재환;김동준;이우철;이연수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.265-271
    • /
    • 2019
  • 본 논문은 어휘가 비슷한 문장들을 효과적으로 분류하는 BERT 기반 유사 문장 분류기의 학습 자료 구성 방법을 제안한다. 기존의 유사 문장 분류기는 문장의 의미와 상관 없이 각 문장에서 출현한 어휘의 유사도를 기준으로 분류하였다. 이는 학습 자료 내의 유사 문장 쌍들이 유사하지 않은 문장 쌍들보다 어휘 유사도가 높기 때문이다. 따라서, 본 논문은 어휘 유사도가 높은 유사 의미 문장 쌍들과 어휘 유사도가 높지 않은 의미 문장 쌍들을 학습 자료에 추가하여 BERT 유사 문장 분류기를 학습하여 전체 분류 성능을 크게 향상시켰다. 이는 문장의 의미를 결정짓는 단어들과 그렇지 않은 단어들을 유사 문장 분류기가 학습하였기 때문이다. 제안하는 학습 데이터 구축 방법을 기반으로 학습된 BERT 유사 문장 분류기들의 학습된 self-attention weight들을 비교 분석하여 BERT 내부에서 어떤 변화가 발생하였는지 확인하였다.

  • PDF

단문형의 영작문 자동 채점 시스템 구축 (Building an Automated Scoring System for a Single English Sentences)

  • 김지은;이공주;진경애
    • 정보처리학회논문지B
    • /
    • 제14B권3호
    • /
    • pp.223-230
    • /
    • 2007
  • 영어 작문 자동 채점 시스템은 수험자가 작성한 영작문을 사람의 개입 없이 시스템이 처리하여 점수나 피드백을 줄 수 있는 시스템이다. 본 연구에서는 영작문 중 여러 문장이나 단락으로 구성된 에세이가 아닌 단문형의 영작문을 채점하는 시스템을 개발하였다. 단일 문장을 채점하기 때문에 정답 문장과 좀 더 자세한 비교를 할 수 있고 수험자들에게 좀 더 상세한 피드백을 제공해 줄 수 있다. 단일 문장을 채점하기 위해서는 크게 두 단계의 처리가 요구된다. 첫 번째 단계는 문장내의 오류를 탐지하는 과정으로, 수험자의 영작문을 분석하여 문장 내에 포함되어 있을 수 있는 철자 및 구문 오류를 검사한다. 둘째 단계는 문장 간 오류를 탐지하는 과정으로 문제 출제자가 제공한 정답문장과 수험자의 영작문을 비교하여 두 문장 사이의 차이를 오류로 인식한다. 실제로 중학교 3학년 학생들을 대상으로 영작문 시험을 수행하였고, 이를 본 연구에서 개발한 영작문 자동 채점 시스템을 이용하여 채점해 보았다 인간 채점자와의 비교를 통해서 영작문 자동 채점 시스템의 효용성을 살펴보았다.

재난안전 사회관심 분석을 위한 언어모델 활용 정보 네트워크 구축 (A Language Model based Knowledge Network for Analyzing Disaster Safety related Social Interest)

  • 최동진;한소희;김경준;배은솔
    • 한국재난정보학회:학술대회논문집
    • /
    • 한국재난정보학회 2022년 정기학술대회 논문집
    • /
    • pp.145-147
    • /
    • 2022
  • 본 논문은 대규모 텍스트 데이터에서 이슈를 발굴할 때 사용되는 기존의 정보 네트워크 또는 지식 그래프 구축 방법의 한계점을 지적하고, 문장 단위로 정보 네트워크를 구축하는 새로운 방법에 대해서 제안한다. 먼저 문장을 구성하는 단어와 캐릭터수의 분포를 측정하며 의성어와 같은 노이즈를 제거하기 위한 역치값을 설정하였다. 다음으로 BERT 기반 언어모델을 이용하여 모든 문장을 벡터화하고, 코사인 유사도를 이용하여 두 문장벡터에 대한 유사성을 측정하였다. 오분류된 유사도 결과를 최소화하기 위하여 명사형 단어의 의미적 연관성을 비교하는 알고리즘을 개발하였다. 제안된 유사문장 비교 알고리즘의 결과를 검토해 보면, 두 문장은 서술되는 형태가 다르지만 동일한 주제와 내용을 다루고 있는 것을 확인할 수 있었다. 본 논문에서 제안하는 방법은 단어 단위 지식 그래프 해석의 어려움을 극복할 수 있는 새로운 방법이다. 향후 이슈 및 트랜드 분석과 같은 미래연구 분야에 적용하면, 데이터 기반으로 특정 주제에 대한 사회적 관심을 수렴하고, 수요를 반영한 정책적 제언을 도출하는데 기여할 수 있을 것이다

  • PDF

초등 수학 교과서의 수학 용어 정의 및 문장제에 사용된 표현의 문장 복잡성 비교 분석 (A Comparative Analysis of the Word Depth Appearing in Representations Used in the Definitions of Mathematical Terms and Word Problem in Elementary School Mathematics Textbook)

  • 강윤지;백석윤
    • 한국초등수학교육학회지
    • /
    • 제24권2호
    • /
    • pp.231-257
    • /
    • 2020
  • 본 연구는 현행 초등 수학 교과서 내 주요 용어의 정의 및 단원평가의 문장제에 사용된 표현을 구문론적 관점에서 문장 복잡성(Yngve, 1960)에 따라 비교분석하였다. 분석 결과, 교과서 내 용어의 정의와 문장제에 사용된 표현에서 저학년 교과서의 문장 복잡성이 낮게 구성되었고, 각 용어의 개별 특성에 따라 문장 구조 및 형태가 서로 다르게 나타나며, 전반적으로 간결하며 문장 복잡성이 낮게 해당 용어의 정의 및 문장제가 서술되었고 용어 정의의 문장이 문장제의 문장보다 복잡하게 구성되었음을 알 수 있었다. 초등학생이 복잡한 문장으로 인하여 수학적 개념 학습의 어려움을 겪지 않도록 교과서 내 문장을 명확하게 서술하고, 적절한 시각적 자료를 함께 제시하며, 개별 학습자의 문해 수준에 알맞은 설명을 보다 섬세하게 고려하여 제공하는 등의 노력이 필요하다.

문장 정보량 기반 문서 추출 요약의 효과성 제고 (Improving the effectiveness of document extraction summary based on the amount of sentence information)

  • 김은희;임명진;신주현
    • 스마트미디어저널
    • /
    • 제11권3호
    • /
    • pp.31-38
    • /
    • 2022
  • 문서 추출 요약 연구에서는 문장 간 관계를 기반으로 중요한 문장을 선택하는 다양한 방법들이 제안되었다. 문장의 도합유사도를 이용한 한국어 문서 요약에서는 문장의 도합유사도를 문장 정보량으로 보고, 이를 기준으로 중요한 문장을 선택하여 요약문을 추출하였다. 그러나 이는 각 문장이 전체 문서에 기여하는 다양한 중요도를 고려하지 못한다는 문제가 있다. 이에 본 연구에서는 문장의 정량적 정보량과 의미적 정보량을 기반으로 중요한 문장을 선택하여 요약문을 제공하는 문서 추출 요약 방법을 제안한다. 실험 결과, 추출 문장 일치도는 58.56%, ROUGE 점수가 34로 비교 연구보다 우수한 성능을 보였으며, 딥러닝 기반 방법과 비교해 추출 방법은 가볍지만 성능은 유사하였다. 이를 통해 문장 간 의미적 유사성을 기반으로 정보를 압축해 나가는 방식이 문서 추출 요약에서 중요한 접근 방법임을 확인하였다. 또한 빠르게 추출된 요약문을 기반으로 문서 생성요약단계를 효과적으로 수행할 수 있으리라 기대한다.

군(軍) 보고서 등장 문장과 관련 법령 간 비교 시스템 구축 방안 연구 (A Study on the Establishment of Comparison System between the Statement of Military Reports and Related Laws)

  • 정지인;김민태;김우주
    • 지능정보연구
    • /
    • 제26권3호
    • /
    • pp.109-125
    • /
    • 2020
  • 군(軍)에서 방위력개선사업(이하 방위사업)은 매우 투명하고 효율적으로 이루어져야 함에도, 방위사업 관련 법 및 규정의 과도한 다양화로 많은 실무자들이 원활한 방위사업 추진에 어려움을 겪고 있다. 한편, 방위사업 관련 실무자들이 각종 문서에서 다루는 법령 문장은 문장 내에서 표현 하나만 잘못되더라도 심각한 문제를 유발하는 특징을 가지고 있으나, 이를 실시간으로 바로잡기 위한 문장 비교 시스템 구축에 대한 노력은 미미했다. 따라서 본 논문에서는 Siamese Network 기반의 자연어 처리(NLP) 분야 인공 신경망 모델을 이용하여 군(軍)의 방위사업 관련 문서에서 등장할 가능성이 높은 문장과 이와 관련된 법령 조항의 유사도를 비교하여 위법 위험 여부를 판단·분류하고, 그 결과를 사용자에게 인지시켜 주는 '군(軍) 보고서 등장 문장과 관련 법령 간 비교 시스템' 구축 방안을 제안하려고 한다. 직접 제작한 데이터 셋인 모(母)문장(실제 법령에 등장하는 문장)과 자(子)문장(모(母)문장에서 파생시킨 변형 문장) 3,442쌍을 사용하여 다양한 인공 신경망 모델(Bi-LSTM, Self-Attention, D_Bi-LSTM)을 학습시켰으며 1 : 1 문장 유사도 비교 실험을 통해 성능 평가를 수행한 결과, 상당히 높은 정확도로 자(子)문장의 모(母)문장 대비 위법 위험 여부를 분류할 수 있었다. 또한, 모델 학습에 사용한 자(子)문장 데이터는 법령 문장을 일정 규칙에 따라 변형한 형태이기 때문에 모(母)·자(子)문장 데이터만으로 학습시킨 모델이 실제 군(軍) 보고서에 등장하는 문장을 효과적으로 분류한다고 판단하기에는 제한된다는 단점을 보완하기 위해, 실제 군(軍) 보고서에 등장하는 형태에 보다 더 가깝고 모(母)문장과 연관된 새로운 문장 120문장을 추가로 작성하여 모델의 성능을 평가해본 결과, 모(母)·자(子)문장 데이터만으로 학습시킨 모델로도 일정 수준 이상의 성능을 확인 할 수 있었다. 결과적으로 본 연구를 통해 방위사업 관련 군(軍) 보고서에서 등장하는 여러 특정 문장들이 각각 어느 관련 법령의 어느 조항과 가장 유사한지 살펴보고, 해당 조항과의 유사도 비교를 통해 위법 위험 여부를 판단하는 '실시간 군(軍) 문서와 관련 법령 간 자동화 비교 시스템'의 구축 가능성을 확인할 수 있었다.

2015 개정 초등과학 교과서의 이독성 분석을 통한 어휘 및 문장 수준에 관한 연구 (A Study on Vocabulary and Sentence Level through Readability Analysis of 2015 Revised Elementary Science Textbook)

  • 윤공민;홍영식
    • 과학교육연구지
    • /
    • 제45권3호
    • /
    • pp.317-325
    • /
    • 2021
  • 본 연구는 2015 개정 초등과학 교과서의 이독성을 분석하여 어휘 및 문장의 수준을 확인하고, 추후 교과서를 집필하는 과정에서 학년별로 적절한 수준의 이독성을 갖는 어휘와 문장을 사용할 수 있는 계기를 마련하는 데 목적이 있다. 이를 위해 2015 개정 초등과학 교과서의 이독성을 측정하고, 과학 용어를 정의하는 문장 및 이해를 돕는 문장의 이독성을 어휘와 문장 수준에서 분석한 후, 학년별 수준 분석과 함께 이전 교과서의 이독성과 비교하였다. 연구 대상의 선정은 연구자를 포함한 교직 경력 10년 이상의 교사 3인의 협의를 거쳐 실시하였다. 분석 결과는 다음과 같다. 첫째, 어휘의 등급 평균은 1.5~2.1 수준으로 초등학생 수준에 적합한 어휘가 사용되고 있었으나 4학년의 경우 4~5등급 어휘가 비교적 높은 비율로 분포되어 있었다. 2015 개정 과학 교과서 3, 6학년 용어 정의 부분의 이독성은 이전 교육과정 과학 교과서의 어휘 이독성보다 낮았지만, 타 교과와는 비슷하거나 낮은 수준을 유지하고 있었다. 둘째, 3, 5학년의 문장 수준은 4, 6학년과 달리 문장 길이가 비교적 길고 단문의 비율이 낮아 문장 수준 이독성이 낮았다. 특히 2015 개정 교육과정 3학년 교과서의 용어 정의 부분의 평균 어휘 수와 단문 비율은 매우 낮은 문장 수준 이독성을 보이고 있어 개선이 필요하다. 셋째, 타 교육과정 교과서의 이독성과 비교할 때, 어휘 수준의 이독성은 적절하지만 3학년 과학 교과서의 경우 문장 당 어휘 수와 복문의 비율이 높아 이독성이 낮았다. 또한 쉬운 어휘의 사용과 함께 문장의 길이를 짧게 하여 이독성을 높이기 위한 노력은 계속되어야 할 것이다.

입력 문장 Noising과 Attention 기반 비교사 한국어 문체 변환 (Attention-based Unsupervised Style Transfer by Noising Input Sentences)

  • 노형종;이연수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.434-439
    • /
    • 2018
  • 문체 변환 시스템을 학습하는 데 있어서 가장 큰 어려움 중 하나는 병렬 말뭉치가 부족하다는 것이다. 최근 대량의 비병렬 말뭉치만으로 문체 변환 문제를 해결하려는 많은 연구들이 발표되었지만, 아직까지도 원 문장의 정보 보존(Content preservation)과 문체 변환(Style transfer) 모두를 이루는 것이 쉽지 않은 상태이다. 특히 비교사 학습의 특성상 문체 변환과 동시에 정보를 보존하는 것이 매우 어렵다. Attention 기반의 Seq2seq 네트워크를 이용할 경우에는 과도하게 원문의 정보가 보존되어 문체 변환 능력이 떨어지기도 한다. 그리고 OOV(Out-Of-Vocabulary) 문제 또한 존재한다. 본 논문에서는 Attention 기반의 Seq2seq 네트워크를 이용하여 어절 단위의 정보 보존력을 최대한 높이면서도, 입력 문장에 효과적으로 Noise를 넣어 문체 변환 성능을 저해하는 과도한 정보 보존 현상을 막고 문체의 특성을 나타내는 어절들이 잘 변환되도록 할 뿐 아니라 OOV 문제도 줄일 수 있는 방법을 제안한다. 우리는 비교 실험을 통해 본 논문에서 제안한 방법들이 한국어 문장뿐 아니라 영어 문장에 대해서도 state-of-the-art 시스템들에 비해 향상된 성능을 보여준다는 사실을 확인하였다.

  • PDF

말운동 연습과 언어적 복잡성이 말더듬 성인의 조음속도에 미치는 영향 (Effects of speech motor practice and linguistic complexity on articulation rate in adults who stutter)

  • 전희정
    • 말소리와 음성과학
    • /
    • 제13권3호
    • /
    • pp.91-101
    • /
    • 2021
  • 본 연구는 조음속도를 사용하여 말더듬 성인과 일반 성인의 말운동 특성과 운동기술 학습 능력을 비교하고, 언어적 복잡성이 조음속도에 영향을 미치는지 살펴보았다. 연구 참여자는 말더듬 성인 11명, 일반 성인 11명이었다. 각 참여자는 길이와 구문적 복잡성이 다른 4개의 문장(짧고 단순한 문장, 길고 단순한 문장, 길고 복잡한 문장, 길고 구문적 오류가 있는 문장)을 반복해서 산출하였으며, 문장별로 전체 조음속도 및 문장산출 순서에 따른 조음속도를 측정하였다. 연구 결과, 언어적 복잡성과 상관없이 말더듬 성인은 일반 성인보다 전체 조음속도가 유의하게 느린 것으로 나타났다. 또한 긴 문장들이 짧고 단순한 문장보다 조음속도가 유의하게 느린 것으로 나타났다. 문장산출 순서에 따른 조음속도 비교 결과, 두 집단은 모든 문장에서 중간 4개 문장과 마지막 3개 문장의 조음속도가 첫 3개 문장의 조음속도보다 유의하게 빠른 모습을 보였다. 길고 구문적 오류가 있는 문장은 중간 4개 문장의 조음속도보다 마지막 3개 문장의 조음속도가 유의하게 빨라 지속적인 연습효과를 보인 반면, 다른 세 개의 문장들은 중간 4개 문장의 조음속도와 마지막 3개 문장의 조음속도에 차이가 없는 것으로 나타났다. 본 연구를 통하여 말더듬 성인이 일반 성인보다 상대적으로 미숙한 말운동통제 능력을 보이는 것을 알 수 있었으며, 문장의 길이와 구문적 복잡성이 조음속도에 영향을 미치는 요인임을 확인하였다. 또한 말더듬 성인과 일반 성인은 문장을 반복적으로 산출하며 조음속도가 빨라지는 연습효과를 보였으며, 연습효과가 나타나는 패턴은 두 집단이 비슷하다는 것을 알 수 있었다.