• 정보과학회 논문지
• /
• 제44권7호
• /
• pp.742-747
• /
• 2017

본 논문에서는 문장의 분류에 있어 성능이 입증된 word2vec을 활용한 Convolutional Neural Network(CNN) 모델을 기반으로 하여 문서 분류에 적용 시 성능을 향상시키기 위해 doc2vec을 함께 CNN에 적용하고 기반 모델의 구조를 개선한 문서 분류 방안을 제안한다. 먼저 토큰화 방법을 선정하기 위한 초보적인 실험을 통하여, 어절 단위, 형태소 분석, Word Piece Model(WPM) 적용의 3가지 방법 중 WPM이 분류율 79.5%를 산출하여 문서 분류에 유용함을 실증적으로 확인하였다. 다음으로 WPM을 활용하여 생성한 단어 및 문서의 벡터 표현을 기반 모델과 제안 모델에 입력하여 범주 10개의 한국어 신문 기사 분류에 적용한 실험을 수행하였다. 실험 결과, 제안 모델이 분류율 89.88%를 산출하여 기반 모델의 분류율 86.89%보다 2.99% 향상되고 22.80%의 개선 효과를 보였다. 본 연구를 통하여, doc2vec이 동일한 범주에 속한 문서들에 대하여 유사한 문서 벡터 표현을 생성하기 때문에 문서의 분류에 doc2vec을 함께 활용하는 것이 효과적임을 검증하였다.

• 한국산학기술학회논문지
• /
• 제16권8호
• /
• pp.5565-5570
• /
• 2015

암묵인용문 인식은 학술문헌의 본문 텍스트 내에서 명시적 인용표지가 누락된 인용문장을 자동 인식하는 것으로 인용 기반 논문 검색 및 요약의 핵심 기술이다. 기존 암묵인용문 인식의 최신 연구들은 단어 ngram, 단서어구, 명시인용문과의 거리, 기존 연구자의 성, 기존 방법의 명칭 등 다양한 자질을 활용하여 50% 이상 인식 수준을 보고하고 있다. 그러나 대부분의 기존 연구들은 영어에 대해 수행되었으며 한국어의 경우 최근 긍정/부정 단서어구 패턴을 활용한 규칙 기반 시도에서 42% 성능 수준이 보고되어 있어 추가 성능 향상이 요구되는 상황이다. 이 연구에서는 한국어 어휘 자질을 사용하여 한국어 암묵인용문의 기계학습 기반 인식을 시도하였다. 이를 위해 어절, 형태소, 음절 단위에 기반한 다양한 크기의 어휘 ngram 자질들의 인식 성능을 비교 평가하고 한국어 암묵인용문 인식에 적합한 어휘 자질로 형태소 1gram 및 음절 2gram 단위를 결정하였다. 또한 이들 어휘 자질들을 전후 명시인용문들과의 인접성을 표현한 위치 자질들과 결합하여 한국어 암묵인용문 인식 성능을 50% 이상 수준으로 대폭 향상시켰다.

• 한국컴퓨터정보학회논문지
• /
• 제17권9호
• /
• pp.29-38
• /
• 2012

본 논문에서는 문화유산정보 말뭉치 구축을 위한 개체명 및 이벤트 부착 도구를 제안한다. 제안하는 도구를 이용하여 말뭉치 구축자는 문화유산정보 관리에 유용한 시간, 장소, 인물, 사건을 중심으로 개체명과 이벤트를 부착할 수 있다. 이 때, 개체명과 이벤트 부착이 용이하도록, 제안하는 도구에서 줄번호나 어절번호와 같은 개체명이나 이벤트의 위치정보를 자동으로 부착하며, 구축된 개체명이나 이벤트 중에서 하나를 선택하면 해당 문자열을 원문에서 진한 이탤릭체로 표시하여 올바르게 부착되었는지 쉽게 확인할 수 있다. 그리고, 제안하는 도구는 말뭉치 구축자의 수작업을 줄이기 위해서 개체명 자동인식 패턴을 활용한다. 학습말뭉치가 거의 없다는 점을 고려하여 단순한 규칙 패턴을 학습한다. 또한, 오류 전파를 차단하기 위해서, 제안하는 개체명 자동인식 패턴은 개체명 부착 말뭉치에서 추가적인 분석처리 없이 바로 추출한다. 실험결과 제안하는 개체명 및 이벤트 부착 도구는 말뭉치 구축자의 수작업량을 절반이상 줄여주었다.

• 스마트미디어저널
• /
• 제7권2호
• /
• pp.54-59
• /
• 2018

스마트폰과 태블릿PC 등 터치스크린을 활용한 휴대기기의 사용이 늘어나면서 데스크탑 컴퓨터나 노트북으로 수행하던 작업을 스마트폰과 태블릿PC를 이용하여 수행하는 일이 많아졌다. 그런데 휴대성을 갖춰야하는 스마트기기의 특성상, 쿼티 자판은 작은 화면 안에 조밀하게 배치된다. 그리고 이러한 점은 기계식 쿼티 자판을 사용할 때와는 다른 양상의 오타가 발생하는 원인으로 작용한다. 각 버튼이 차지하는 공간이 충분했던 기계식 쿼티 자판과 달리, 터치스크린에서의 쿼티 자판은 각 버튼에 할당되는 영역이 작아 사용자가 누르려고 의도했던 버튼이 아닌 주변의 버튼이 입력되는 경우가 자주 발생하게 된다. 본 논문에서는 어절 유니그램과 바이그램 확률을 이용한 n-gram 언어 모델 방법으로 터치스크린 환경에서 쿼티 자판으로 입력되는 문자 입력 오류를 자동으로 교정하는 방법을 제안하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2017년도 추계학술대회
• /
• pp.208-211
• /
• 2017

한국에 거주하는 이민자들의 겪는 가장 큰 어려움은 언어 문제이다. 우리는 조사를 통하여 이민자에게 적합한 한국어 교육 콘텐츠가 생각보다 많이 부족한 실정임을 파악하였다. 앞의 문제에 도움이 될 수 있도록 우리는 한국어 생활회화 교육용 모바일 게임을 제작하게 되었다. 제안하는 게임은 세종학당 온라인 과정을 기반으로 하여 실생활에서 바로 사용할 수 있는 생활 회화로 구성하였다. 게임의 대상으로는 외국인 주민 중에 수가 많고 한국어 교육이 매우 필요하지만 접할 수 있는 기회가 상대적으로 적은 중국 출신인 여성 결혼이민자를 선정하였다. 여성 결혼이민자의 경우 의사소통은 가능하지만 문장을 구성하는 것이 매끄럽지 않다는 특징을 가지고 있었다. 이런 특징을 고려하여 어절 단위로 문제를 맞출 수 있는 게임 방식을 선택하였다.

• 정보과학회 논문지
• /
• 제43권1호
• /
• pp.71-79
• /
• 2016

한국어처리 분야에서 동형이의어 분별은 의미처리를 위해서는 매우 중요하고 오랫동안 연구되어온 주제이다. 최근에 말뭉치를 학습하는 기계학습 방법이 정확률과 속도면에서 좋은 결과를 보이고 있으며, 미학습 어절을 처리하기 위해 어휘의미망을 이용한 지식기반 방법도 연구되고 있다. 본 논문은 말뭉치를 학습한 기계학습 방법에 어휘의미망과 함께 사용하는 방법을 제시한다. 이 방법의 기본 전략은 하위범주화 정보를 말뭉치화하여서 기존 말뭉치와 함께 학습시키고, 동형이의어 태깅 시점에서 분석 대상 명사의 상위어를 찾아서 학습정보와 같이 사용하는 것이다. 이 방법의 효과를 확인하기 위해 세종말뭉치와 UWordMap으로 실험을 하였으며, 정확률이 96.51%에서 96.52%로 미미하지만 상승하는 것을 확인하였다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제14권2호
• /
• pp.231-235
• /
• 2008

최근 들어 각종 창작물에 대한 표절 사건이 빈번하게 발생하고 있다. 특히 문서들 간의 표절은 현재 많은 이슈가 되고 있다. 영어에 관한 표절연구는 서양에서 오래전부터 이뤄져 왔지만 한글은 구조적인 어려움으로 인해 아직 많은 연구가 이뤄지지 않고 있다. 한글은 영어와 구조적인 특징이 많이 다르기 때문에 영어기반의 탐색 기법을 한글 문서에 적용하기는 어렵다. 본 논문에서는 한글의 특성에 맞는 새로운 표절 탐색 기법을 소개하고 한글 말뭉치를 이용하여 그 성능을 실험해본다. 제안된 기법은 "k-mer"와 "지역정렬" 방법을 기반으로, 문서들 간의 표절구간을 매우 빠르고 정확하게 찾아낸다. 또한 우리는 천만어절 이상의 크기를 가진 한글 말뭉치를 이용하여 표절이 일어나지 않은 일반적인 문서에서 우연히 나타나게 될 유사 확률에 관한 모형을 만들었다. 시스템을 이용하여 성능을 측정해 본 결과, 표절 문서를 매우 정확하게 찾는 것을 알 수 있었다.

• 말소리와 음성과학
• /
• 제13권4호
• /
• pp.55-66
• /
• 2021

읽기와 관련된 운율은 내용의 전체적인 맥락에 연결되어 독자가 전달하고자 하는 의미를 자연스럽게 표현할 수 있도록 음도, 강도, 발화속도 등의 변화로 나타난다. 읽기장애아동은 자연스러운 운율을 사용한 읽기에 어려움이 있어 표현력 있게 정보를 전달하지 못하는 경향이 있다. 이와 관련하여 본 연구는 문장 유형에 따른 읽기 과제를 통하여 읽기장애아동 집단과 일반아동 집단 간의 운율 특성 차이를 규명하였다. 초등학교 3-6학년 읽기장애아동 15명, 일반아동 15명을 대상으로 통사적으로 다양한 문장 유형(단문, 의도, 가정/조건, 관형절 내포문)에 따른 읽기 과제를 실시하였다. 읽기장애아동은 일반아동에 비해 음도 범위가 넓었으며 읽기 속도와 조음 속도가 느렸다. 또한 휴지 빈도가 높았으며 전체 휴지 지속시간도 길었다. 읽기장애아동은 문미 억양구와 문장 내 어절 단위 음도 기울기에서 일반아동에 비해 기울기 값이 컸으며 이상의 내용은 모두 통계적으로 유의하였다. 결과적으로 문장 유형에 따른 읽기 과제에서 읽기장애아동은 일반아동에 비해 자연스럽고 표현력 있는 읽기에 어려움을 보였다. 본 연구를 통해 읽기장애아동의 운율 특성을 파악하였고, 효과적인 중재를 위한 접근 방법의 필요성을 제시했다.

• 한국콘텐츠학회논문지
• /
• 제22권3호
• /
• pp.134-140
• /
• 2022

본 연구의 목적은 초등학교 국어교과서의 지시문과 지시문에 포함된 의문사를 조사하는 것이다. 초등학교 2, 4, 6학년 1학기 국어교과서를 분석하였다. 분석을 위해 Microsoft Office Excel에 모든 지시문을 입력한 후 의문사가 포함된 지시문을 구분하였다. 지시문 분석에는 (주)낱말의 분석프로그램을 사용하였고, 의문사와 질문 유형 분석을 위해서는 선행 연구의 기준을 참고하였다. 연구 결과 2, 4, 6학년 국어교과서의 지시문에는 명사, 동사가 많이 포함되었고, 평균 6.9 어절의 문장으로 구성되었다. 지시문에 포함된 의문사 유형으로는 11가지 유형의 의문사가 분석되었다. 모든 학년에서 '무엇, 어떤, 어떻게' 의문사가 가장 많이 나타났다. 질문 유형은 모든 학년에서 사실적 질문보다 추론적 질문이 많았다. 본 연구는 문어가 중심이 되는 학령기 아동의 언어 중재 특히 의문사 중재 목표와 관련한 기초자료를 제공하였다는 점에서 의의가 있다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.197-202
• /
• 2019

토큰화는 입력 텍스트를 더 작은 단위의 텍스트로 분절하는 과정으로 주로 기계 학습 과정의 효율화를 위해 수행되는 전처리 작업이다. 현재까지 자연어 처리 분야 과업에 적용하기 위해 다양한 토큰화 방법이 제안되어 왔으나, 주로 텍스트를 효율적으로 분절하는데 초점을 맞춘 연구만이 이루어져 왔을 뿐, 한국어 데이터를 대상으로 최신 기계 학습 기법을 적용하고자 할 때 적합한 토큰화 방법이 무엇일지 탐구 해보기 위한 연구는 거의 이루어지지 않았다. 본 논문에서는 한국어 데이터를 대상으로 최신 기계 학습 기법인 전이 학습 기반의 자연어 처리 방법론을 적용하는데 있어 가장 적합한 토큰화 방법이 무엇인지 알아보기 위한 탐구 연구를 진행했다. 실험을 위해서는 대표적인 전이 학습 모형이면서 가장 좋은 성능을 보이고 있는 모형인 BERT를 이용했으며, 최종 성능 비교를 위해 토큰화 방법에 따라 성능이 크게 좌우되는 과업 중 하나인 기계 독해 과업을 채택했다. 비교 실험을 위한 토큰화 방법으로는 통상적으로 사용되는 음절, 어절, 형태소 단위뿐만 아니라 최근 각광을 받고 있는 토큰화 방식인 Byte Pair Encoding (BPE)를 채택했으며, 이와 더불어 새로운 토큰화 방법인 형태소 분절 단위 위에 BPE를 적용하는 혼합 토큰화 방법을 제안 한 뒤 성능 비교를 실시했다. 실험 결과, 어휘집 축소 효과 및 언어 모델의 퍼플렉시티 관점에서는 음절 단위 토큰화가 우수한 성능을 보였으나, 토큰 자체의 의미 내포 능력이 중요한 기계 독해 과업의 경우 형태소 단위의 토큰화가 우수한 성능을 보임을 확인할 수 있었다. 또한, BPE 토큰화가 종합적으로 우수한 성능을 보이는 가운데, 본 연구에서 새로이 제안한 형태소 분절과 BPE를 동시에 이용하는 혼합 토큰화 방법이 가장 우수한 성능을 보임을 확인할 수 있었다.