• 스마트미디어저널
• /
• 제12권1호
• /
• pp.32-46
• /
• 2023

Natural Language Processing (NLP) has grown tremendously in recent years. Typically, bilingual, and multilingual translation models have been deployed widely in machine translation and gained vast attention from the research community. On the contrary, few studies have focused on translating between spoken and sign languages, especially non-English languages. Prior works on Sign Language Translation (SLT) have shown that a mid-level sign gloss representation enhances translation performance. Therefore, this study presents a new large-scale Korean sign language dataset, the Museum-Commentary Korean Sign Gloss (MCKSG) dataset, including 3828 pairs of Korean sentences and their corresponding sign glosses used in Museum-Commentary contexts. In addition, we propose a translation framework based on self-supervised learning, where the pretext task is a text-to-text from a Korean sentence to its back-translation versions, then the pre-trained network will be fine-tuned on the MCKSG dataset. Using self-supervised learning help to overcome the drawback of a shortage of sign language data. Through experimental results, our proposed model outperforms a baseline BERT model by 6.22%.

• 지능정보연구
• /
• 제23권2호
• /
• pp.71-88
• /
• 2017

언어모델은 순차적으로 입력된 자료를 바탕으로 다음에 나올 단어나 문자를 예측하는 모델로 언어처리나 음성인식 분야에 활용된다. 최근 딥러닝 알고리즘이 발전되면서 입력 개체 간의 의존성을 효과적으로 반영할 수 있는 순환신경망 모델과 이를 발전시킨 Long short-term memory(LSTM) 모델이 언어모델에 사용되고 있다. 이러한 모형에 자료를 입력하기 위해서는 문장을 단어 혹은 형태소로 분해하는 과정을 거친 후 단어 레벨 혹은 형태소 레벨의 모형을 사용하는 것이 일반적이다. 하지만 이러한 모형은 텍스트가 포함하는 단어나 형태소의 수가 일반적으로 매우 많기 때문에 사전 크기가 커지게 되고 이에 따라 모형의 복잡도가 증가하는 문제가 있고 사전에 포함된 어휘 외에는 생성이 불가능하다는 등의 단점이 있다. 특히 한국어와 같이 형태소 활용이 다양한 언어의 경우 형태소 분석기를 통한 분해과정에서 오류가 더해질 수 있다. 이를 보완하기 위해 본 논문에서는 문장을 자음과 모음으로 이루어진 음소 단위로 분해한 뒤 입력 데이터로 사용하는 음소 레벨의 LSTM 언어모델을 제안한다. 본 논문에서는 LSTM layer를 3개 또는 4개 포함하는 모형을 사용한다. 모형의 최적화를 위해 Stochastic Gradient 알고리즘과 이를 개선시킨 다양한 알고리즘을 사용하고 그 성능을 비교한다. 구약성경 텍스트를 사용하여 실험을 진행하였고 모든 실험은 Theano를 기반으로 하는 Keras 패키지를 사용하여 수행되었다. 모형의 정량적 비교를 위해 validation loss와 test set에 대한 perplexity를 계산하였다. 그 결과 Stochastic Gradient 알고리즘이 상대적으로 큰 validation loss와 perplexity를 나타냈고 나머지 최적화 알고리즘들은 유사한 값들을 보이며 비슷한 수준의 모형 복잡도를 나타냈다. Layer 4개인 모형이 3개인 모형에 비해 학습시간이 평균적으로 69% 정도 길게 소요되었으나 정량지표는 크게 개선되지 않거나 특정 조건에서는 오히려 악화되는 것으로 나타났다. 하지만 layer 4개를 사용한 모형이 3개를 사용한 모형에 비해 완성도가 높은 문장을 생성했다. 본 논문에서 고려한 어떤 시뮬레이션 조건에서도 한글에서 사용되지 않는 문자조합이 생성되지 않았고 명사와 조사의 조합이나 동사의 활용, 주어 동사의 결합 면에서 상당히 완성도 높은 문장이 발생되었다. 본 연구결과는 현재 대두되고 있는 인공지능 시스템의 기초가 되는 언어처리나 음성인식 분야에서 한국어 처리를 위해 다양하게 활용될 수 있을 것으로 기대된다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권12호
• /
• pp.698-702
• /
• 2017

자연 언어 처리(Natural Language Processing) 분야에 심층 신경망(Deep Neural Network)이 소개된 이후, 단어, 문장 등의 의미를 나타내기 위한 분산 표상인 임베딩(Embedding)을 학습하기 위한 연구가 활발히 진행되고 있다. 임베딩 학습을 위한 방법으로는 크게 문맥 기반의 텍스트 모델링 방법과, 기학습된 임베딩을 결합하여 더 긴 텍스트의 분산 표상을 계산하고자 하는 결합 기반의 텍스트 모델링 방법이 있다. 하지만, 기존 결합 기반의 텍스트 모델링 방법은 최적 결합 단위에 대한 고찰 없이 단어를 이용하여 연구되어 왔다. 본 연구에서는 비교 실험을 통해 문서 임베딩 생성에 적합한 결합 기법과 최적 결합 단위에 대해 알아본다. 또한, 새로운 결합 방법인 담화 분석 기반의 결합 방식을 제안하고 실험을 통해 기존의 순차적 결합 기반 신경망 모델 대비 우수성을 보인다.

• 인지과학
• /
• 제27권2호
• /
• pp.303-323
• /
• 2016

본 연구는 형태소 인식력에 따른 단어 학습 수행의 차이를 조사하였다. 참가자들을 형태소 인식력이 높은 집단과 낮은 집단으로 나누고, 문장 맥락 속에 제시된 새로운 단어의 의미를 추론하여 학습하도록 하였다. 단어는 형태소 분석이 가능한 문장 맥락 또는 불가능한 문장 맥락 속에 제시되었다. 실험 결과, 형태소 인식력이 높은 참가자들은 형태소 인식력이 낮은 참가자들에 비해 새로운 단어의 의미를 더 정확하게 추론하였고, 일주일 후에도 이러한 차이가 유지되었다. 의미 학습의 집단 간 차이는 형태소 분석이 가능한 문장 맥락 조건에서 크게 나타났으며, 형태소 분석이 불가능한 문장 맥락 조건에서는 차이가 아주 작았다. 본 연구의 결과는 새로운 한자어의 의미 학습에 형태소 분석이 관여하며, 형태소 인식력이 형태소 분석 과정에 영향을 미친다는 증거를 제공한다.

• 감성과학
• /
• 제21권3호
• /
• pp.29-48
• /
• 2018

Although the concept of "common sense" is often taken for granted, judging whether behavior or knowledge is common sense requires a complex series of mental processes. Additionally, different perceptions of common sense can lead to social conflicts. Thus, it is important to understand how we perceive common sense and make relevant judgments. The present study investigated the dynamics of neural representations underlying judgments of what common sense is. During functional magnetic resonance imaging, participants indicated the extent to which they thought that a given sentence corresponded to common sense under the given perspective. We incorporated two different decision contexts involving different cultural perspectives to account for social variability of the judgments, an important feature of common sense judgments apart from logical true/false judgments. Our findings demonstrated that common sense versus non-common sense perceptions involve the amygdala and a brain network for episodic memory recollection, including the hippocampus, angular gyrus, posterior cingulate cortex, and ventromedial prefrontal cortex, suggesting integrated affective, mnemonic, and social functioning in common sense processing. Furthermore, functional connectivity multivariate pattern analysis revealed that interactivity among the amygdala, angular gyrus, and parahippocampal cortex reflected representational features of common sense perception and not those of non-common sense perception. Our study demonstrated that the social memory network is exclusively involved in processing common sense and not non-common sense. These results suggest that intergroup exclusion and misunderstanding can be reduced by experiencing and encoding long-term social memories about behavioral norms and knowledge that act as common sense of the outgroup.

• 정보처리학회논문지B
• /
• 제19B권1호
• /
• pp.43-52
• /
• 2012

의미 역 결정 (Semantic Role Labeling)은 문장의 각 요소들의 의미 관계를 파악하는 연구 분야로써 어휘 중의성 해소와 더불어 자연언어처리에서의 의미 분석에서 매우 중요한 위치를 차지하고 있다. 그러나 한국어의 경우에는 의미 역 결정에 필요한 언어 자원이 구축되지 못하여 연구의 진행이 매우 미진한 상황이다. 본 논문에서는 의미 역 결정에 필요한 언어 자원 중에서 가장 널리 사용되고 있는 PropBank의 한국어 버전의 구축을 위한 시작 단계로써 자동 술어-논항 분석기를 개발하였다. 자동 술어-논항 분석기는 크게 의미 어휘 사전과 자동 술어-논항 추출기로 구성된다. 의미 어휘 사전은 한국어 동사의 격틀 정보를 구축한 사전이며 자동 술어-논항 추출기는 구문 표지 부착된 말뭉치로부터 특정 술어와 관련있는 논항의 의미 부류를 결정하는 모듈이다. 본 논문에서 개발된 자동 술어-논항 분석기는 향후 한국어 PropBank의 구축을 용이하게 할 것이며, 궁극적으로는 한국어 의미 역 결정에 큰 역할을 할 것이다.

• 정보과학회 논문지
• /
• 제43권8호
• /
• pp.902-909
• /
• 2016

질의응답 시스템은 사용자의 질문에 대한 답을 찾아주는 시스템으로, 기존의 검색엔진이 사용자의 질의에 대해 관련된 문서의 링크만을 찾아주는 반면 질문에 대한 최종적인 답을 찾아준다는 차이점이 있다. 특정 분야에 국한되지 않고 다양한 질문을 처리해주는 오픈 도메인 질의응답 시스템에 필요한 연구들이 최근 자연어 처리, 인공지능, 데이터 마이닝 등 학계의 다양한 분야들에서 뜨거운 관심을 받고 있다. 하지만 관련 연구에서는 학습 데이터에는 없었던 단어들이 질문에 대한 정확한 답과 유사한 오답을 구별해내는데 결정적인 역할을 할 수 있음에도, 이러한 처음 보는 단어들을 모두 단일 토큰으로 치환해버리는 문제가 있다. 본 논문에서는 문맥 정보를 통해 이러한 모르는 단어에 대한 벡터를 계산하는 방법을 제안한다. 그리고 역문헌빈도 가중치를 활용하여 문맥정보를 더 효율적으로 처리하는 모델을 제안한다. 또한 풍부한 실험을 통해 질의응답 시스템의 모델 학습 속도 및 정확성이 기존 연구에 비해 향상됨을 확인하였다.

• 한국정보처리학회논문지
• /
• 제5권3호
• /
• pp.681-687
• /
• 1998

본 논문에서는 기계번역에서 동사 번역의 모호성 해결을 위한 하이브리드 기법을 제안한다. 제안된 기법은 동사 번역을 위해 개념기반의 기법과 통계기반의 기법을 수행하는 알고리즘이다. 이를 위해 연어사전, WordNet과 말뭉치에서 추출한 통계 정보를 이용한다. 동사 번역의 모호성을 해결하기 위하여 이 알고리즘은 기계번역의 트랜스퍼 단게에서 번역할 동사의 번역어를 찾는다. 그러나 만일 적절한 번역어를 찾지 못하게 되면, Wordnet을 참조하여 번역 문장에서 동사의 논리적 제약어와 연어사전의 논리적 제약어들 사이의 단어간 유사도를 측정하여 번역어를 찾는다. 그리고 이와 동시에 이 알고리즘은 말뭉치에서 추출한 통계 정보를 참조하여 공기 유사도를 측정하여 번역어를 찾는다. 실험 결과, 이 알고리즘은 번역 정확성에서 기존의 다른 알고리즘보다 우수하며, 특히 연어기반의 기법과 비교할 때 약 24.8% 정도의 번역 정확성이 향상된 것으로 나타나고 있다.

• 정보처리학회논문지B
• /
• 제10B권1호
• /
• pp.41-46
• /
• 2003

본 논문에서 일본어 키워드 추출을 목적으로 요약문서 중에 떨어진 문자열을 합성하고, 그 문장에 나타난 규칙을 가지고 단어 정보(표기, 품사)와 구문 정보를 이용하여 복합명사고로 된 키워드 추출 방법을 제안한다. 저자 자신이 부여한 학술 논문의 키워드 중에서 문서 중에 그대로 존재하지 않는 키워드의 특징을 분석한 결과로 의존 관계에 의한 복합명사 생성 규칙을 구축한다. 또 문장의 내용과 다른 키워드의 추출을 억제하기 위해 생성규칙에 대한 제약과 중복 단어를 고려한 중요도 결정법을 제안한다. 자연ㆍ 음성언어처리에 관한 일본어 논문 65파일의 타이틀과 초록부분을 이용하여 추출된 키워드의 타당성에 대한 실험을 한 결과 추출 정밀도는 중요도의 상위 1개를 출력한 경우 63%가 되어 추출 방법의 유효성을 확인 할 수가 있었다.

• 한국컴퓨터정보학회논문지
• /
• 제28권11호
• /
• pp.81-87
• /
• 2023

네트워크 패킷의 메타데이터를 학습한 침입탐지시스템이 최근 많이 제안되었다. 그러나 이러한 방식은 모델 학습에 사용할 메타데이터 생성을 위해 패킷을 분석하는 시간, 그리고 학습 전 메타데이터를 전처리하는 시간이 필요하다. 또한, 특정 메타데이터를 학습한 모델은 실제 네트워크로 유입되는 원본 패킷을 그대로 사용하여 침입을 탐지하는 것이 불가능하다. 이러한 문제를 해결하기 위해 본 논문에서는 패킷 페이로드를 하나의 문장으로 학습시켜 침입을 탐지하는 자연어 처리 기반의 침입탐지시스템을 제안하였다. 제안하는 기법의 성능 검증을 위해 UNSW-NB15와 Transformer 모델을 활용하였다. 먼저, 데이터세트의 PCAP 파일에 대한 라벨링을 실시한 후 2종의 Transformer 모델(BERT, DistilBERT)에 문장 형태로 직접 학습시켜 탐지성능을 분석하였다. 실험 결과 이진분류 정확도는 각각 99.03%, 99.05%로 기존 연구에서 제안한 기법들과 유사하거나 우수한 탐지성능을 보였으며, 다중분류는 각각 86.63%, 86.36%로 더 우수한 성능을 나타냄을 확인하였다.