• KIPS Transactions on Software and Data Engineering
• /
• v.10 no.4
• /
• pp.133-142
• /
• 2021

With the recent advancements of deep learning, companies such as smart home, healthcare, and intelligent transportation systems are utilizing its functionality to provide high-quality services for vehicle detection, emergency situation detection, and controlling energy consumption. To provide reliable services in such sensitive systems, deep learning models are required to have high accuracy. In order to develop a deep learning model for analyzing previously mentioned services, developers should utilize the state of the art deep learning models that have already been verified for higher accuracy. The developers can verify the accuracy of the referenced model by validating the model on the dataset. For this validation, the developer needs structural information to document and apply deep learning models, including metadata such as learning dataset, network architecture, and development environments. In this paper, we propose a description language that represents the network architecture of the deep learning model along with its metadata that are necessary to develop a deep learning model. Through the proposed description language, developers can easily verify the accuracy of the referenced deep learning model. Our experiments demonstrate the application scenario of a deep learning description document that focuses on the license plate recognition for the detection of illegally parked vehicles.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.514-517
• /
• 2023

본 연구는 인 컨택스트 러닝 (In-Context Learning)을 오디오-언어 작업에 적용하기 위한 멀티모달 (Multi-Modal) 딥러닝 모델을 다룬다. 해당 모델을 통해 학습 단계에서 오디오와 텍스트의 소통 가능한 형태의 표현 (Representation)을 학습하고 여러가지 오디오-텍스트 작업을 수행할 수 있는 멀티모달 딥러닝 모델을 개발하는 것이 본 연구의 목적이다. 모델은 오디오 인코더와 언어 인코더가 연결된 구조를 가지고 있으며, 언어 모델은 6.7B, 30B 의 파라미터 수를 가진 자동회귀 (Autoregressive) 대형 언어 모델 (Large Language Model)을 사용한다 오디오 인코더는 자기지도학습 (Self-Supervised Learning)을 기반으로 사전학습 된 오디오 특징 추출 모델이다. 언어모델이 상대적으로 대용량이기 언어모델의 파라미터를 고정하고 오디오 인코더의 파라미터만 업데이트하는 프로즌 (Frozen) 방법으로 학습한다. 학습을 위한 과제는 음성인식 (Automatic Speech Recognition)과 요약 (Abstractive Summarization) 이다. 학습을 마친 후 질의응답 (Question Answering) 작업으로 테스트를 진행했다. 그 결과, 정답 문장을 생성하기 위해서는 추가적인 학습이 필요한 것으로 보였으나, 음성인식으로 사전학습 한 모델의 경우 정답과 유사한 키워드를 사용하는 문법적으로 올바른 문장을 생성함을 확인했다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.470-474
• /
• 2019

한글 OCR 성능을 높이기 위해 딥러닝 모델을 활용하여 문자인식 부분을 개선하고자 하였다. 본 논문에서는 폰트와 사전데이터를 사용해 딥러닝 모델 학습을 위한 한글 문장 이미지 데이터를 직접 생성해보고 이를 활용해서 한글 문장의 OCR 성능을 높일 다양한 모델 조합들에 대한 실험을 진행했다. 딥러닝 모델은 STR(Scene Text Recognition) 구조를 사용해 변환, 추출, 시퀀스, 예측 모듈 각 24가지 모델 조합을 구성했다. 딥러닝 모델을 활용한 OCR 실험 결과 한글 문장에 적합한 모델조합은 변환 모듈을 사용하고 시퀀스와 예측 모듈에는 BiLSTM과 어텐션을 사용한 모델조합이 다른 모델 조합에 비해 높은 성능을 보였다. 해당 논문에서는 이전 한글 OCR 연구와 비교해 적용 범위를 글자 단위에서 문장 단위로 확장하였고 실제 문서 이미지에서 자주 발견되는 유형의 데이터를 사용해 애플리케이션 적용 가능성을 높이고자 한 부분에 의의가 있다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.254-256
• /
• 2020

자연언어처리 문제에서 딥러닝 모델이 좋은 성능을 보이고 있고 딥러닝 결과는 구조화된 결과를 내놓는 경우가 많다. 딥러닝 모델 결과가 구조적인 형태를 가지는 경우 후처리 통해 특정 구조에 맞는 제약을 가해주는 경우가 일반적이다. 본 논문에서는 이러한 제약을 규칙에 기반하지 않고 직접 학습을 통해 얻고자 하였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.115-118
• /
• 2020

딥러닝은 자연어처리 분야에서 우수한 성능을 보이고 있다. 하지만 우수한 성능을 달성하려면 많은 학습 데이터와 오랜 학습 시간이 필요하다. 우리는 딥러닝과 기호 규칙을 함께 사용하는 뉴럴-심볼릭 방법을 이용하여 딥러닝만으로 학습한 모델의 성능을 능가하는 방법을 제안한다. 딥러닝의 한계를 극복하기 위해서 관계추출에서 규칙 결과와 딥러닝 결과와의 불일치도를 추가한 구조를 설계하였다. 제안한 구조는 한국어 데이터에 대해서 우수한 성능을 보였으며, 빠른 성능 수렴이 이루어지는 것을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.280-283
• /
• 2019

공손함은 인간 언어의 가장 흥미로운 특징 중 하나이며, 자연어처리 시스템이 인간과 자연스럽게 대화하기 위해 필수적으로 모델링해야 할 요소이다. 본 연구에서는 인간의 발화가 주어졌을 때, 이의 공손함을 판단할 수 있는 시스템을 구현한다. 이를 위해 딥러닝 방법인 양방향 LSTM 모델과, 최근 자연어처리 분야에서 각광받고 있는 BERT 모델에 대해 성능 비교를 수행하였다. 이 두 기술은 모두 문맥 정보를 반영할 수 있는 모델로서, 같은 단어라도 문맥 정보에 따라 의미가 달라질 수 있는 공손함의 미묘한 차이를 반영할 수 있다. 실험 결과, 여러 설정에 거쳐 BERT 모델이 양방향 LSTM 모델보다 더 우수함을 확인하였다. 또한, 발화가 구어체보다 문어체에 가까울 수록 딥러닝 모델의 성능이 더 좋은 것으로 나타났다. 제안된 두 가지 방법의 성능을 인간의 판단 능력과 비교해본 결과, 위키피디아 도메인에서 BERT 모델이 91.71%의 성능을 보여 인간의 정확도인 86.72%를 상회함을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.311-315
• /
• 2021

근래의 자연어처리 분야에서는 잘 만들어진 도구(Library)를 이용하여 생산성 높은 개발과 연구가 활발하게 이뤄지고 있다. 이 중에 대다수는 깊은 학습(Deep-Learning, 딥러닝) 기반인데, 이런 모델들은 학습 속도가 느리고, 비용이 비싸고, 사용(Run-Time) 속도도 느리다. 이뿐만 아니라 라벨(Label)의 가짓수가 굉장히 많거나, 라벨의 구성이 단어마다 달라질 수 있는 의미분별(동형이의어, 다의어 번호 태깅) 분야에서 딥러닝은 굉장히 비효율적인 문제가 있다. 이런 문제들은 오히려 기존의 얕은 학습(Shallow-Learning)기반 모델에서는 없던 것들이지만, 최근의 연구경향에서 딥러닝 비중이 급격히 증가하면서, 멀티스레딩 같은 고급 기능들을 지원하는 얕은 학습 기반 언어모델이 새로이 개발되지 않고 있었다. 본 논문에서는 학습과 태깅 모두에서 멀티스레딩을 지원하고, 딥러닝에서 연구된 드롭아웃 기법이 구현된 자연어처리 도구인 혼합 자질 가변 표지기 ManiFL(Manifold Feature Labelling : ManiFL)을 소개한다. 본 논문은 실험을 통해서 ManiFL로 다의어태깅이 가능함을 보여주고, 딥러닝과 CRFsuite에서 높은 성능을 보여주는 개체명 인식에서도 비교할만한 성능이 나옴을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2017.10a
• /
• pp.209-212
• /
• 2017

고도화된 머신러닝과 딥러닝 기술은 영상처리, 자연어처리 등의 분야에서 많은 문제를 해결하고 있다. 특히 사용자가 입력한 문장을 분석하고 그에 따른 문장을 생성하는 자연어처리 기술은 기계 번역, 자동 요약, 자동 오류 수정 등에 널리 이용되고 있다. 딥러닝 기반의 자연어처리 기술은 학습을 위해 여러 계층의 신경망을 구성하여 단어 간 의존 관계와 문장 구조를 학습한다. 그러나 학습 과정에서의 계산양이 방대하여 모델을 구성하는데 시간과 비용이 많이 필요하다. 그러나 Word2Vec 모델은 신경망과 유사하게 학습하면서도 선형 구조를 가지고 있어 딥러닝 기반 자연어처리 기술에 비해 적은 시간 복잡도로 고차원의 단어 벡터를 계산할 수 있다. 따라서 본 논문에서는 Word2Vec 모델을 활용하여 한국어 문장을 생성하는 방법을 제시하였다. 본 논문에서는 지정된 문장 템플릿에 유사도가 높은 각 단어들을 적용하여 문장을 구성하는 Word2Vec 모델을 설계하였고, 서로 다른 학습 데이터로부터 생성된 문장을 평가하고 제안한 모델의 활용 방안을 제시하였다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.25-29
• /
• 2019

딥러닝을 이용한 한국어 의존 파싱은 전이 기반 방식과 그래프 기반 방식으로 나뉘어 연구되어 왔다. 전이 기반 방식은 입력 버퍼와 스택으로부터 자질을 추출하여 모델을 통해 액션을 결정하고 액션에 따라 파스트리를 생성해 나가는 상향식(Botton-Up)의 지역적 모델이고 그래프 기반 방식은 문장 내의 모든 단어에 대해 지배소, 의존소가 될 수 있는 점수를 딥러닝 모델을 통해 점수화하여 트리를 생성하는 전역적 모델이다. 본 논문에서는 Dual Decomposition을 이용하여 하이브리드 방식으로 전이 기반 파서와 그래프 기반 파서를 결합하는 방법을 제안하고 BERT 언어 모델을 반영하여 세종 데이터 셋에서 UAS 94.47%, LAS 92.58% 그리고 SPMRL '14 데이터 셋에서 UAS 94.74%, UAS 94.20%의 성능을 보여 기존 그래프 기반 파서의 성능을 더욱 개선하였다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.430-433
• /
• 2018

딥러닝 모델의 성능 향상을 위해 적은 데이터를 증가시킬 수 있는 연구들이 필요하다. 이미지의 경우 회전, 이동, 반전등의 연산으로 쉽게 데이터를 증가시킬 수 있지만 자연어는 그렇지 않다. 그러나 최근 딥러닝 생성 모델의 발전으로 기존 자연어 데이터를 생성 모델을 통해 양을 늘려 실험하는 연구들이 많이 시도되었다. 본 논문에서는 문장 데이터 생성을 위한 VAE, 문장 분류를 위한 CNN이 결합된 모델을 한국어 영화평 데이터에 적용하여 기존 모델보다 0.146% 높은 86.736%의 정확도를 기록하였다.