• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.614-617
• /
• 2021

법률 문서는 일반 사용자가 이해하기 어려운 용어로 이루어져 있고 특히 장문의 문서가 많아 법률시스템에 종사하는 종사자들 또한 많은 양의 문서를 읽기가 어려운 현실이다. 이에 문서 요약 방법중 딥러닝 기반의 사전학습 모델을 적용한 추출요약기반, 생성요약 방법론과 딥러닝 이전의 핵심문장 추출 방법론을 비교하여 법률용어의 요약성능에 대한 비교 평가를 수행하고자 하며 추후 연구과제로 법률문서에 특화된 요약 모델을 만들어보고자 한다.

• Knowledge Management Research
• /
• v.22 no.3
• /
• pp.91-106
• /
• 2021

With the recent rapid development of deep learning technology, the demand for analyzing huge text documents in the national R&D field from various perspectives is rapidly increasing. In particular, interest in the application of a BERT(Bidirectional Encoder Representations from Transformers) language model that has pre-trained a large corpus is growing. However, the terminology used frequently in highly specialized fields such as national R&D are often not sufficiently learned in basic BERT. This is pointed out as a limitation of understanding documents in specialized fields through BERT. Therefore, this study proposes a method to build an R&D KoBERT language model that transfers national R&D field knowledge to basic BERT using further pre-training. In addition, in order to evaluate the performance of the proposed model, we performed classification analysis on about 116,000 R&D reports in the health care and information and communication fields. Experimental results showed that our proposed model showed higher performance in terms of accuracy compared to the pure KoBERT model.

• Asia-Pacific Journal of Business Venturing and Entrepreneurship
• /
• v.2 no.2
• /
• pp.1-22
• /
• 2007

This paper is targeting on developing pre-test Methodology for start-up as tuning successful business modelling with their implementation. Start-up is asked to a complete preparation and analysis for business to enhance the success possibility. In this stream, Start-up should test the validity of their business model before starting a business. This paper deliver alternatives to meet this requirement. Overall, this paper suggest two different approaches. First, by literature review, this paper prove the importance of BM in success factor analysis of high-tech start-up. Second, This paper prove BMO Model as the best practicing model to assess the validity of BM. Additionally, this paper, BMO will be utilized to bring significant implications to sort out enhancing strategies of BM validity.

• Annual Conference on Human and Language Technology
• /
• 2001.10d
• /
• pp.465-471
• /
• 2001

본 연구에서는 동형이의어 분별을 위하여 허정(2000)이 제시한 "사전 뜻풀이말에서 추출한 의미정보에 기반한 동형이의어 중의성 해결 시스템" 이 가지는 문제점과 향후 연구과제로 제시한 문제들을 개선하기 위하여 Bayes 정리에 기반한 동형이의어 분별 모델을 제안한다. 의미 분별된 사전 뜻풀이말 코퍼스에서 동형이의어를 포함하고 있는 뜻풀이말을 구성하는 체언류(보통명사), 용언류(형용사, 동사) 및 부사류(부사)를 의미 정보로 추출한다. 동형이의어의 의미별 사전 출현 빈도수가 비교적 균등한 기존 9개의 동형이의어 명사를 대상으로 실험하여 비교하였고, 새로 7개의 동형이의어 용언(형용사, 동사)을 추가하여 실험하였다. 9개의 동형이의어 명사를 대상으로 한 내부 실험에서 평균 99.37% 정확률을 보였으며 1개의 동형이의어 용언을 대상으로 한 내부 실험에서 평균 99.53% 정확률을 보였다. 외부 실험은 국어 정보베이스와 ETRI 코퍼스를 이용하여 9개의 동형이의어 명사를 대상으로 평균 84.42% 정확률과 세종계획의 350만 어절 규모의 외부 코퍼스를 이용하여 7개의 동형이의어 용언을 대상으로 평균 70.81%의 정확률을 보였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.07a
• /
• pp.125-127
• /
• 2021

본 논문에서는 목조 문화재의 변위 현상 중 하나인 크랙 현상을 감지할 수 있는 EfficientNet 기반 모델을 제안한다. 우선 사전 학습된 EfficientNet모델을 통해 학습 이미지로부터 심층 특징을 추출하고 크랙이 존재하는지 아닌지에 대해 분류하기 위한 완전 연결 신경망을 학습한다. 그런 다음 새로운 목조 문화재 이미지가 들어왔을 때 학습한 모델을 통해서 크랙이 존재하는지에 대해 최종적으로 판별하게 된다. 데이터 셋으로는 충주시 근처의 문화재에 방문해서 수집한 목조 이미지를 가지고 정상 및 비정상으로 구분한 데이터 셋을 사용하였다. 실험 결과 EfficientNet을 사용한 딥 러닝 기반 모델이 다른 사전 학습된 합성 곱 신경망 모델보다 더 좋은 성능을 나타냄을 확인하였다. 이러한 결과로부터 우리가 제안한 방법이 목재 문화재에서의 크랙 검출에 있어서 적합함을 보여준다.

• The Journal of the Acoustical Society of Korea
• /
• v.38 no.5
• /
• pp.601-606
• /
• 2019

This paper is a study on speech recognition in the Korean using grapheme unit (Cho-sumg [onset], Jung-sung [nucleus], Jong-sung [coda]). Here we make ASR (Automatic speech recognition) system without G2P (Grapheme to Phoneme) process and show that Deep learning based ASR systems can learn Korean pronunciation rules without G2P process. The proposed model is shown to reduce the word error rate in the presence of sufficient training data.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.98-102
• /
• 2020

의존 구문 분석은 입력된 문장 내의 어절 간의 의존 관계를 예측하기 위한 자연어처리 태스크이다. 최근에는 BERT와 같은 사전학습 모델기반의 의존 구문 분석 모델이 높은 성능을 보이고 있다. 본 논문에서는 추가적인 성능 개선을 위해 ALBERT, ELECTRA 언어 모델을 형태소 분석과 BPE를 적용해 학습한 후, 인코딩 과정에 사용하였다. 또한 의존소 어절과 지배소 어절의 특징을 specific하게 추상화 하기 위해 두 개의 트랜스포머 인코더 스택을 추가한 의존 구문 분석 모델을 제안한다. 실험결과 제안한 모델이 세종 코퍼스에 대해 UAS 94.77 LAS 94.06의 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.238-244
• /
• 2022

감정 분석은 텍스트에 표현된 인간의 감정을 인식하여 다양한 감정 유형으로 분류하는 것이다. 섬세한 인간의 감정을 보다 정확히 분류하기 위해서는 감정 유형의 분류가 무엇보다 중요하다. 본 연구에서는 사전 학습 언어 모델을 활용하여 우리말샘의 감정 어휘와 용례를 바탕으로 기쁨, 슬픔, 공포, 분노, 혐오, 놀람, 흥미, 지루함, 통증의 감정 유형으로 분류된 감정 말뭉치를 구축하였다. 감정 말뭉치를 구축한 후 성능 평가를 위해 대표적인 트랜스포머 기반 사전 학습 모델 중 RoBERTa, MultiDistilBert, MultiBert, KcBert, KcELECTRA. KoELECTRA를 활용하여 보다 넓은 범위에서 객관적으로 모델 간의 성능을 평가하고 각 감정 유형별 정확도를 바탕으로 감정 유형의 특성을 알아보았다. 그 결과 각 모델의 학습 구조가 다중 분류 말뭉치에 어떤 영향을 주는지 구체적으로 파악할 수 있었으며, ELECTRA가 상대적으로 우수한 성능을 보여주고 있음을 확인하였다. 또한 감정 유형별 성능을 비교를 통해 다양한 감정 유형 중 기쁨, 슬픔, 공포에 대한 성능이 우수하다는 것을 알 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.36-40
• /
• 2021

다양한 Masked Language Modeling을 통해 학습한 사전 학습 모델들은 질의응답 시스템에서 매우 높은 성능을 보여주고 있다. 이러한 강력한 성능에도 불구하고 그러한 모델들이 질의를 정확히 이해하고 정답을 예측하는 것인지, 혹은 질의에 등장하는 특정 단어와 잘 나타나는 단어들을 기반으로 정답을 예측하는 것인지에 대한 분석은 아직 충분하지 않다. 이러한 사전학습 모델의 질의 이해 능력을 밝히기 위하여, 본 연구에서는 클레버 한스 테스트를 제안한다. 클레버 한스 테스트에서는 의미적 구조적, 의도 유무 측면의 여러 질의 변형이 된 데이터 셋들이 포함되어 있다. 본 연구에서는 클레버 한스 테스트를 통하여 사전학습 모델들이 의미적으로 달라진 질의나 의도가 제거된 질의를 입력으로 받아도 성능이 크게 떨어지지 않는 것을 확인하였고 모델의 질의 이해능력 부족을 실험적으로 시사하였다.

• Journal of Intelligence and Information Systems
• /
• v.28 no.4
• /
• pp.251-273
• /
• 2022

Recently, research on applying text analysis to deep learning has steadily continued. In particular, researches have been actively conducted to understand the meaning of words and perform tasks such as summarization and sentiment classification through a pre-trained language model that learns large datasets. However, existing pre-trained language models show limitations in that they do not understand specific domains well. Therefore, in recent years, the flow of research has shifted toward creating a language model specialized for a particular domain. Domain-specific pre-trained language models allow the model to understand the knowledge of a particular domain better and reveal performance improvements on various tasks in the field. However, domain-specific further pre-training is expensive to acquire corpus data of the target domain. Furthermore, many cases have reported that performance improvement after further pre-training is insignificant in some domains. As such, it is difficult to decide to develop a domain-specific pre-trained language model, while it is not clear whether the performance will be improved dramatically. In this paper, we present a way to proactively check the expected performance improvement by further pre-training in a domain before actually performing further pre-training. Specifically, after selecting three domains, we measured the increase in classification accuracy through further pre-training in each domain. We also developed and presented new indicators to estimate the specificity of the domain based on the normalized frequency of the keywords used in each domain. Finally, we conducted classification using a pre-trained language model and a domain-specific pre-trained language model of three domains. As a result, we confirmed that the higher the domain specificity index, the higher the performance improvement through further pre-training.