• Proceedings of the Korean Institute of Surface Engineering Conference
• /
• 2017.05a
• /
• pp.122-122
• /
• 2017

인산-망간 화성피막의 경우 양질의 피막층을 형성하기 위하여 표면조정제를 사용하고 있으며, 화성피막 직전에 표면 조정제 처리를 하여 피막 결정의 미세, 치밀, 균일하게 하는 동시에 피막의 화성시간을 단축하고 있다. 본 연구는 표면조정제의 입자 사이즈에 따른 화성피막 입자 사이즈 변화 및 물리적인 특성 향상을 확인하였다. 하지금속 소재로는 기계구조용 탄소강재(SM45C)을 $50{\times}50{\times}3mm$로 제작하였고, 전처리 공정으로는 탈지 ${\rightarrow}$ 에칭 ${\rightarrow}$ 디스머트 후 표면조정제 입자 사이즈별로 표면조정 후, 화성피막 처리를 하였으며 각 조건에 따른 피막 층의 미세조직은 SEM을 사용하여 관찰하였고, 윤활성은 내마모시험기(Ball on disc)를 사용하여 마찰계수 측정을 통해 확인하였으며, 내식성은 5% NaCl 염수분무를 실시하여 적청 발생 면적으로 측정하였다. 표면조정제의 입자 사이즈는 4종류로 세분화하여 표면조정 후 화성피막 처리하였으며, 표면조정제의 입자 사이즈를 미세화함에 따라 화성피막의 입자 사이즈가 미세, 균일해지고 피막의 치밀도가 향상됨을 확인할 수 있었다. 표면조정제의 미분화는 소재 표면에 작고 치밀한 결정(활성점)을 만들며, 표면조정제의 입자 사이즈가 작아질수록 이러한 활성점의 크기가 미세해지고 화성피막의 입자 사이즈 또한 미세화 시키는 역할을 하는 것을 확인 할 수 있었다. 이처럼 표면 조정제의 입자 사이즈에 따른 화성피막 입자 사이즈 및 물성변화는 SEM, 내마모시험 및 내식성 시험을 통하여 확인할 수 있었다. 즉, 표면조정제의 입자 사이즈가 미세해질수록, 화성피막의 입자사이즈가 미세화되었고, 윤활성 및 내식성이 향상되는 것을 확인 할 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.324-328
• /
• 2022

기계 독해란 주어진 문서를 이해하고 문서 내의 내용에 대한 질문에 답을 추론하는 연구 분야이며, 기계 독해 문제의 종류 중에는 여러 개의 선택지에서 질문에 대한 답을 선택하는 객관식 형태의 문제가 존재한다. 이러한 자연어 처리 문제를 해결하기 위해 기존 연구에서는 사전학습된 언어 모델을 미세조정하여 사용하는 방법이 널리 활용되고 있으나, 학습 데이터가 부족한 환경에서는 기존의 일반적인 미세조정 방법으로 모델의 성능을 높이는 것이 제한적이며 사전학습된 의미론적인 정보를 충분히 활용하지 못하여 성능 향상에 한계가 있다. 이에 본 연구에서는 기존의 일반적인 미세조정 방법에 템플릿을 적용한 템플릿 기반 미세조정 방법을 통해 사전학습된 의미론적인 정보를 더욱 활용할 수 있도록 한다. 객관식 형태의 기계 독해 문제 중 하나인 토익 문제에 대해 모델을 템플릿 기반 미세조정 방법으로 실험을 진행하여 템플릿이 모델 학습에 어떠한 영향을 주는지 확인하였다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.26 no.12
• /
• pp.1769-1776
• /
• 2022

Automatically summarizing long sentences is an important technique. The BART model is one of the widely used models in the summarization task. In general, in order to generate a summarization model of a specific domain, fine-tuning is performed by re-training a language model trained on a large dataset to fit the domain. The fine-tuning is usually done by changing the number of nodes in the last fully connected layer. However, in this paper, we propose a fine-tuning method by adding an attention layer, which has been recently applied to various models and shows good performance. In order to evaluate the performance of the proposed method, various experiments were conducted, such as accumulating layers deeper, fine-tuning without skip connections during the fine tuning process, and so on. As a result, the BART model using two attention layers with skip connection shows the best score.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.343-347
• /
• 2022

최근 자연어처리 분야에서는 BERT, RoBERTa, 그리고 BART와 같은 사전 학습된 언어 모델 (Pre-trained Language Models, PLM) 기반 미세 조정 학습을 통하여 여러 하위 과업에서 좋은 성능을 거두고 있다. 이는 사전 학습된 언어 모델 및 데이터 집합의 크기, 그리고 모델 구성의 중요성을 보여주며 대규모 사전 학습된 언어 모델이 각광받는 계기가 되었다. 하지만, 거대한 모델의 크기로 인하여 실제 산업에서 쉽게 쓰이기 힘들다는 단점이 명백히 존재함에 따라 최근 매개변수 효율적인 미세 조정 및 Few-Shot 학습 연구가 많은 주목을 받고 있다. 본 논문은 Prompt tuning, Prefix tuning와 프롬프트 기반 미세 조정 (Prompt-based fine-tuning)을 결합한 Few-Shot 학습 연구를 제안한다. 제안한 방법은 미세 조정 ←→ 사전 학습 간의 지식 격차를 줄일 뿐만 아니라 기존의 일반적인 미세 조정 기반 Few-Shot 학습 성능보다 크게 향상됨을 보인다.

• Journal of the Korean Association of Geographic Information Studies
• /
• v.20 no.4
• /
• pp.15-23
• /
• 2017

The WGS conversion project of cadastral drawing (promoted by the Ministry of Land) is not able to reflect the cadastral registration due to subtle differences such as area and location. When converting the digital cadastral region to the world geodetic system, the boundary point coordinates must be changed to the legal coordinate units. However, there is a phenomenon that occurs in which the minute area changes do not coincide with the area registered in the cadastral registration when the coordinate unit is changed. In this study, we have developed a method to adjust many parcels collectively by applying a passive fine-tuning method used in cadastral resurvey project to solve these problems. Total 1, total 2+1, interval 1, interval 2+1, etc. were classified based on the number of parcels that need to be considered for the range of adjustment and the area condition. The analysis of the experimental area (after developing SW for comparison of each method) showed that the total 2+1 method is suitable for the location accuracy and the interval 2+1 method is suitable for the temporal efficiency.

• 대한미세수술학회:학술대회논문집
• /
• 1999.11a
• /
• pp.210-210
• /
• 1999

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.517-521
• /
• 2023

최근 거대 언어모델의 등장과 동시에, 많은 매개변수를 효과적으로 학습하는 방법인 효율적인 매개변수 미세조정(Parameter Efficient Fine-Tuning) 연구가 활발히 진행되고 있다. 이 중에서 Adapter는 사전학습 언어모델(Pretrained Language Models)에 몇 개의 추가 병목 구조 모듈을 삽입하여 이를 학습하는 방식으로, 등장한 이후 다양한 연구 영역에서 주목받고 있다. 그러나 몇몇 연구에서는 병목 차원을 증가시켜 미세 조정보다 더 나은 성능을 얻는다는 주장이 나오면서, 원래의 의도와는 다른 방향으로 발전하고 있다는 의견도 있다. 이러한 맥락에서, 본 연구에서는 기존의 Adapter 구조를 개선한 MAdapter를 제안한다. MAdapter는 본래 Adapter에 중간 층을 추가하되 학습 가능한 매개변수의 수는 오히려 줄이는 방법으로, 전체 매개변수 수 대비 1% 내외 만을 학습에 활용하며, Adapter 대비 절반 정도의 매개변수만을 사용하여 기존 결과와 비슷하거나 더 나은 성능을 얻을 수 있는 것을 확인할 수 있다. 또한, 병목차원 크기 비교와 중간 층 개수 분석을 통한 최적의 MAdapter 구조를 찾고, 이로써 효율적인 매개변수 미세조정 방법을 제시한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.269-274
• /
• 2023

질의응답 (Question Answering)은 주어진 질문을 이해하여 그에 맞는 답변을 생성하는 자연어 처리 분야의 핵심적인 기계 독해 작업이다. 현재 대다수의 자연어 이해 작업은 사전학습 언어 모델에 미세 조정 (finetuning)하는 방식으로 학습되고, 질의응답 역시 이러한 방법으로 진행된다. 하지만 미세 조정을 통한 전이학습은 사전학습 모델의 크기가 커질수록 전이학습이 잘 이루어지지 않는다는 단점이 있다. 게다가 많은 양의 파라미터를 갱신한 후 새로운 가중치들을 저장하여야 한다는 용량의 부담이 존재한다. 본 연구는 최근 대두되는 deep prompt tuning 방법론을 한국어 추출형 질의응답에 적용하여, 미세 조정에 비해 학습시간을 단축시키고 적은 양의 파라미터를 활용하여 성능을 개선했다. 또한 한국어 추출형 질의응답에 최적의 prompt 길이를 최적화하였으며 오류 분석을 통한 정성적인 평가로 deep prompt tuning이 모델 예측에 미치는 영향을 조사하였다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.638-643
• /
• 2023

문서 기반 대화 시스템은 크게 질문으로부터 문서를 검색하는 과정과 응답 텍스트를 생성하는 과정으로 나뉜다. 이러한 대화 시스템의 응답 생성 과정에 디코더 기반 LLM을 사용하기 위해서 사전 학습된 LLM을 미세 조정한다면 많은 메모리, 연산 자원이 소모된다. 본 연구에서는 SVD에 기반한 LLM의 경량화를 시도한다. 사전 학습된 polyglot-ko 모델의 행렬을 SVD로 분해한 뒤, full-fine-tuning 해보고, LoRA를 붙여서 미세 조정 해본 뒤, 원본 모델을 미세 조정한 것과 점수를 비교하고, 정성평가를 수행하여 경량화된 모델의 응답 생성 성능을 평가한다. 문서 기반 대화를 위한 한국어 대화 데이터셋인 KoDoc2Dial에 대하여 평가한다.

• Korean Journal of Optics and Photonics
• /
• v.13 no.5
• /
• pp.384-389
• /
• 2002

A new idea of the wavelength locking module for DWDM application was investigated in the present research. Only one etalon photo-diode is generally used in the internal/external wavelength locking system. For the internal wavelength locking module with 50 GHz applications, an algle tuning method of the etalon commonly applied. However, the alignment process of the etalon with the angle tuning method is limited because the lock performance is extremely sensitive accoriding to the change of the tilting angle. In an optical viewpoint, the alignment tolerance of the locker module with the etalon PD array block was good, and the precise tuning of the wavelength was possible. The characteristics of free spectral range (FSR) and peak shift of wavelength according to the tilting angle with the locker module was investigated. For the present module, the optimized initial tilting angle was experimentally obtained.