• 반도체공학회 논문지
• /
• 제1권1호
• /
• pp.23-30
• /
• 2023

최근 거대 IT 기업들의 Generative AI 기술 개발로 Transformer 모델의 규모가 조 단위를 넘어가며 기하급수적으로 증가하고 있다. 이러한 AI 서비스를 지속적으로 가능케 하기 위해선 모델 경량화가 필수적이다. 본 논문에서는 하드웨어 친화적으로 구조화된(structured) 프루닝 패턴을 찾아 Transformer 모델의 경량화 방법을 제안한다. 이는 모델 알고리즘의 특성을 살려 압축을 진행하기 때문에 모델의 크기는 줄어들면서 성능은 최대한 유지할 수 있다. 실험에 따르면 GPT2 와 BERT 언어 모델을 프루닝할 때 제안하는 구조화된 프루닝 기법은 희소성이 높은 영역에서도 미세 조정된(fine-grained) 프루닝과 거의 흡사한 성능을 보여준다. 이 접근 방식은 미세 조정된 프루닝 대비 0.003%의 정확도 손실로 모델매개 변수를 80% 줄이고 구조화된 형태로 하드웨어 가속화를 진행할 수 있다.

• 한국정보통신학회논문지
• /
• 제17권3호
• /
• pp.665-671
• /
• 2013

이안식 일체형 입체카메라는 편리한 입체 촬영이 가능하지만 줌인시 고정된 컨버전스포인트로 인해 촬영된 영상 시청시에 어지러움을 유발하는 시각적 불편이 발생할 수 있으므로 이를 방지하기 위한 연구가 필요하다. 본 논문에서는 이안식 일체형 입체카메라에서 줌인시 발생되는 시각적 불편을 방지하기 위해 컨버전스 포인트를 조정하는 기법을 제시한다. 먼저, 포커스, 피사체 및 컨버전스포인트의 위치에 따른 관계모델을 9가지로 분류하고 정의한다. 그리고 이 모델에서 컨버전스포인트를 조정하여 시각적 불편을 최소화하는 기법을 제안한다. 또한 제안한 기법을 애널그리프 방식의 컴퓨터 그래픽으로 구현하여 우수성을 입증한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.678-680
• /
• 2023

본 논문은 정확하면서도 효율적인 한국어 문장 분류 기법에 대해서 논의한다. 최근 자연어처리 분야에서 사전 학습된 언어 모델(Pre-trained Language Models, PLM)은 미세조정(fine-tuning)을 통해 문장 분류 하위 작업(downstream task)에서 성공적인 결과를 보여주고 있다. 하지만, 이러한 미세조정은 하위 작업이 바뀔 때마다 사전 학습된 언어 모델의 전체 매개변수(model parameters)를 학습해야 한다는 단점을 갖고 있다. 본 논문에서는 이러한 문제를 해결할 수 있도록 도메인 적응기(domain adapter)를 활용한 한국어 문장 분류 프레임워크인 DAKS(Domain Adaptation-based Korean Sentence classification framework)를 제안한다. 해당 프레임워크는 학습되는 매개변수의 규모를 크게 줄임으로써 효율적인 성능을 보였다. 또한 문장 분류를 위한 특징(feature)으로써 한국어 사전학습 모델(KLUE-RoBERTa)의 다양한 은닉 계층 별 은닉 상태(hidden states)를 활용하였을 때 결과를 비교 분석하고 가장 적합한 은닉 계층을 제시한다.

• 한국원자력학회:학술대회논문집
• /
• 한국원자력학회 1997년도 춘계학술발표회논문집(1)
• /
• pp.159-165
• /
• 1997

영광 3호기에서 발생한 부하탈락으로 인만 과도현상 때의 운전 데이터를 이용하여 전체의 운전 영역에서 잘 맞는 증기 발생기의 모델을 개발하였다. 모델링 기법으로는 유전자 알고리즘이 사용되었으며, 모델은 물리변수(물리적 의미를 갖는 변수)를 갖는 함수들로 구성하였다. 과도현상시의 데이터를 이용하여 증기발생기의 시변 특성을 직접 추정하기 위해 일부 물리변수를 급수온도에 대해 비선형으로 정의하였다. 잘 알려져 있는 실측 데이터를 사용하는 모델링 기법들은 선형 시불변 계에서만 적용이 가능하여 증기발생기와 같이 강한 시변 특성을 보이는 계의 모델링에 과도현상 때의 데이터를 적용할 수 없다. 물리변수를 직접 추정하면 물리적 원칙에 의해 값의 범위가 주어지며 운전 경험 또는 개략적인 데이터의 분석에 의해 예상되는 값의 범위를 비교적 작게 정할 수 있으므로 유전자 알고리즘의 적용에 유리하다. 얻어진 모델은 영광 3호기 운전원 훈련용 시뮬레이터와 발전소 설계 자료에 의해 검증되었다. 이 모델은 제어기의 설계 및 조정과 증기유량 측정 계열의 비선형 교정에도 사용될 수 있다.

• 한국항해항만학회지
• /
• 제31권8호
• /
• pp.697-703
• /
• 2007

비선형성이 강한 컨테이너 크레인은 작업 시에 호이스트 와이어로프의 길이와 화물의 질량 변화로 인해 더욱 복잡한 동역학적 특성을 나타낸다. 이 같은 복잡한 비선형시스템을 다루기 위해 퍼지로직이 종종 사용되는데, 특히 각 퍼지 규칙의 결론부를 상태 방정식으로 표현하는 T-S 퍼지모델이 대표적인 방법이다. 본 논문에서는 T-S 퍼지모델을 이용하여 호이스트 와이어로프의 길이나, 화물의 질량이 변화하는 환경에서도 컨테이너 크레인의 동특성을 표현할 수 있는 퍼지모델을 얻는 방법을 제안한다. 이때, 퍼지모델의 소속함수 파라미터는 RCGA가 결합된 모델조정기법을 통해 최적으로 조정된다. 이렇게 구현한 퍼지모델과 컨테이너 크레인 비선형시스템의 개루프 응답을 비교하여 그 유효성을 확인한다.

• 인터넷정보학회논문지
• /
• 제20권4호
• /
• pp.91-102
• /
• 2019

자율주행 시스템에서, 카메라에 포착된 영상을 통하여 보행자를 분류하는 기능은 보행자 안전을 위하여 매우 중요하다. 기존에는 HOG(Histogram of Oriented Gradients)나 SIFT(Scale-Invariant Feature Transform) 등으로 보행자의 특징을 추출한 후 SVM(Support Vector Machine)으로 분류하는 기술을 사용했었으나, 보행자 특징을 위와 같이 수동(handcrafted)으로 추출하는 것은 많은 한계점을 가지고 있다. 따라서 본 논문에서는 CNN(Convolutional Neural Network)의 깊은 특징(deep features)과 전이학습(transfer learning)을 사용하여 보행자를 안정적이고 효과적으로 분류하는 방법을 제시한다. 본 논문은 2가지 대표적인 전이학습 기법인 고정특징추출(fixed feature extractor) 기법과 미세조정(fine-tuning) 기법을 모두 사용하여 실험하였고, 특히 미세조정 기법에서는 3가지 다른 크기로 레이어를 전이구간과 비전이구간으로 구분한 후, 비전이구간에 속한 레이어들에 대해서만 가중치를 조정하는 설정(M-Fine: Modified Fine-tuning)을 새롭게 추가하였다. 5가지 CNN모델(VGGNet, DenseNet, Inception V3, Xception, MobileNet)과 INRIA Person데이터 세트로 실험한 결과, HOG나 SIFT 같은 수동적인 특징보다 CNN의 깊은 특징이 더 좋은 성능을 보여주었고, Xception의 정확도(임계치 = 0.5)가 99.61%로 가장 높았다. Xception과 유사한 성능을 내면서도 80% 적은 파라메터를 학습한 MobileNet이 효율성 측면에서는 가장 뛰어났다. 그리고 3가지 전이학습 기법중 미세조정 기법의 성능이 가장 우수하였고, M-Fine 기법의 성능은 미세조정 기법과 대등하거나 조금 낮았지만 고정특징추출 기법보다는 높았다.

• 스마트미디어저널
• /
• 제12권7호
• /
• pp.76-83
• /
• 2023

본 연구에서는 웹툰 작가의 웹툰 제작 과정을 보조하기 위해 사전학습된 Text-to-Image 모델을 미세조정하여 텍스트에서 웹툰을 생성하는 방법을 제안한다. 제안하는 방법은 웹툰 화풍으로 변환된 웹툰 데이터셋을 사용하여 사전학습된 Stable Diffusion 모델에 LoRA 기법을 활용하여 미세조정한다. 실험 결과 3만 스텝의 학습으로 약 4시간 반이 소요되어 빠르게 학습하는 것을 확인하였으며, 생성된 이미지에서는 입력한 텍스트에 표현된 형상이나 배경이 반영되어 웹툰 이미지가 생성되는 것을 확인하였다. 또한, Inception score를 통해 정량적인 평가를 수행하였을 때, DCGAN 기반의 Text-to-Image 모델보다 더 높은 성능을 나타냈다. 본 연구에서 제안된 웹툰 생성을 위한 Text-to-Image 모델을 웹툰 작가가 사용한다면, 웹툰 저작에 시간을 단축시킬 수 있을 것으로 기대된다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.18-22
• /
• 2019

FAQ 분류는 자주 묻는 질문을 범주화하고 사용자 질의에 대해 가장 유사한 클래스를 추론하는 방식으로 진행된다. FAQ 데이터셋은 클래스가 다수 존재하기 때문에 클래스 간 포함 및 연관 관계가 존재하고 특정 데이터가 서로 다른 클래스에 동시에 속할 수 있다는 특징이 있다. 그러나 최근 FAQ 분류는 다중 클래스 분류 방법론을 적용하는 데 그쳤고 FAQ 데이터셋의 특징을 모델에 반영하는 연구는 미미했다. 현 분류 방법론은 이러한 FAQ 데이터셋의 특징을 고려하지 못하기 때문에 정답으로 해석될 수 있는 예측도 오답으로 여기는 경우가 발생한다. 본 논문에서는 신뢰성이 부족한 FAQ 데이터셋에서도 분류를 잘 하기 위해 손실 함수를 조정하는 정규화 기법을 소개한다. 이 정규화 기법은 클래스 간 포함 및 연관 관계를 반영할 수 있도록 오답을 예측한 경우에도 예측 강도에 비례하여 손실을 줄인다. 이는 오답을 높은 확률로 예측할수록 데이터의 신뢰성이 낮을 가능성이 크다고 판단하여 학습을 강하게 하지 않게 하기 위함이다. 실험을 위해서는 다중 클래스 분류에서 가장 좋은 성능을 보이고 있는 모형인 BERT를 이용했으며, 비교 실험을 위한 정규화 방법으로는 통상적으로 사용되는 라벨 스무딩을 채택했다. 실험 결과, 본 연구에서 제안한 방법은 기존 방법보다 성능이 개선되고 보다 안정적으로 학습이 된다는 것을 확인했으며, 데이터의 신뢰성이 부족한 상황에서 효과적으로 분류를 수행함을 알 수 있었다.

• 한국GIS학회:학술대회논문집
• /
• 한국GIS학회 2008년도 공동추계학술대회
• /
• pp.57-62
• /
• 2008

이 연구는 우리나라에서 흔히 사용되고 있는 수질모델링 기법 중의 하나인 QUAL2E 모델을 GIS기반의 수질관리 시스템에 적용하여 농촌지역에서 활용 가능한 수질모의 시스템을 개발하는 것을 목표로 한다. 수질모의 시스템의 개발을 위해 기본적으로 지형도, 하천도, 행정구역도, 표준유역도 등으로 이루어진 도형 데이터베이스와 오염원 자료, 환경실측자료 등으로 이루어진 속성 데이터베이스를 구축하였다. 수질모의는 GIS 기반의 농촌수질모의 시스템 상에서 이루어지도록 설계하였으며 간단히 소유역별 배출 오염부하량을 조정함으로써 여러 조건에 대한 수질모의가 가능하다. 대상유역은 삽교천 상류부터 31km 구간이고 총 5개의 소유역을 포함한다. 수리계수 산정은 HEC-RAS를 사용하였으며 수리계수 산정결과는 시스템 상에 미리 저장하여 수질모의 시 자동으로 입력되어 사용된다. 소유역별 배출 오염부하량을 조정함으로써 수질변화 경향 차이를 시스템 상에서 쉽게 확인할 수 있었고, 다양한 삭감시나리오의 작성에 시스템이 활용 가능함을 확인하였다. 향후 연구에서는 체계적이고 효율적인 농촌지역 수질관리 지원을 위하여 수질모의 시스템을 이용한 실질적인 관리방안 마련 연구 및 시스템 보완 개발 연구가 뒤따라야할 것이다.

• 대한토목학회논문집
• /
• 제10권1호
• /
• pp.109-113
• /
• 1990

지적측량(地籍測量)에 의한 부동산(不動産)의 위치결정(位置決定)에 있어서 토지경계(土地境界)를 명확히 해야하고 정확도(正確度)를 높이기 위해 수치지적측량(數値地籍測量)이 요구되고 있다. 본 연구에서는 수치지적측량(數値地籍測量) 정확도(正確度)를 향상 시키기 위해 사진측량기법(寫眞測量技法) 중 독립모델법, 번들조정법, 부가변수를 갖는 번들조정법을 비교분석(比較分析) 하므로써 보다 신뢰성(信賴性)있고 정확한 수치지적(數値地籍) 측량성과(測量成果)를 얻기 위한 방법을 제시 하고자 한다.