• 반도체공학회 논문지
• /
• 제1권1호
• /
• pp.23-30
• /
• 2023

최근 거대 IT 기업들의 Generative AI 기술 개발로 Transformer 모델의 규모가 조 단위를 넘어가며 기하급수적으로 증가하고 있다. 이러한 AI 서비스를 지속적으로 가능케 하기 위해선 모델 경량화가 필수적이다. 본 논문에서는 하드웨어 친화적으로 구조화된(structured) 프루닝 패턴을 찾아 Transformer 모델의 경량화 방법을 제안한다. 이는 모델 알고리즘의 특성을 살려 압축을 진행하기 때문에 모델의 크기는 줄어들면서 성능은 최대한 유지할 수 있다. 실험에 따르면 GPT2 와 BERT 언어 모델을 프루닝할 때 제안하는 구조화된 프루닝 기법은 희소성이 높은 영역에서도 미세 조정된(fine-grained) 프루닝과 거의 흡사한 성능을 보여준다. 이 접근 방식은 미세 조정된 프루닝 대비 0.003%의 정확도 손실로 모델매개 변수를 80% 줄이고 구조화된 형태로 하드웨어 가속화를 진행할 수 있다.

• 한국컴퓨터정보학회논문지
• /
• 제28권4호
• /
• pp.31-39
• /
• 2023

본 논문에서는 이종 모델의 특징맵 간 상관관계인 외부적 상관관계와 동종 모델 내부 특징맵 간 상관관계인 내부적 상관관계를 활용하여 교사 모델로부터 학생 모델로 지식을 전이하는 Internal/External Knowledge Distillation (IEKD)를 제안한다. 두 상관관계를 모두 활용하기 위하여 특징맵을 시퀀스 형태로 변환하고, 트랜스포머를 통해 내부적/외부적 상관관계를 고려하여 지식 증류에 적합한 새로운 특징맵을 추출한다. 추출된 특징맵을 증류함으로써 내부적 상관관계와 외부적 상관관계를 함께 학습할 수 있다. 또한 추출된 특징맵을 활용하여 feature matching을 수행함으로써 학생 모델의 정확도 향상을 도모한다. 제안한 지식 증류 방법의 효과를 증명하기 위해, CIFAR-100 데이터 셋에서 "ResNet-32×4/VGG-8" 교사/학생 모델 조합으로 최신 지식 증류 방법보다 향상된 76.23% Top-1 이미지 분류 정확도를 달성하였다.

• 터널과지하공간
• /
• 제11권2호
• /
• pp.109-119
• /
• 2001

우리나라의 양수발전소는 지금까지 단일공동을 굴착하였다. 그러나 양양 양수발전소는 두 개의 대공동 즉, 발전소와 주 변전소로 구성된다. 이 경우 공동 구조물의 안정성, 특히 두 공동사이에 형성되는 암주를 영구적으로 안전하게 유지할 수 있도록 보장되어야 한다. 본 연구에서는 개별요소법을 이용하여 두 공동과 암주의 구조적 안정성을 평가하였으며, 구성모델로 Barton-Bandis의 절리모델을 이용하였다. 현지 암반의 초기응력, 자연절리면의 거칠기계수, 불연속면의 공간적 분포 특성과 같은 중요한 요인들은 현지 조사를 통하여 구하였다. 이외에 두가지 경우 즉, 무보강과 보강의 경우 지보시스템의 최적화를 분석하였으며, 또한 보강효과를 검토하였다. 연구결과 보강의 경우 수평변위와 절리의 전단변위가 감소되었으며 암주내 이완영역 역시 감소됨을 확인하였다. 두 공동사이에 있는 약 36 m 두께의 암주에 적절한 보강조치를 취하여 안정성을 확보할 수 있었다.