• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.152-153
• /
• 2021

고성능 딥러닝 모델은 학습과 추론 과정에서 고비용의 전산 자원과 많은 연산량을 필요로 하여 이에 따른 개발 환경과 많은 학습 시간을 필요로 하여 개발 지연과 한계가 발생한다. 따라서 HW 또는 SW 개선을 통해 파라미터 수, 학습 시간, 추론시간, 요구 메모리를 줄이는 연구가 지속 되어 왔다. 본 논문은 EfficientNet에서 사용된 Linear Bottleneck을 변경하여 정확도는 소폭 감소 하지만 기존 모델의 파라미터를 55%로 줄이는 경량화 모델을 제안한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.01a
• /
• pp.219-220
• /
• 2021

본 논문에서는 마이크로컨트롤러에서 6축 IMU 센서를 사용한 제스쳐를 인식하기 위한 최적화된 학습 방법을 제안한다. 6축 센서값을 119번 샘플링할 경우 특징 차원이 매우 크기 때문에 다층 신경망을 이용할 경우 학습파라미터가 마이크로컨트롤러의 메모리 허용량을 초과하게 된다. 본 논문은 성능은 유지하며 학습 파라미터 개수를 효과적으로 줄이기 위한 마이크로컨트롤러에 최적화된 1D CNN을 제안한다.

• Journal of Broadcast Engineering
• /
• v.28 no.1
• /
• pp.42-54
• /
• 2023

It is an important issue to compress huge holographic data in a digital format. In particular, research on the compression of phase-only holograms for commercialization is noteworthy. Conventional video coding standards optimized for natural images are not suitable for compressing phase signals, and neural network-based compression model that can be optimized for phase signals can achieve high performance, but has a memory issue in learning high-resolution holographic data. In this paper, we show that by applying a block-based learned image compression model that can solve memory problems to phase-only holograms, the proposed method can demonstrate significant performance improvement over standard codecs even under the same conditions as block-based. Block-based learned compression model can provide compatibility with conventional standard codecs, solve memory problems, and can perform significantly better against phase-only hologram compression.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.01a
• /
• pp.257-260
• /
• 2021

본 논문에서는 카메라의 포커싱과 아웃포커싱에 의해 이미지에서 뿌옇게 표현되는 DoF(Depth of field, 피사계 심도) 영역을 쿼드트리(Quadtree) 기반의 합성곱 신경망을 통해 빠르게 찾는 방법을 제안한다. 우리의 접근 방식은 RGB채널기반의 상호-상관 필터를 이용하여 DoF영역을 이미지로부터 효율적으로 분류하고, 적응형 트리인 쿼드트리를 기반으로 유의미한 영역만을 분류한다. 이 과정에서 손실 없이 온전하게 DoF영역을 추출하기 위한 필터링 과정을 거친다. 이러한 과정에서 얻어진 이미지 패치들은 전체 이미지에 비해 적은 영역으로 나타나며, 이 적은 개수의 패치들을 이용하여 네트워크 단계에서 사용할 이미지-DoF가중치 맵 데이터 쌍을 설정한다. 네트워크 과정에서 학습할 때 사용되는 데이터는 이미지와 상호-상관 필터 기반으로 추출된 DoF 가중치 맵을 이용한다. 본 논문에서 제안하는 쿼드트리 기반 합성곱 신경망은 이미지로부터 포커싱과 아웃포커싱된 DoF영역을 자동으로 추출하는 과정을 학습시키기 위해 사용된다. 결과적으로 학습에 필요한 데이터 영역이 줄어듦으로써 학습 시간과 메모리를 절약했으며, 테스트 결과로 얻은 DoF 가중치 이미지는 입력 이미지에서 DoF영역을 더욱더 빠른 시간 내에 찾아낸다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.695-697
• /
• 2023

최근 몇 년 간 딥러닝 기반 모델의 규모와 복잡성이 증가하면서 강력하고, 높은 정확도가 확보되지만 많은 양의 계산 자원과 메모리가 필요하기 때문에 모바일 장치나 임베디드 시스템과 같은 리소스가 제한된 환경에서의 배포에 제약사항이 생긴다. 복잡한 딥러닝 모델의 배포 및 운영 시 요구되는 고성능 컴퓨터 자원의 문제점을 해결하고자 사전 학습된 대규모 모델로부터 가벼운 모델을 학습시키는 지식증류 기법이 제안되었다. 하지만 현대 딥러닝 기반 모델은 높은 정확도 대비 훈련 데이터에 과적합 되는 과잉 확신(overconfidence) 문제에 대한 대책이 필요하다. 본 논문은 효율적인 경량화를 위한 미리 학습된 모델의 과잉 확신을 방지하고자 초점 손실(focal loss)을 이용한 모델 보정 기법을 언급하며, 다양한 손실 함수 변형에 따라서 지식증류의 성능이 어떻게 변화하는지에 대해 탐구하고자 한다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.13 no.3
• /
• pp.328-333
• /
• 2003

NGE (Nested Generalized Exemplars) proposed by Salzberg improved the storage requirement and classification rate of the Memory Based Reasoning. It constructs hyperrectangles during training and performs classification tasks. It worked not bad in many area, however, the major drawback of NGE is constructing hyperrectangles because its hyperrectangle is extended so as to cover the error data and the way of maintaining the feature weight vector. We proposed the OH (Optimizing Hyperrectangle) algorithm which use the feature weight vectors and the ED(Exemplar Densimeter) to optimize resulting Hyperrectangles. The proposed algorithm, as well as the EACH, required only approximately 40% of memory space that is needed in k-NN classifier, and showed a superior classification performance to the EACH. Also, by reducing the number of stored patterns, it showed excellent results in terms of classification when we compare it to the k-NN and the EACH.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.638-643
• /
• 2023

문서 기반 대화 시스템은 크게 질문으로부터 문서를 검색하는 과정과 응답 텍스트를 생성하는 과정으로 나뉜다. 이러한 대화 시스템의 응답 생성 과정에 디코더 기반 LLM을 사용하기 위해서 사전 학습된 LLM을 미세 조정한다면 많은 메모리, 연산 자원이 소모된다. 본 연구에서는 SVD에 기반한 LLM의 경량화를 시도한다. 사전 학습된 polyglot-ko 모델의 행렬을 SVD로 분해한 뒤, full-fine-tuning 해보고, LoRA를 붙여서 미세 조정 해본 뒤, 원본 모델을 미세 조정한 것과 점수를 비교하고, 정성평가를 수행하여 경량화된 모델의 응답 생성 성능을 평가한다. 문서 기반 대화를 위한 한국어 대화 데이터셋인 KoDoc2Dial에 대하여 평가한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2020.01a
• /
• pp.175-176
• /
• 2020

본 논문에서는 가상 현실 기기를 이용하여 스택, 큐, 트리 등과 같은 복잡한 자료구조에 대한 학습을 도와주는 학습 지원 시스템을 제안한다. 컴퓨터 프로그래밍에서 적절한 자료구조를 선택함으로써 보다 효율적인 알고리즘을 구현할 수 있으며 프로그램 실행시간, 메모리 용량과 같은 컴퓨팅 자원을 효율적으로 사용할 수 있다. 본 논문에서 제안하는 EZ 학습 시스템은 비전공자의 자료구조 학습에 도움을 주며 특히, 스마트 폰 기반의 가상 현실 기기를 사용하여 학습자의 흥미를 유발하고자 한다. 학습자는 가상공간을 통해 정보를 보다 쉽게 받아들이고, 게임적인 요소를 통해 학습에 대한 집중도를 높일 수 있을 것으로 기대된다. EZ 학습 시스템은 스택 자료형에 대한 개념 설명, 스택 연산자 학습, 미로 탐색을 통한 스택 응용 사례를 제공한다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2021.05a
• /
• pp.55-58
• /
• 2021

PFCM-R 알고리즘을 적용한 기존의 반려견 진단 방법에서는 클러스터링에서 사용되는 파라미터 값을 경험적으로 설정하고 견주가 입력하는 증상들 사이에서 관련성이 낮은 증상이 필터링 되지 않아서 질병의 도출 성능을 저하시키는 원인이 된다. 따라서 본 논문에서는 노드 활성 함수를 적용하여 증상간의 관련성이 적은 증상 데이터를 제거하여 학습 데이터를 구성한 후, 연상 메모리 알고리즘에 적용하여 반려견의 질병에 대한 진단 성능을 개선시키는 하이브리드 기반 다층 학습 구조를 제안하여 반려견 진단에 적용한다. 기존의 PFCM-R 알고리즘 진단 방법과 제안된 하이브리드 다층 구조 진단 방법을 비교분석한 결과, 기존의 방법보다 제안된 방법이 입력된 증상들에 대해서 기존의 방법보다 관련성이 있는 질병 도출 성능이 23.7%가 개선되었다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.233-236
• /
• 2020

개체 연결 태스크는 문장 내에 등장하는 멘션(Mention)들을 위키피디아(Wikipedia)와 같은 지식 베이스 상의 실제 개체에 연결하는 태스크이다. 본 논문에서는 각 멘션을 시멘틱(Semantic)으로 분류하여 각 시멘틱별 추가 학습을 진행할 수 있는 Adapter Memory Network 모델을 제안한다. 이는 각 시멘틱 별 학습을 하나의 통합된 과정으로 진행하도록 하는 모델이며, 본 논문에서는 Adapter Memory Network 모델을 통해 기존 개체 연결 태스크에서 높은 성능을 보이는 NIL 멘션 탐지와 개체 연결의 통합 모델의 성능을 향상시켰음을 보인다.