• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.64-67
• /
• 2020

최근 다양한 분야에서 딥 러닝 기반의 많은 연구가 진행되고 있으며 이에 따라 딥 러닝 모델의 경량화를 통해 제한된 메모리를 가진 하드웨어에 올릴 수 있는 경량화 된 딥 뉴럴 네트워크(DNN)를 개발하는 연구도 활발해졌다. 이에 본 논문은 주파수 영역에서의 군집화 기반 계층별 딥 뉴럴 네트워크 압축을 제안한다. 이산 코사인 변환, 양자화, 군집화, 적응적 엔트로피 코딩 과정을 각 모델의 계층에 순차적으로 적용하여 DNN이 차지하는 메모리를 줄인다. 제안한 알고리즘을 통해 VGG16을 손실률은 1% 미만의 손실에서 전체 가중치를 3.98%까지 압축, 약 25배가량 경량화 할 수 있었다.

• 한국산업정보학회:학술대회논문집
• /
• 한국산업정보학회 1998년도 춘계공동학술대회 발표논문집 IMF시대의정보화 추진전략
• /
• pp.93-98
• /
• 1998

본 논문에서는 양자화 결합 네트워크의 시계열 패턴의 기억 특성을 뉴로-칩 상에서 검토하기 위하여, 결합 하중이 $\pm$1 및 0로프로그램 가능한 네트워크를 설계하고 집적화 하였다. 제작된 칩 사이즈는 2.2mm $\times$2.2mm이며 1.2um CMOS 설계기술을 이용하여 7개의 뉴런과 49개의 시냅스 회로를 내장한다. 측정 결과, 설계된 네트워크는 동적 패턴을 성공적으로 기억한다. 또한, 특정한 리미트사이클을 네트워크에 기억시킬 수 있는 결합 하중의 구성방법을 제안한다. 이 방법은 간단한 결합하중과 정밀도의 관점에서 하드웨어 구성에 유용하다.

• 한국컴퓨터정보학회논문지
• /
• 제29권7호
• /
• pp.11-20
• /
• 2024

본 논문에서는 생성 모델을 이용한 데이터 프리 양자화에서 발생할 수 있는 지식 격차를 줄이기 위하여 BAG (Bit-width Aware Generator)와 채널 어텐션 기반 중간 레이어 지식 증류를 제안한다. 생성 모델을 이용한 데이터 프리 양자화의 생성자는 오직 원본 네트워크의 피드백에만 의존하여 학습하기 때문에, 양자화된 네트워크의 낮은 bit-width로 인한 감소된 수용 능력 차이를 학습에 반영하지 못한다. 제안한 BAG는 양자화된 네트워크와 동일한 bit-width로 양자화하여, 양자화된 네트워크에 맞는 합성 이미지를 생성하여 이러한 문제를 완화한다. 또한, 양자화된 네트워크와 원본 모델 간의 지식 격차를 줄이는 것 역시 양자화에서 매우 중요한 문제이다. 이를 완화하기 위해 제안한 채널 어텐션 기반 중간 레이어 지식 증류는 학생 모델이 교사 모델로부터 어떤 채널에 더 집중해서 학습해야 하는지를 가르친다. 제안한 기법의 효율성을 보이기 위해, CIFAR-100에서 학습한 원본 네트워크를 가중치와 활성값을 각각 3-bit로 양자화하여 학습을 수행하였다. 그 결과 56.14%의 Top-1 Accuracy를 달성하였으며, 베이스라인 모델인 AdaDFQ 대비 3.4% 정확도를 향상했다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2017년도 하계학술대회
• /
• pp.99-101
• /
• 2017

최근 딥러닝을 이용한 SAR 영상의 목표물을 인식하는 알고리즘이 괄목할만한 성능을 보여주었다. 이러한 알고리즘들은 포즈 각도 정보를 무시한 채 목표물의 종류를 추정하는 것에만 초점을 맞춘다. 포즈 각도 추정 알고리즘은 단지 SAR 영상 목표물 인식 알고리즘의 전처리 과정으로 연구되었다. 하지만 감시 시스템에서, 목표물이 향하고 있는 방향을 추정하는 것 또한 중요하다. 먼저, 포즈 각도 추정을 통하여 적의 전술 배치를 계획을 추정할 수 있다. 또한 목표물이 아군 쪽을 바라보면 큰 위협이 되는데, 포즈 각도 추정을 통하여 이러한 정보를 알 수 있다. 따라서 본 논문은 목표물이 향하고 방향을 추정할 수 있는 콘볼루션 네트워크를 고안하였다. 네트워크를 학습시키기 위하여 SAR 영상의 목표물의 포즈 각도를 양자화하여 포즈 각도 label 을 구성하였다. 또한 이러한 포즈 각도 추정을 정제하는 알고리즘을 고안하였고 이는 보다 정확한 포즈 각도 추정을 가능하게 하였다. 그 결과, 제안된 네트워크는 포즈 각도 추정에 높은 정확도를 보여준다.