• 대한임베디드공학회논문지
• /
• 제15권1호
• /
• pp.1-8
• /
• 2020

A derivation method for a quantized gradient for machine learning on an embedded system is proposed, in this paper. The proposed differentiation method induces the quantized gradient vector to an objective function and provides that the validation of the directional derivation. Moreover, mathematical analysis shows that the sequence yielded by the learning equation based on the proposed quantization converges to the optimal point of the quantized objective function when the quantized parameter is sufficiently large. The simulation result shows that the optimization solver based on the proposed quantized method represents sufficient performance in comparison to the conventional method based on the floating-point system.

• 한국컴퓨터정보학회논문지
• /
• 제29권7호
• /
• pp.11-20
• /
• 2024

본 논문에서는 생성 모델을 이용한 데이터 프리 양자화에서 발생할 수 있는 지식 격차를 줄이기 위하여 BAG (Bit-width Aware Generator)와 채널 어텐션 기반 중간 레이어 지식 증류를 제안한다. 생성 모델을 이용한 데이터 프리 양자화의 생성자는 오직 원본 네트워크의 피드백에만 의존하여 학습하기 때문에, 양자화된 네트워크의 낮은 bit-width로 인한 감소된 수용 능력 차이를 학습에 반영하지 못한다. 제안한 BAG는 양자화된 네트워크와 동일한 bit-width로 양자화하여, 양자화된 네트워크에 맞는 합성 이미지를 생성하여 이러한 문제를 완화한다. 또한, 양자화된 네트워크와 원본 모델 간의 지식 격차를 줄이는 것 역시 양자화에서 매우 중요한 문제이다. 이를 완화하기 위해 제안한 채널 어텐션 기반 중간 레이어 지식 증류는 학생 모델이 교사 모델로부터 어떤 채널에 더 집중해서 학습해야 하는지를 가르친다. 제안한 기법의 효율성을 보이기 위해, CIFAR-100에서 학습한 원본 네트워크를 가중치와 활성값을 각각 3-bit로 양자화하여 학습을 수행하였다. 그 결과 56.14%의 Top-1 Accuracy를 달성하였으며, 베이스라인 모델인 AdaDFQ 대비 3.4% 정확도를 향상했다.

• 방송공학회논문지
• /
• 제25권2호
• /
• pp.157-165
• /
• 2020

본 논문에서는 임베디드 시스템에서의 양자화 기계학습을 수행할 경우 발생하는 양자화 오차를 효과적으로 보상하기 위한 방법론을 제안한다. 경사 도함수(Gradient)를 사용하는 기계학습이나 비선형 신호처리 알고리즘에서 양자화 오차는 경사 도함수의 조기 소산(Early Vanishing Gradient)을 야기하여 전체적인 알고리즘의 성능 하락을 가져온다. 이를 보상하기 위하여 경사 도함수의 최대 성분에 대하여 직교하는 방향의 보상 탐색 벡터를 유도하여 양자화 오차로 인한 성능 하락을 보상하도록 한다. 또한, 기존의 고정 학습률 대신, 내부 순환(Inner Loop) 없는 비선형 최적화 알고리즘에 기반한 적응형 학습률 결정 알고리즘을 제안한다. 실험 결과 제안한 방식의 알고리즘을 로젠블록 함수를 통한 비선형 최적화 문제에 적용할 시 양자화 오차로 인한 성능 하락을 최소화시킬 수 있음을 확인하였다.

• 한국산업정보학회논문지
• /
• 제7권3호
• /
• pp.62-67
• /
• 2002

본 논문에서는 기존의 결정론적 볼츠만 머신의 학습알고리즘을 수정하여 양자화결합을 갖는 결정론적 볼츠만 머신에도 적용할 수 있는 알고리즘을 제안하였다. 제안한 알고리즘을 2-입력 XOR 문제와 3-입력 패리티 문제에 적용하여 성능을 분석하였다. 그 결과 하중이 대폭적으로 양자화된 네트워크에 대해서도 학습이 가능하다는 것과 은닉층 뉴런의 수를 증가시키면 한정된 하중값의 범위로 유지할 수 있는 것을 보여준다. 또한 1회에 갱신하는 하중의 갯수를 제어함으로써 학습계수를 제어하는 효과가 얻어지는 것을 확인하였다.

• Journal of information and communication convergence engineering
• /
• 제15권1호
• /
• pp.7-13
• /
• 2017

We consider a distributed estimation where many nodes remotely placed at known locations collect the measurements of the parameter of interest, quantize these measurements, and transmit the quantized data to a fusion node; this fusion node performs the parameter estimation. Noting that quantizers at nodes should operate in a non-regular framework where multiple codewords or quantization partitions can be mapped from a single measurement to improve the system performance, we propose a low-weight estimation algorithm that finds the most feasible combination of codewords. This combination is found by computing the weighted sum of the possible combinations whose weights are obtained by counting their occurrence in a learning process. Otherwise, tremendous complexity will be inevitable due to multiple codewords or partitions interpreted from non-regular quantized data. We conduct extensive experiments to demonstrate that the proposed algorithm provides a statistically significant performance gain with low complexity as compared to typical estimation techniques.

• 대한전자공학회논문지
• /
• 제27권8호
• /
• pp.1294-1302
• /
• 1990

In this paper, optical implementation of single layer perceptron to discriminate the even and odd numbers using commericla LCTV spatial light modulator is described. In order to overcome the low dynamic range of gray levels of LCTV, nonlinear quantized perceptron model is introduced, which is analyzed to have faster convergent time with small gray levels through the computer simulation. And the analog weights containing positive and negative values of single layer perceptron is represented by using the polarization-based encoding method. Finally, optical implementation of the nonlinear quantized perceptron learning model based on polarization property of the commercial LCTV is proposed and some experimental results are given.

• 대한전기학회논문지
• /
• 제40권4호
• /
• pp.374-381
• /
• 1991

As a diagnostic image of hospitl, the utilization of digital image is steadily increasing. Image coding is indispensable for storing and compressing an enormous amount of diagnostic images economically and effectively. In this paper adaptive two stage vector quantization based on Kohonen's neural network for the compression of cardioangiography among typical angiography of radiographic image sequences is presented and the performance of the coding scheme is compare and gone over. In an attempt to exploit the known characteristics of changes in cardioangiography, relatively large blocks of image are quantized in the first stage and in the next stage the bloks subdivided by the threshold of quantization error are vector quantized employing the neural network of frequency sensitive competitive learning. The scheme is employed because the change produced in cardioangiography is due to such two types of motion as a heart itself and body motion, and a contrast dye material injected. Computer simulation shows that the good reproduction of images can be obtained at a bit rate of 0.78 bits/pixel.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2000년도 추계학술대회 학술발표 논문집
• /
• pp.409-412
• /
• 2000

본 논문에서는 기존의 결정론적 볼츠만 머신의 학습알고리듬을 수정하여 양자화결합을 갖는 볼츠만 머신에도 적용할 수 있는 알고리듬을 제안하였다. 제안한 알고리듬은 2-입력 XOR문제와 3-입력 패리티문제에 적용하여 성능을 분석하였다. 그 결과 하중이 대폭적으로 양자화된 네트워크도 학습이 가능하다는 것은 은닉 뉴런수를 증가시키면 한정된 하중값의 범위로 유지할 수 있다는 것을 보여주었다. 또한 1회에 갱신하는 하중의 개수 m$_{s}$를 제어함으로써 학습계수를 제어하는 효과가 얻어지는 것을 확인하였다..

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.110-113
• /
• 2019

본 논문에서는 임베디드 시스템에서의 양자화 기계학습을 수행할 경우 발생하는 양자화 오차를 효과적으로 보상하기 위한 방법론을 제안한다. 경사 도함수(Gradient)를 사용하는 기계학습이나 비선형 신호처리 알고리즘에서 양자화 오차는 경사 도함수의 조기 소산(Early Vanishing Gradient)을 야기하여 전체적인 알고리즘의 성능 하락을 가져온다. 이를 보상하기 위하여 경사 도함수의 최대 성분에 대하여 직교하는 방향의 보상 탐색 벡터를 유도하여 양자화 오차로 인한 성능 하락을 보상하도록 한다. 또한, 기존의 고정 학습률 대신, 내부 순환(Inner Loop) 없는 비선형 최적화 알고리즘에 기반한 적응형 학습률 결정 알고리즘을 제안한다. 실험결과 제안한 방식의 알고리즘을 비선형 최적화 문제에 적용할 시 양자화 오차로 인한 성능 하락을 최소화시킬 수 있음을 확인하였다.

• 한국음향학회지
• /
• 제43권2호
• /
• pp.243-252
• /
• 2024

최근에 연구되기 시작한 폴리(Foley) 음향 생성 모델 중 벡터 양자화 변분 오토인코더(Vector Quantized-Variational AutoEncoder, VQ-VAE) 구조와 Pixelsnail 등 생성모델을 활용한 생성 기법은 중요한 연구대상 중 하나이다. 한편, 딥러닝 기반의 음향 신호의 압축/복원 분야에서는 기존의 VQ-VAE 구조에 비해 잔여 벡터 양자화 기술이 더 적합한 것으로 보고되고 있으며, 따라서 본 논문에서는 폴리 음향 생성 분야에서도 잔여 벡터 양자화 기술이 효과적으로 적용될 수 있을지 연구하고자 한다. 이를 위하여 본 논문에서는 기존의 VQ-VAE 기반의 폴리 음향 생성 모델에 잔여 벡터 양자화 기술을 적용하되, Pixelsnail 등 기존의 다른 모델과 호환이 가능하고 연산 자원의 소모를 늘리지 않는 모델을 고안하여 그 효과를 확인하고자 하였다. 효과를 검증하기 위하여 DCASE2023 Task7의 데이터를 활용하여 실험을 진행하였으며, 그 결과 평균적으로 0.3 가량의 Fréchet audio distance 의 향상을 보이는 것을 확인하였다. 다만 그 성능 향상의 정도가 제한적이었으며, 이는 연산 자원의 소모를 유지하기 위하여 시간-주파수축의 분해능이 저하된 영향으로 판단된다.