• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.11a
• /
• pp.110-113
• /
• 2019

본 논문에서는 임베디드 시스템에서의 양자화 기계학습을 수행할 경우 발생하는 양자화 오차를 효과적으로 보상하기 위한 방법론을 제안한다. 경사 도함수(Gradient)를 사용하는 기계학습이나 비선형 신호처리 알고리즘에서 양자화 오차는 경사 도함수의 조기 소산(Early Vanishing Gradient)을 야기하여 전체적인 알고리즘의 성능 하락을 가져온다. 이를 보상하기 위하여 경사 도함수의 최대 성분에 대하여 직교하는 방향의 보상 탐색 벡터를 유도하여 양자화 오차로 인한 성능 하락을 보상하도록 한다. 또한, 기존의 고정 학습률 대신, 내부 순환(Inner Loop) 없는 비선형 최적화 알고리즘에 기반한 적응형 학습률 결정 알고리즘을 제안한다. 실험결과 제안한 방식의 알고리즘을 비선형 최적화 문제에 적용할 시 양자화 오차로 인한 성능 하락을 최소화시킬 수 있음을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.662-663
• /
• 2020

최근 MPEG 에서는 인공신경망 모델을 다양한 딥러닝 프레임워크에서 상호운용 가능한 포맷으로 압축 표현할 수 있는 NNR(Compression of Neural Network for Multimedia Content Description and Analysis) 표준화를 진행하고 있다. 본 논문에서는 MPEG-NNR 에서 CNN 모델을 압축하기 위한 지역 비선형 양자화(Local Non-linear Quantization: LNQ) 기법을 제시한다. 제안하는 LNQ 는 균일 양자화된 CNN 모델의 각 계층의 가중치 행렬 블록 단위로 추가적인 비선형 양자화를 적용한다. 또한, 제안된 LNQ 는 가지치기(pruning)된 모델의 경우 블록내의 영(zero) 값의 가중치들은 그대로 전송하고 영이 아닌 가중치만을 이진 군집화를 적용한다. 제안 기법은 음성 분류를 위한 CNN 모델(DCASE Task)의 압축 실험에서 기존 균일 양자화를 대비 동일한 분류 성능에서 약 1.78 배 압축 성능 향상이 있음을 확인하였다.

• Proceedings of the KAIS Fall Conference
• /
• 2008.05a
• /
• pp.278-281
• /
• 2008

본 논문은 그림자 밝기의 선형적 변화를 비균일하게 양자화하여 그림자를 검출하는 기법을 제안한다. 그림자의 밝기의 선형성 적용은 기하학 정보, 광원의 종류 및 방위에 독립적일 수 있다는 장점이 있다. 이 기법은 그림자 밝기가 점진적으로 변하거나 변화가 없다는 가정과 그림자는 어둡다는 공리를 기반한다. 먼저, 전처리를 통하여 그림자 후보영상을 검출한다. 다음으로, 인접화소들 사이의 선형의존성을 낮추기 위하여 유사 밝기를 대표 밝기로 표현하기 위해 양자화 한다. 이때 선형성을 증가시키 위해 등비수열을 이용하여 비균일 양자화한다. 마지막으로, 그림자 밝기의 선형적 변화 특성을 이용하여 선형의존성이 높은 그림자를 검출한다. 임의의 단일 자연영상의 실험에서, 제안한 알고리즘은 본영과 단색 배경을 갖는 반영 및 셀프그림자의 검출에 강건함을 보였다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.33 no.1C
• /
• pp.12-18
• /
• 2008

This paper This paper proposes a new inverse-quantization(IQ) table interpolation algorithm, specialized Digital Signal Processor(DSP) instructions and hardware architecture for digital audio codecs. Non-linear inverse quantization algorithm is representatively used in both MPEG-1 Layer-3 and MPEG-2/4 Advanced Audio Coding(AAC). The proposed instructions are optimized for the non-linear inverse quantization. The proposed algorithm can minimize operational complexity which reduces total computational load. Performance comparisons show a significant improvement of average error. The proposed instructions and hardware architecture can reduce 20% of the instruction counts and minimize computational loads of IQ algorithms effectively compared with existing IQ table interpolation algorithms. Proposed algorithm can implement commercial DSPs.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.26 no.5
• /
• pp.375-382
• /
• 2016

In this paper, we presents a signatures verification by using the nonlinear quantization histogram of polar coordinate based on multi-dimensional adjacent pixel intensity difference. The multi-dimensional adjacent pixel intensity difference is calculated from an intensity difference between a pair of pixels in a horizontal, vertical, diagonal, and opposite diagonal directions centering around the reference pixel. The polar coordinate is converted from the rectangular coordinate by making a pair of horizontal and vertical difference, and diagonal and opposite diagonal difference, respectively. The nonlinear quantization histogram is also calculated from nonuniformly quantizing the polar coordinate value by using the Lloyd algorithm, which is the recursive method. The polar coordinate histogram of 4-directional intensity difference is applied not only for more considering the corelation between pixels but also for reducing the calculation load by decreasing the number of histogram. The nonlinear quantization is also applied not only to still more reflect an attribute of intensity variations between pixels but also to obtain the low level histogram. The proposed method has been applied to verified 90(3 persons * 30 signatures/person) images of 256*256 pixels based on a matching measures of city-block, Euclidean, ordinal value, and normalized cross-correlation coefficient. The experimental results show that the proposed method has a superior to the linear quantization histogram, and Euclidean distance is also the optimal matching measure.

• Journal of Broadcast Engineering
• /
• v.25 no.2
• /
• pp.157-165
• /
• 2020

In this paper. we propose an effective compensation scheme to the quantization error arisen from quantized learning in a machine learning on an embedded system. In the machine learning based on a gradient descent or nonlinear signal processing, the quantization error generates early vanishing of a gradient and occurs the degradation of learning performance. To compensate such quantization error, we derive an orthogonal compensation vector with respect to a maximum component of the gradient vector. Moreover, instead of the conventional constant learning rate, we propose the adaptive learning rate algorithm without any inner loop to select the step size, based on a nonlinear optimization technique. The simulation results show that the optimization solver based on the proposed quantized method represents sufficient learning performance.

• The Journal of the Acoustical Society of Korea
• /
• v.21 no.6
• /
• pp.522-530
• /
• 2002

This paper introduces a neural network (NN) -based nonlinear predictor for the LP (Linear Prediction) residual. To evaluate the effectiveness of the NN-based nonlinear predictor for LP-residual, we first compared the average prediction gain of the linear long-term predictor with that of the NN-based nonlinear long-term predictor. Then, the effects on the quantization noise of the nonlinear prediction residuals were investigated for the NN-based nonlinear predictor A new NN predictor takes into consideration not only prediction error but also quantization effects. To increase robustness against the quantization noise of the nonlinear prediction residual, a constrained back propagation learning algorithm, which satisfies a Kuhn-Tucker inequality condition is proposed. Experimental results indicate that the prediction gain of the proposed NN predictor was not seriously decreased even when the constrained optimization algorithm was employed.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.11a
• /
• pp.240-241
• /
• 2014

3D 입체영상 변환 기술은 콘텐츠 확보의 측면에서 그 중요성이 대두되고 있다. 하지만 입체변환 기술은 매 프레임마다 모두 수작업을 거치기 때문에 다수의 인력과 오랜 작업 시간이 필요하여 생산성 문제가 발생하고 있다. 그 중 깊이영상의 외곽선을 벡터 곡선으로 그리는 작업이 수작업을 통해 이루어지고 있으며 오랜 작업시간이 걸리게 한다. 본 논문에서는 기존의 입체영상 변환 과정의 자동화율을 높이기 위한 깊이영상 양자화 및 베지어 곡선 생성 방법을 제안한다. 연속적인 깊이값을 갖는 깊이영상을 입력으로 받아 선형 또는 비선형 기반의 양자화 방법을 이용하여 깊이영상을 양자화 한다. 이 때 경계부분에 발생하는 페더를 제거하여 양자화 깊이영상의 경계를 보정한다. 양자화 깊이영상에서 같은 깊이를 잇는 등심선을 생성하고 방향 변화가 큰 지점인 굴곡점들을 추출하여 등심선을 다수의 곡선으로 구분한다. 각 곡선의 양 끝의 굴곡점과 그 사이의 중간점을 이용하여 3차 베지어 곡선의 제어 포인트를 계산한다. 같은 수행 단계를 모든 등심선에 적용하여 사용자가 미세보정하기 쉬운 3차 베지어 곡선들을 생성한다. 실험 결과를 통해 제안하는 기법의 우수성을 확인하였다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2017.10a
• /
• pp.68-70
• /
• 2017

본 논문에서는 결절종을 추출하는 과정에서 비선형 퍼지 스트레칭 기법과 FCM 기반 양자화 기법을 적용하여 결절종을 추출하는 방법을 제안한다. 제안된 결절종 추출 방법은 비선형 형태의 퍼지 스트레칭 기법을 적용하여 명암 대비를 강조한 ROI 영역에 Monotone Cubic Spline기법과 FCM 기반 양자화 기법을 적용하여 Monotone Cubic Spline기법이 적용된 상단 부분을 분리한다. 분리된 상단 영역들에서 결절종이 명암도가 낮고 타원 형태를 가진다는 형태학적 특징을 이용하기 위해서 침식 기법을 적용하여 결절종의 후보 영역을 추출하고 8 방향 윤곽선 추적 알고리즘을 적용하여 잡음 영역을 제거한다. 잡음이 제거된 결절종 후보 영역에서 최종 결절종 영역을 추출하기 위해 라벨링 기법을 적용한다. 제안된 결절종 추출 방법의 성능을 분석하기 위해서 필립스 초음파 장비를 이용하여 20명 환자에서 획득한 20장의 영상을 대상으로 실험한 결과 기존의 방법보다 TPR(Ture Positive Rate)이 높게 나타나는 것을 확인하였다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.25 no.2
• /
• pp.133-138
• /
• 2015

This paper presents a performance improvement of gray level co-occurrence matrix(GLCM) based on the nonuniform quantization, which is generally used to analyze the texture of images. The nonuniform quantization is given by Lloyd algorithm of recursive technique by minimizing the mean square error. The nonlinear intensity levels by performing nonuniformly the quantization of image have been used to decrease the dimension of GLCM, that is applied to reduce the computation loads as a results of generating the GLCM and calculating the texture parameters by using GLCM. The proposed method has been applied to 30 images of $120{\times}120$ pixels with 256-gray level for analyzing the texture by calculating the 6 parameters, such as angular second moment, contrast, variance, entropy, correlation, inverse difference moment. The experimental results show that the proposed method has a superior computation time and memory to the conventional 256-level GLCM method without performing the quantization. Especially, 16-gray level by using the nonuniform quantization has the superior performance for analyzing textures to another levels of 48, 32, 12, and 8 levels.