• 대한임베디드공학회논문지
• /
• 제15권1호
• /
• pp.1-8
• /
• 2020

A derivation method for a quantized gradient for machine learning on an embedded system is proposed, in this paper. The proposed differentiation method induces the quantized gradient vector to an objective function and provides that the validation of the directional derivation. Moreover, mathematical analysis shows that the sequence yielded by the learning equation based on the proposed quantization converges to the optimal point of the quantized objective function when the quantized parameter is sufficiently large. The simulation result shows that the optimization solver based on the proposed quantized method represents sufficient performance in comparison to the conventional method based on the floating-point system.

• Journal of information and communication convergence engineering
• /
• 제16권3호
• /
• pp.142-147
• /
• 2018

We present a practical design algorithm for quantizers at nodes in distributed systems in which each local measurement is quantized without communication between nodes and transmitted to a fusion node that conducts estimation of the parameter of interest. The benefits of vector quantization (VQ) motivate us to incorporate the VQ strategy into our design and we propose a low-complexity design technique that seeks to assign vector codewords into sets such that each codeword in the sets should be closest to its associated local codeword. In doing so, we introduce new distance metrics to measure the distance between vector codewords and local ones and construct the sets of vector codewords at each node to minimize the average distance, resulting in an efficient and independent encoding of the vector codewords. Through extensive experiments, we show that the proposed algorithm can maintain comparable performance with a substantially reduced design complexity.

• 음성과학
• /
• 제13권4호
• /
• pp.177-186
• /
• 2006

In an effort to enhance the quality of feature vector classification and thereby reduce the recognition error rate of the speaker-independent speech recognition, we employ the Mahalanobis distance in the calculation of the similarity measure between feature vectors. It is assumed that the metric matrix of the Mahalanobis distance be diagonal for the sake of cost reduction in memory and time of calculation. We propose that the diagonal elements be given in terms of the variations of the feature vector components. Geometrically, this prescription tends to redistribute the set of data in the shape of a hypersphere in the feature vector space. The idea is applied to the speech recognition by hidden Markov model with fuzzy vector quantization. The result shows that the recognition is improved by an appropriate choice of the relevant adjustable parameter. The Viterbi score difference of the two winners in the recognition test shows that the general behavior is in accord with that of the recognition error rate.

• 한국통신학회논문지
• /
• 제37A권12호
• /
• pp.1043-1053
• /
• 2012

In distributed video coding (DVC) systems, the complexity of encoders is greatly reduced by removing the motion estimation operations in encoders, since the correlation between frames is utilized in decoders. The transmission of parity bits is requested through the feedback channel, until the related errors are corrected to decode the Wyner-Ziv frames. The requirement to use the feedback channel limits the application of DVC systems. In this paper, we propose an efficient method to remove the feedback channel in DVC systems. First, a simple side information generation method is proposed to calculate the amount of parity bits in the encoder, and it is shown that the proposed method yields good performance with low complexity. Then, by calibrating the theoretical entropy with three parameters, we can calculate the amount of parity bits in the encoder and remove the feedback channel. Moreover, an adaptive method to determine quantization parameters for key frames is proposed. Extensive computer simulations show that the proposed method yields better performance than conventional methods.

• 한국멀티미디어학회논문지
• /
• 제9권7호
• /
• pp.818-826
• /
• 2006

본 논문에서는 특정 부호화율을 가지는 H.264 비트열을 다른 부호화율로 바꾸어 전송하는 비트열변환 방법에서 필요되는 부호화율-양자화변수 사이의 모델 관계식을 규명한다. 그리고 H.264 동영상 부호화된 비트열간 부호화율을 변환하기 위한 새로운 기법을 제안한다. 제안된 비트열 변환기법은 근사화된 부호화율-양자화 계단 크기 사이의 관계식을 사용하여 이전 부호화화면, 이전 슬라이스에서 부호화된 결과로부터 모델변수를 갱신하고, 이로부터 목표되는 양자화 계단 크기를 찾아 재 양자화 이후의 부호화 과정만을 수행하여 목표되는 부호화율로 비트량을 발생시킨다. 따라서, 제안된 방식은 비트열변환에서 복잡한 부호화율 제어를 필요로 하지 않으며, 간단한 구현만으로 목표되는 부호화율로 변환시킨다. 모의실험으로부터 제안된 비트열변환방법이 4가지 다른 특성의 실험영상에 대하여 설정된 비트열로 정확하게 변환됨을 보인다.

• 전기전자학회논문지
• /
• 제5권2호
• /
• pp.221-231
• /
• 2001

본 논문에서는 MPEG-1을 MPEG-4 심플 프로파일로 변환 부호화할 때 화면내 부호화를 위한 효율적인 재양자화 기법에 대해 제안한다. MPEG-1의 화면내 부호화 블록의 양자화는 양자화 가중 행렬을 사용하는 반면, MPEG-4 심플 프로파일은 양자화 가중 행렬을 사용하지 않는다. 그 결과 두 부호화 방식의 양자화에 사용되는 양자화 파라미터가 동일하더라도 양자화 계단 크기가 서로 달라지기 때문에 변환 부호화된 MPEG-4 영상의 화질이 심하게 열화 된다. 이 문제를 해결하기 위해 변환 부호기에서 양자화 오차를 최소화하는 재생레벨을 결정하는 방식을 제안하며, 이 방식의 적용을 위해 변환부호기에서 MPEG-1 시퀸스의 DCT 계수에 대한 확률밀도함수를 추정하는 방법을 제시한다. 실험결과에 의하면 제안된 방식을 적용할 경우 기존의 방식에 비해 PSNR 측면에서 $0.3{\sim}0.6dB$ 정도의 개선이 있으며, 동시에 발생 비트량을 $5{\sim}7%$ 정도 줄일 수 있다.

• 한국인터넷방송통신학회논문지
• /
• 제21권1호
• /
• pp.93-98
• /
• 2021

딥 러닝의 발전으로 다양한 AI 기반의 응용이 많아지고, 그 모델의 규모도 매우 커지고 있다. 그러나 임베디드 기기와 같이 자원이 제한적인 환경에서는 모델의 적용이 어렵거나 전력 부족 등의 문제가 존재한다. 이를 해결하기 위해서 클라우드 기술 또는 오프로딩 기술을 활용하거나, 모델의 매개변수 개수를 줄이거나 계산을 최적화하는 등의 경량화 방법이 제안되었다. 본 논문에서는 다양한 프레임워크들의 상호 교환 포맷으로 사용되고 있는 ONNX(개방형 신경망 교환 포맷) 포맷에 딥러닝 경량화 방법 중 학습된 모델의 양자화를 적용한다. 경량화 전 모델과의 신경망 구조와 추론성능을 비교하고, 양자화를 위한 다양한 모듈 방식를 분석한다. 실험을 통해 ONNX의 양자화 결과, 정확도는 차이가 거의 없으며 기존 모델보다 매개변수 크기가 압축되었으며 추론 시간 또한 전보다 최적화되었음을 알 수 있었다.

• 한국정보과학회논문지:정보통신
• /
• 제35권3호
• /
• pp.235-242
• /
• 2008

동영상 압축 표준인 H.264/AVC는 압축 효율을 높이기 위해서 기존의 표준과는 다른 적응적인 비트율 제어(Adaptive Rate Control) 기법을 제공한다. 하지만 동영상의 첫 프레임에 대한 QP를 정확히 예측하지 못하는 문제점을 보인다. 부호화 입력 변수 중 일부 값을 이용해서 $3{\sim}4$개의 특정 상수 값 중에 하나를 선택하여 초기 QP 값을 정하게 된다. 이렇게 구해진 초기 QP값은 실제 부호화 되었을 때의 비트양을 고려하지 않은 방법이라서 특정 영상에서는 비트율 제어에 실패하거나 화질이 급격하게 변하는 모습들을 보여준다. 본 논문에서는 H.264/AVC 부호화기에서 첫 번째 프레임의 QP값을 결정하는 새로운 알고리즘을 제안한다. 제안된 알고리즘은 기존의 방법에 따라 초기 QP를 결정해서 부호화를 수행한 후 생성되는 비트양에 따라서 새로운 초기 QP 값을 구한다. 생성되는 비트양과 새로운 초기 QP 값 사이에는 선형 관계(A linear QP prediction model)가 성립하므로 최적에 가까운 초기 QP값을 예측 할 수 있다. 이렇게 구해진 새로운 초기 QP값을 이용해서 첫 프레임을 재부호화 한다. 실험결과 기존 알고리즘으로는 비트율 제어가 불가능 했던 영상을 효율적으로 비트율 제어를 하였고 기존의 방법보다 평균 PSNR의 향상을 확인하였다. 화면 사이의 화질 변화 폭을 줄임으로써 주관적인 화질 또한 향상하였다.

• IEIE Transactions on Smart Processing and Computing
• /
• 제6권4호
• /
• pp.276-280
• /
• 2017

This paper presents computationally efficient image compression for wireless transmission of high-definition video, to adaptively utilize available channel bandwidth and improve image quality. The method indirectly predicts an unknown available channel bandwidth by monitoring encoder buffer status, and adaptively controls a quantization parameter to fully utilize the bandwidth. Experimental results show that the proposed method is robust to variations in channel bandwidth.

• The Journal of the Acoustical Society of Korea
• /
• 제15권1E호
• /
• pp.34-38
• /
• 1996

In this paper, a new fast voronoi divider for vector quantization (VQ) is introduced, which results from Theorem that the nearest vectors in the sense of minimum mean square error(MMSE) have almost the same mean values of their elements. An improved splitting method for a VQ codebook design using the fast voronoi divider is also presented. Experimental results show that the new method reduces the complexity of training a VQ codebook several times with a high signal to noise ratio(SNR) using an appropriate extensive parameter of codebook.