• Proceedings of the Acoustical Society of Korea Conference
• /
• 1998.06c
• /
• pp.197-200
• /
• 1998

본 논문에서는 유전자 알고리즘(genetic Algorithm)을 사용하여 벡터 양자화(vector quantization : VQ)를 수행하는 방법을 제안하고자 한다. 벡터 양자화를 수행하여 코드북(codebook)을 생성할 때 생성된 코드북과 학습벡터(training vector)사이에는 반드시 양자화 오차(quantization error)가 발생하는데 기존의 K-means 알고리듬을 사용하여 코드북을 생성했을 경우 양자화 오차를 줄이는데 한계가 있었다. 본 논문에서 제안하는 유전자 알고리즘을 이용한 벡터 양자화는 이 양자화 오차를 감소시키기 위해서 연구되었다. 제안한 방법의 성능을 평가하기 위해 음성데이터를 기존의 K-means 알고리즘에서 클러스터의 중심을 선택하는 방법중의 하나인 Minimax방법으로 코드북을 생성하여 제안한 방법과 양자화 오차를 비교한 결과 양자화 오차가 감소됨을 알 수 있었다.

• The KIPS Transactions:PartB
• /
• v.8B no.4
• /
• pp.343-350
• /
• 2001

백터 양자화기 설계는 다차원의 목적함수를 최소화하는 학습 알고리즘을 필요로 한다. 일반화된 Lloyd 방법(GLA)은 벡터 양자화기 설계를 위해 오늘날 가장 널리 사용되는 알고리즘이다. GLA 는 일괄처리(batch) 방식으로 코드북을 생성하며 목적함수를 단조 감소시키는 강하법(descent algorithm)의 일종이다. 한편 Kohonen 학습법(KLA)은 학습벡터가 입력되는 동안 코드북이 갱신되는 온라인 벡터 양자화기 설계 알고리즘 이다. KLA는 원래 신경망 학습을 위해 Kohonen에 의해 제안되었다. KLA 역시 GLA와 마찬가지로 강하법의 일종이라 할 수 있다. 따라서 이들 두 알고리즘은, 비록 사용하기 편리하고 안정적으로 동작을 하지만, 극소(local minimum) 점으로 수렴하는 문제를 안고 있다. 우리는 이 문제와 관련하여 simulated annealing(SA) 방법의 응용을 논하고자 한다. SA는 현재까지 극소에 빠지지 않고 최소(global minimum)로 수렴하면서, 해의 수렴이 (통계적으로) 보장되는 유일한 방법이라 할 수 있다. 우리는 먼저 GLA에 SA를 응용한 그 동안의 연구를 개괄한다. 다음으로 온라인 방식의 벡터 양자화가 설계에 SA 방법을 응용함으로써 SA 방법에 기초한 새로운 온라인 학습 알고리즘을 제안한다. 우리는 이 알고리즘을 OLVQ-SA 알고리즘이라 부르기로 한다. 가우스-마코프 소스와 음성데이터에 대한 벡터양자화 실험 결과 제안된 방법이 KLA 보다 일관되게 우수한 코드북을 생성함을 보인다.

• Convergence Security Journal
• /
• v.6 no.4
• /
• pp.83-90
• /
• 2006

In this paper, we propose a new design method for a robust vector quantizer that is independent of the statistical characteristics of input images in the wavelet transformed image coding. The conventional vector quantizers have failed to get quality coding results because of the different statistical properties between the image to be quantized and the training sequence for a codebook of the vector quantizer. Therefore, in order to solve this problem, we used a pseudo image as a training sequence to generate a codebook of the vector quantizer; the pseudo image is created by adding correlation coefficient and edge components to uniformly distributed random numbers. We will clearly define the problem of the conventional vector quantizers, which use real images as a training sequence to generate a codebook used, by comparing the conventional methods with the proposed through computer simulation. Also, we will show the proposed vector quantizer yields better coding results.

• Journal of KIISE:Software and Applications
• /
• v.28 no.4
• /
• pp.369-379
• /
• 2001

본 논문은 부영역 분할과 코드워드 인텍스의 캐시 개념을 이용하여 벡터 양자화를 위한 고속코드북 생성 및 부호화 방법을 제안한다. 제안한 방법은 인접한 입력 벡터는 대개 코드북내 특정 코드워드에 의해 나타내어지는 국부성에 바탕을 두고 있다. 초기에 모든 학습 벡터가 거리에 기반한 근접성을 이용하여 정해진 수의 부영역으로 분할된다. 각 부영역에 하나의 코드워드 인덱스 캐시가 할당되는데 이 캐시는 학습 초기에는 전체 코드북 크기에 대응하는 코드워드 인덱스를 갖는다. 학습이 진행되면서 입력 벡터가 갖는 국부성 때문에 각 부영역내 캐시중 사용되지 않는 코드워드 인덱스가 점차 발생하게 되므로 이들은 LRU(Least Recently Used) 삭제 알고리즘에 의해 제거된다. 학습이 진행됨에 따라 부영역 캐시에는 주어진 입력 벡터에 의해 참조되는 코드워드 인덱스만이 남게 되므로 한 학습 주기 동한 필요한 학습 시간이 점차 짧아지게 되어 전체적으로 코드북 생성 시간을 크게 줄일 수 있게 된다. 제안한 방법은 매 학습주기마다, 코드워드 인덱스 삭제 후보 중 주어진 부영역 중심으로부터 거리에 의해 멀리 떨어진 것부터 반만을 제거함에 따라. 복원된 영상의 화질 열화가 거의 없다. 시뮬레이션 결과 제안한 방법은 기존의 LBG 방법에 비해 화질 열화는 거의 없지만 코드북 생성 (또는 부호화) 속도를 2.6-5.4배 (또는3.7-18.8배) 향상시킨다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.11a
• /
• pp.110-113
• /
• 2019

본 논문에서는 임베디드 시스템에서의 양자화 기계학습을 수행할 경우 발생하는 양자화 오차를 효과적으로 보상하기 위한 방법론을 제안한다. 경사 도함수(Gradient)를 사용하는 기계학습이나 비선형 신호처리 알고리즘에서 양자화 오차는 경사 도함수의 조기 소산(Early Vanishing Gradient)을 야기하여 전체적인 알고리즘의 성능 하락을 가져온다. 이를 보상하기 위하여 경사 도함수의 최대 성분에 대하여 직교하는 방향의 보상 탐색 벡터를 유도하여 양자화 오차로 인한 성능 하락을 보상하도록 한다. 또한, 기존의 고정 학습률 대신, 내부 순환(Inner Loop) 없는 비선형 최적화 알고리즘에 기반한 적응형 학습률 결정 알고리즘을 제안한다. 실험결과 제안한 방식의 알고리즘을 비선형 최적화 문제에 적용할 시 양자화 오차로 인한 성능 하락을 최소화시킬 수 있음을 확인하였다.

• The Journal of the Acoustical Society of Korea
• /
• v.10 no.4
• /
• pp.27-37
• /
• 1991

This paper proposes the ESFVQ(energy subspace fuzzy vector quantization) that employs energy subspaces to reduce the quantizing distortion which is less than that of a fuzzy vector quatization. The ESFVQ is applied to a speaker adaptation method by which Korean words spoken by unknown speakers are recognized. By generating mapped codebooks with fuzzy histogram according to each energy subspace in the training procedure and by decoding a spoken word through the ESFVQ in the recognition proecedure, we attempt to improve the recognition rate. The performance of the ESFVQ is evaluated by measuring the quantizing distortion and the speaker adaptive recognition rate for DDD telephone area names uttered by 2 males and 1 female. The quatizing distortion of the ESFVQ is reduced by 22% than that of a vector quantization and by 5% than that of a fuzzy vector quantization, and the speaker adaptive recognition rate of the ESFVQ is increased by 26% than that without a speaker adaptation and by 11% than that of a vector quantization.

• The KIPS Transactions:PartB
• /
• v.10B no.6
• /
• pp.673-680
• /
• 2003

In this paper, we study the enhancement of VQ (Vector Quantization) design for text independent speaker recognition. In a concrete way, we present a non-iterative method which makes a vector quantization codebook and this method performs non-iterative learning so that the computational complexity is epochally reduced The proposed Classified Space VQ (CSVQ) design method for text Independent speaker recognition is generalized from Semi-noniterative VQ design method for text dependent speaker recognition. CSVQ contrasts with the existing desiEn method which uses the iterative learninE algorithm for every traininE speaker. The characteristics of a CSVQ design is as follows. First, the proposed method performs the non-iterative learning by using a Classified Space Codebook. Second, a quantization region of each speaker is equivalent for the quantization region of a Classified Space Codebook. And the quantization point of each speaker is the optimal point for the statistical distribution of each speaker in a quantization region of a Classified Space Codebook. Third, Classified Space Codebook (CSC) is constructed through Sample Vector Formation Method (CSVQ1, 2) and Hyper-Lattice Formation Method (CSVQ 3). In the numerical experiment, we use the 12th met-cepstrum feature vectors of 10 speakers and compare it with the existing method, changing the codebook size from 16 to 128 for each Classified Space Codebook. The recognition rate of the proposed method is 100% for CSVQ1, 2. It is equal to the recognition rate of the existing method. Therefore the proposed CSVQ design method is, reducing computational complexity and maintaining the recognition rate, new alternative proposal and CSVQ with CSC can be applied to a general purpose recognition.

• The KIPS Transactions:PartB
• /
• v.10B no.1
• /
• pp.67-72
• /
• 2003

In this paper, we study the enhancement of VQ (Vector Quantization) design for text dependent speaker recognition. In a concrete way, we present the non-Iterative method which makes a vector quantization codebook and this method Is nut Iterative learning so that the computational complexity is epochally reduced. The proposed semi-noniterative VQ design method contrasts with the existing design method which uses the iterative learning algorithm for every training speaker. The characteristics of a semi-noniterative VQ design is as follows. First, the proposed method performs the iterative learning only for the reference speaker, but the existing method performs the iterative learning for every speaker. Second, the quantization region of the non-reference speaker is equivalent for a quantization region of the reference speaker. And the quantization point of the non-reference speaker is the optimal point for the statistical distribution of the non-reference speaker In the numerical experiment, we use the 12th met-cepstrum feature vectors of 20 speakers and compare it with the existing method, changing the codebook size from 2 to 32. The recognition rate of the proposed method is 100% for suitable codebook size and adequate training data. It is equal to the recognition rate of the existing method. Therefore the proposed semi-noniterative VQ design method is, reducing computational complexity and maintaining the recognition rate, new alternative proposal.

• The Transactions of the Korea Information Processing Society
• /
• v.3 no.2
• /
• pp.390-398
• /
• 1996

In this paper, a new image compression algorithm using the generality of the multilaryer perceptron is proposed. Proposed algorithm classifies image into some classes, and trains them through the multilayer perceptron. Multilayer perceptron which trained by the above method can do compression and reconstruction of the nontrained image by the generality. Also, it reduces memory size of the side of receiver and quantization error. For the experiment, we divide Lena image into 16 classes and train them through one multilayer perceptron. The experimental results show that we can get excellent reconstruction images by doing compression and reconstruction for Lena image, Dollar image and Statue image.

• The Transactions of the Korea Information Processing Society
• /
• v.7 no.2
• /
• pp.529-535
• /
• 2000

In this paper, we propose a new method of designing the vector quantizer which is robustness to coding results and independent of statistical characteristics of an input image in wavelet transformed image coding processes. The most critical drawback of a conventional vector quantizer is the degradation of coding capability resulted from the discordance between quantizer objective image and statistical characteristics of training sequence which is for generating representing vector. In order to resolve the problem of conventional methods, we use independent random-variables and pseudo image to which image correlation and edge component were added, as a training sequence for generating representing vector. We have done a computer simulation in order to compare coding capability between a vector quantizer designed by the proposed method and one with the conventional method using real image as same as that is objective to coding of training sequence used in codebook generation. The results show the superiority of the proposed vector quantizer method at the aspect of coding capability compared to conventional one. They also clarify the problems of conventional methods.