The Reduction or computation in MLLR Framework using PCA or ICA for Speaker Adaptation

We discuss how to reduce the number of inverse matrix and its dimensions requested in MLLR framework for speaker adaptation. To find a smaller set of variables with less redundancy, we adapt PCA (principal component analysis) and ICA (independent component analysis) that would give as good a representation as possible. The amount of additional computation when PCA or ICA is applied is as small as it can be disregarded. 10 components for ICA and 12 components for PCA represent similar performance with 36 components for ordinary MLLR framework. If dimension of SI model parameter is n, the amount of computation of inverse matrix in MLLR is proportioned to O(n⁴). So, compared with ordinary MLLR, the amount of total computation requested in speaker adaptation is reduced by about 1/81 in MLLR with PCA and 1/167 in MLLR with ICA.

화자적응에서 PCA 또는 ICA를 이용한 MLLR알고리즘 연산량 감소

본 논문은 화자 적응시 화자 독립 모델의 차수를 줄이고 MLLR (Maximum Likelihood Linear Regression) 알고리즘에서 요구되는 역행렬 횟수를 줄이는 방법을 제안한다. 주성분분석 (PCA: principal components analysis)과 독립성분분석 (ICA: independent components analysis)을 통해 모델 혼합성분 (mixture component)들간의 상관관계를 줄임으로서 모델의 차수를 감소하였다. 주성분분석 및 독립성분분석에 요구되는 추가 연산량은 화자 독립 모델을 훈련할 때 추가함으로써 화자 적응시에 추가되는 연산량은 극히 미소하다. 36차의 HMM 파라메타 차수를 PCA는 12차, ICA는 10차로 감소하였을 때 기존의 MLLR 적응방법과 유사한 단어 인식률을 나타내었다. 즉, 모델 파라미터의 차수를 n이라고 할 때 기존의 MLLR알고리즘에서 역행열 연산에서 요구되는 연산량은 O(n⁴)에 비례하므로 PCA는 1/81, ICA는 1/167만큼 연산량을 감소하였다.