Nonlinear Approximations Using Modified Mixture Density Networks

In the original mixture density network(MDN), which was introduced by Bishop and Nabney, the parameters of the conditional probability density function are represented by the output vector of a single multi-layer perceptron. Among the recent modification of the MDNs, there is the so-called modified mixture density network, in which each of the priors, conditional means, and covariances is represented via an independent multi-layer perceptron. In this paper, we consider a further simplification of the modified MDN, in which the conditional means are linear with respect to the input variable together with the development of the MATLAB program for the simplification. In this paper, we first briefly review the original mixture density network, then we also review the modified mixture density network in which independent multi-layer perceptrons play an important role in the learning for the parameters of the conditional probability, and finally present a further modification so that the conditional means are linear in the input. The applicability of the presented method is shown via an illustrative simulation example.

변형된 혼합 밀도 네트워크를 이용한 비선형 근사

Bishop과 Nabnck에 의해 소개된 기존치 혼합 밀도 네트워크(Mixture Density Network)에서는 조건부 확률밀도 함수의 매개변수들(parameters)이 하나의 MLP(multi-layer perceptron)의 출력 벡터로 주어진다. 최근에는 변형된 혼합 밀도 네트워크(Modified Mixture Density Network)라고 하는 이름으로 조건부 확률밀도 함수의 선분포(priors), 조건부 평균(conditional means), 그리고 공분산(covariances) 등이 각각 독립적인 MLP의 출력벡터로 주어지는 경우를 다룬 연구가 보고된 바 있다. 본 논문에서는 조건부 평균이 입력에 관해 선형인 경우를 위한 버전에 대한 이론과 매트랩 프로그램 개발을 다룬다. 본 논문에서는 우선 일반적인 혼합 밀도 네트워크에 대해 간단히 설명하고, 혼합 밀도 네트워크의 출력인 다층 퍼셉트론의 매개변수를 각각 다른 다층 퍼셉트론에서 학습시키는 변형된 혼합 밀도 네트워크를 설명한 후, 각각 다른 다층 퍼셉트론을 통해 매개변수를 얻는 것은 동일하나 평균값은 선형함수를 통해 얻는 혼합 밀도 네트워크 버전을 소개한다. 그리고, 모의실험을 통하여 이러한 혼합 밀도 네트워크의 적용가능성에 대해 알아본다.