• Journal of the Korean Institute of Telematics and Electronics S
• /
• v.36S no.2
• /
• pp.28-37
• /
• 1999

Differentially Responsible Adaptive Critic Learning technique is proposed for learning the control technique with multiple control inputs as in robot system using reinforcement learning. The reinforcement learning is a self-learning technique which learns the control skill based on the critic information Learning is a after a long series of control actions. The Adaptive Critic Learning (ACL) is the representative reinforcement learning structure. The ACL maximizes the learning performance using the two learning modules called the action and the critic modules which exploit the external critic value obtained seldomly. Drawback of the ACL is the fact that application of the ACL is limited to the single input system. In the proposed Differentially Responsible Action Dependant Adaptive Critic learning structure, the critic function is constructed as a function of control input elements. The responsibility of the individual control action element is computed based on the partial derivative of the critic function in terms of each control action element. The proposed learning structure has been constructed with the CMAC neural networks and some simulations have been done upon the two dimensional Cart-Role system and robot squatting problem. The simulation results are included.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.5 no.4
• /
• pp.77-86
• /
• 1995

The new architecture that fuzzy logic control(FLC) with difficulties for tuning membership function (MF) is parallel with neural networks(NN) to be learned from the output of FLC is proposed. Therefore proposed scheme has the characteristics to utilize the expert knowledge in design process, to be learned during the operation without any learning mode. In this architecture, the function of the FLC is to supply the sliding surface which is constructed on the phase plane by rule base for giving the desired control characteristics and learning criterion of NN and the stabilization of the control performance before NN is learned, The function of the NN is to let the system trajectory be tracked to the sliding surface and reached to the stable point.

• Proceedings of the Korean Operations and Management Science Society Conference
• /
• 1996.04a
• /
• pp.71-74
• /
• 1996

본 연구에서는 반복 학습제어 이론을 기초로 하는 하이브리드 신경망 제어기를 제안한다. 신경망으로는 백프로퍼게이션(backpropagation) 신경망을 사용하고, 기존의 반복 학습 제어 이론의 단점을 보안한 제어 알고리즘을 제안한다. 백프로퍼게이션 신경망의 맵핑(mapping)의 특징으로 원하는 목표 패턴에 추종할 수 있는 출력 패턴을 생성하고 반복 학습에 소요되는 학습시간을 줄일 수 있다. 실험결과에서 보듯이 제안된 제어 알고리즘은 목표패턴에 수렴함을 알 수 있다. 제시한 알고리즘은 CD-ROM 드라이브와 같은 광디스크 드라이브류의 초점 제어 등에 응용할 수 있다.

• Journal of Biosystems Engineering
• /
• v.15 no.4
• /
• pp.319-327
• /
• 1990

시스템의 적응 제어함수를 산출하는 네트워크인 소뇌모델 선형조합 회로망을 이용한 학습제어 기법은 시스템에 영향을 주는 제어인자들의 불확실성 및 모델링의 결여에도 불구하고 오히려 안정한 실시간 제어의 구현을 가능하게 함으로써 대단한 관심을 불러 일으켜 왔다. 그러나, 센서로부터의 정보처리와 인식 그리고 복잡한 비선형 시스템의 제어에 적용하기에는 회로망 자체의 내재적 문제점들이 여전히 남아있다. 소뇌모델 선형조합 회로망을 기지 또는 미지의 시스템 모델에 효과적으로 적용하기 위해서는 네트워크에 영향을 주는 제어인자가 시스템에 미치는 영향을 분석하는 것이 필수적이다. 분할 블럭의 크기, 학습이득, 입력편이 그리고 입력변수들의 영역과 같은 네트 제어인자들은 시스템의 학습 능률 및 소요 기억용량의 크기에 중대한 영향을 미침에도 불구하고 충분히 조사되지 못한 실태이다. 물론 이들 제어인자들의 결정에는 학습 대상이 되는 시스템 함수의 형태와 적용 학습 알고리즘이 반드시 고려되어야 한다. 본 논문에서는 학습 능률성에 미치는 이들 제어인자들의 상호영향도를 저자가 제안하였던 기본 학습 알고리즘에 의거하여 조사하였다. 분석적인 방법만으로 이러한 상호영향성을 조사하기는 매우 힘들거나 거의 불가능하다고 보아지기 때문에 학습 대상함수를 먼저 규정하여 다양한 컴퓨터 모의시험을 수행하였고 그 결과를 분석하였다. 컴퓨터 모의시험의 결과에 의하여 회로망의 시스템 적용시 고려할 설계 지침을 제시하였다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2003.09b
• /
• pp.87-90
• /
• 2003

과거의 이동로봇 시스템은 완전한 자율주행이 주된 목표였으며 그때의 영상정보는 단지 모니터링을 하는 보조적인 수단으로 사용되었다. 그러나 지금은 이동 물체의 추적, 대상 물체의 인식과 판별, 특징 추출과 같은 다양한 응용분야에서 영상정보를 이용하는 연구가 활발히 진행되고 있다 또한 제어 측면에서는 전통적인 제어기법으로는 해결하기 힘들었던 여러 가지 비선형적인 제어를 지능제어 방법을 통하여 많이 해결하곤 하였다. 그러한 지능제어에서 신경망을 많이 사용하기도 한다. 최근에는 신경망의 학습에 많이 사용하는 방법 중 강화학습이 많이 사용되고 있다. 강화학습이란 동적인 제어평면에서 시행착오를 통해, 목적을 이루기 위해 각 상황에서 행동을 학습하는 방법이다. 그러므로 이러한 강화학습은 수많은 시행착오를 거쳐 그 대응 관계를 학습하게 된다. 제어에 사용되는 제어 파라메타는 어떠한 상태에 처할 수 있는 상태와 행동들, 그리고 상태의 변화, 또한 최적의 해를 구할 수 있는 포상알고리즘에 대해 다양하게 연구되고 있다. 본 논문에서 연구한 시스템은 비젼시스템과 Strong Arm 보드를 이용하여 대상물체의 색상과 형태를 파악한 후 실시간으로 물체를 추적할 수 있게 구성하였으며, 또한 물체 이동의 비선형적인 경향성을 강화학습을 통하여 물체이동의 비선형성을 보다 유연하게 대처하여 보다 안정하고 빠르며 정확하게 물체를 추적하는 방법을 실험을 통하여 제안하였다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.10 no.5
• /
• pp.466-477
• /
• 2000

For developing a CMAC-based adaptive critic learning system to control the cart-pole system, various papers including neural network based learning control schemes as well as an adaptive critic learning algorithm with Adaptive Search Element are reviewed and the adaptive critic learning algorithm for the ASE is integrated into a CMAC controller. Also, quantization problems involved in integrating CMAC into ASE system are studied. By comparing the learning speed of the CMAC system with that of the ASE system and by considering the learning genemlization of the CMAC system with the adaptive critic learning, the applicability of the adaptive critic learning algorithm to CMAC is discussed.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.8 no.3
• /
• pp.9-15
• /
• 1998

This paper presents an adaptive learning control method for unknown nonlinear systems by combining neuro control and iterative learning control techniques. In the present control system, an iterative learning controller (ILC) is used for a process of short term memory involved in a temporary adaptive and learning manipulation and a short term storage of a specific temporary action. The learning gain of the iterative learning law is estimated by using a neural network for an unknown system except relative degrees. The control informations obtained by ILC are transferred to a long term memory-based feedforward neuro controller (FNC) and accumulated in it in addition to the previously stored infonnations. This scheme is applied to a two link robot manipulator through simulations.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2008.06a
• /
• pp.149-154
• /
• 2008

FCM 기반 RBF 네트워크는 서로 다른 학습 구조가 결합된 혼합형 모델로서, 입력층과 중간층의 학습 구조는 FCM 알고리즘을 적용하고, 중간층과 출력층 사이의 학습 구조는 Max_Min 신경망을 적용한다. 입력층과 중간층의 학습시 입력벡터와 중간층의 노드중에서 중심과 입력벡터간의 가장 가까운 노드를 승자 노드로 선택하여 출력층으로 전달한다. 그리고 중간층과 출력층 사이의 학습 구조는 Max_Min 신경망을 적용하여 중간층의 승자 뉴런이 출력층의 입력벡터로 적용한다. 하지만 많은 패턴이 입력벡터로 제시될 경우 학습 성능이 저하되는 단점이 있다. 따라서 본 논문에서는 중간층과 출력층의 학습 구조인 Max_Min 알고리즘의 학습 성능을 개선시키기 위해 퍼지 제어시스템을 이용하여 학습률을 동적으로 조정하는 퍼지 제어 기법을 이용한 FCM 기반 RBF 네트워크를 제안한다. 제안된 방법의 학습 성능을 평가하기 위하여 컨테이너 영상에서 추출한 숫자, 영문 식별자를 학습 데이터로 적용한 결과, 기존의 ART2 기반 RBF 네트워크보다 학습 시간이 적게 소요되고, 학습의 수렴성이 개선된 것을 확인하였다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.6 no.4
• /
• pp.39-48
• /
• 1996

비선형 동적 시스템을 제어하기에 적합한 귀환 신경망에 대한 연구는 안정성(stability) 유도와 학습 알고리듬(learning algorithm) 개발의 두가지 방향으로 지금까지 많은 연구가 이루어져 왔다. 본 논문에서는 비선형 동적 시스템 제어시 온라인(on-line) 학습이 가능하고 안정성을 보장하도록 귀환 신경망의 학습 알고리듬에 VSS이론을 도입하여 개발한다. 또한 개발한 학습 알고리듬을 사용한 귀환 신경망을 전형적인 비선형 동적 시스템인 로보트 매니퓰레이터의 제어 시스템에 적용하고 기존의 학습 방법의 적용 결과와 비교하여 개발한 제어 알고리듬의 효용성을 입증한다.

• Journal of the Institute of Electronics Engineers of Korea SC
• /
• v.39 no.5
• /
• pp.1-7
• /
• 2002

In this paper, an extended type of a direct learning control(DLC) method is proposed for the effective control of systems which perform a given task repetitively. DLC methods have been suggested to overcome the defects of iterative learning control, the learning process should be resumed from the beginning even if a slight change occurs in the desired output pattern. If a given desired output trajectory is "proportional" to the output trajectories which are learned previously, we can obtain the desired control input directly without the iterative learning process by using the DLC. First, most existing DLC methods are shown to be applicable only to single-input single-output systems with the relative degree one and then, an extended type of DLC is proposed for a class of nonlinear systems having the relative degree more than or equal to one by using the known relative degree of a nonlinear system. By the simulation results for the arbitrary nonlinear system with the relative degree more than one, the validity and the performance of the proposed DLC method are examined.