• Title/Summary/Keyword: 보상 모델

Search Result 625, Processing Time 0.029 seconds

Combining Imitation Learning and Reinforcement Learning for Visual-Language Navigation Agents (시각-언어 이동 에이전트를 위한 모방 학습과 강화 학습의 결합)

  • Oh, Suntaek;Kim, Incheol
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.05a
    • /
    • pp.559-562
    • /
    • 2020
  • 시각-언어 이동 문제는 시각 이해와 언어 이해 능력을 함께 요구하는 복합 지능 문제이다. 본 논문에서는 시각-언어 이동 에이전트를 위한 새로운 학습 모델을 제안한다. 이 모델은 데모 데이터에 기초한 모방 학습과 행동 보상에 기초한 강화 학습을 함께 결합한 복합 학습을 채택하고 있다. 따라서 이 모델은 데모 데이타에 편향될 수 있는 모방 학습의 문제와 상대적으로 낮은 데이터 효율성을 갖는 강화 학습의 문제를 상호 보완적으로 해소할 수 있다. 또한, 제안 모델은 서로 다른 두 학습 간에 발생 가능한 학습 불균형도 고려하여 손실 정규화를 포함하고 있다. 또, 제안 모델에서는 기존 연구들에서 사용되어온 목적지 기반 보상 함수의 문제점을 발견하고, 이를 해결하기 위해 설계된 새로은 최적 경로 기반 보상 함수를 이용한다. 본 논문에서는 Matterport3D 시뮬레이션 환경과 R2R 벤치마크 데이터 집합을 이용한 다양한 실들을 통해, 제안 모델의 높은 성능을 입증하였다.

Learning Behavior of Virtual Robot using Compensation Signal (보상신호를 수반하는 가상로봇의 학습행위 연구)

  • Hwang, Su-Chul
    • 전자공학회논문지 IE
    • /
    • v.44 no.3
    • /
    • pp.35-41
    • /
    • 2007
  • In this paper we suggest a model that the virtual robot based on artificial intelligence performs learning with compensation signals and compare the leaning speed of the virtual robot according to the compensation method after applying it to three type environments. As a result our model has showed that positive compensation is superior to hybrid one mixed positive and negative if there are enough time for learning in case of more or less complicated environment with the numerous foods, obstacles and robots. Otherwise hybrid method is better than positive one.

A Study on the Modeling and Analysis of Cell Delay Variation Compensation using Variable Timestamp Method in the Satellite TDMA Transmission (위성 TDMA 전송에서 가변타임스탬프 방식의 셀 지연변이 보상의 모델과 해석)

  • 김정호;박진양
    • Journal of the Korea Computer Industry Society
    • /
    • v.2 no.11
    • /
    • pp.1395-1406
    • /
    • 2001
  • In order to cover a widespread service range, terrestrial/satellite-mixed network is being combined with terrestrial ATM network. This dissertation analyzes and investigates several previously existent CDV compensation methods in order to compensate CDV arising from interfacing satellite TDMA and ATM. Specifically to supplement the problems of timestamp and cell number counting methods, new Variable Timestamp method for CDV compensation is proposed. To evaluate the proposed method, MMPP(Markov Modulated Poisson Process), which can express VBR service very well, is selected as a cell input traffic model of terrestrial transmitting earth station. After several simulation, it is also confirmed that CDV compensation capability for VBR services is very superior to the cell number counting method. In this case, as the timestamp number Nts increases, CDV compensation capability increases, and the CDV distribution length is reduced.

  • PDF

PCMM-Based Feature Compensation Method Using Multiple Model to Cope with Time-Varying Noise (시변 잡음에 대처하기 위한 다중 모델을 이용한 PCMM 기반 특징 보상 기법)

  • 김우일;고한석
    • The Journal of the Acoustical Society of Korea
    • /
    • v.23 no.6
    • /
    • pp.473-480
    • /
    • 2004
  • In this paper we propose an effective feature compensation scheme based on the speech model in order to achieve robust speech recognition. The proposed feature compensation method is based on parallel combined mixture model (PCMM). The previous PCMM works require a highly sophisticated procedure for estimation of the combined mixture model in order to reflect the time-varying noisy conditions at every utterance. The proposed schemes can cope with the time-varying background noise by employing the interpolation method of the multiple mixture models. We apply the‘data-driven’method to PCMM tot move reliable model combination and introduce a frame-synched version for estimation of environments posteriori. In order to reduce the computational complexity due to multiple models, we propose a technique for mixture sharing. The statistically similar Gaussian components are selected and the smoothed versions are generated for sharing. The performance is examined over Aurora 2.0 and speech corpus recorded while car-driving. The experimental results indicate that the proposed schemes are effective in realizing robust speech recognition and reducing the computational complexities under both simulated environments and real-life conditions.

Optimal control of DSTATCOM for voltage sag compensation (EMTDC를 이용한 배전 선로 전압 보상을 위한 병렬 보상기의 최적 제어기 구현)

  • Jung, Soo-Young;Moon, Seung-Il;Kim, Tae-Hyun;Han, Byung-Moon
    • Proceedings of the KIEE Conference
    • /
    • 2001.11b
    • /
    • pp.320-322
    • /
    • 2001
  • 본 논문에서는 전압 sag보상을 하기 위한 DSTATCOM 제어기를 설계하고 EMTDC/PSCAD로 확인하였다. DSTATCOM의 전류성분을 d,q분해 해석을 통하여 상태방정식을 유도하고 부하모델과 네트워크의 제약조건을 결합 모델을 제시하였다. 1선 지락 사고시 PI 제어시보다 LQR 제어의 응답 특성이 우수함을 검증하고 전압 sag가 개선됨을 보였다.

  • PDF

Minimum Classification Error Training to Improve Discriminability of PCMM-Based Feature Compensation (PCMM 기반 특징 보상 기법에서 변별력 향상을 위한 Minimum Classification Error 훈련의 적용)

  • Kim Wooil;Ko Hanseok
    • The Journal of the Acoustical Society of Korea
    • /
    • v.24 no.1
    • /
    • pp.58-68
    • /
    • 2005
  • In this paper, we propose a scheme to improve discriminative property in the feature compensation method for robust speech recognition under noisy environments. The estimation of noisy speech model used in existing feature compensation methods do not guarantee the computation of posterior probabilities which discriminate reliably among the Gaussian components. Estimation of Posterior probabilities is a crucial step in determining the discriminative factor of the Gaussian models, which in turn determines the intelligibility of the restored speech signals. The proposed scheme employs minimum classification error (MCE) training for estimating the parameters of the noisy speech model. For applying the MCE training, we propose to identify and determine the 'competing components' that are expected to affect the discriminative ability. The proposed method is applied to feature compensation based on parallel combined mixture model (PCMM). The performance is examined over Aurora 2.0 database and over the speech recorded inside a car during real driving conditions. The experimental results show improved recognition performance in both simulated environments and real-life conditions. The result verifies the effectiveness of the proposed scheme for increasing the performance of robust speech recognition systems.

PCA-based Variational Model Composition Method for Roust Speech Recognition with Time-Varying Background Noise (시변 잡음에 강인한 음성 인식을 위한 PCA 기반의 Variational 모델 생성 기법)

  • Kim, Wooil
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.17 no.12
    • /
    • pp.2793-2799
    • /
    • 2013
  • This paper proposes an effective feature compensation method to improve speech recognition performance in time-varying background noise condition. The proposed method employs principal component analysis to improve the variational model composition method. The proposed method is employed to generate multiple environmental models for the PCGMM-based feature compensation scheme. Experimental results prove that the proposed scheme is more effective at improving speech recognition accuracy in various SNR conditions of background music, compared to the conventional front-end methods. It shows 12.14% of average relative improvement in WER compared to the previous variational model composition method.

Development of Fair Scheduler for Quality Improvement in Wireless Differentiated Service (차등화 서비스의 성능 개선을 위한 보상 기법)

  • Jung, Jong-Hwa;Ha, Ran
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10e
    • /
    • pp.136-138
    • /
    • 2002
  • 지연 차등화 모델은 각 클래스의 지연 차별 변수에 따라 차등화된 서비스를 제공한다. 따라서 각 클래스의 패킷별 평균 대기시간이 지연 차별 변수에 비례한다. 유선 환경의 지연 차등화 모델인 WTP를 무선 환경에 적용시킨 WWTP는 큐의 처음 패킷의 블록으로 인한 큐의 전송 중단 현상을 개선하였다. 이로 인해 클래스별 서비스 불공평성이 줄어든다. 그러나 여전히 채널 오류기간에 비례하여 전송의 편중과 중단현상이 발생하는 단점이 있다.본 논문은 WWTP에서 발생하는 서비스 편중과 중단 현상을 개선하기 위한 보상 정책을 제안하는 스케쥴러를 제안한다. 제안된 모델은 에러 기간동안 에러 프리 서비스를 가상적으로시뮬레이션하여 정상 서비스와의 차이를 알아내고 이를 바탕으로 보상 정책을 수행한다. 결과적으로 지연 차등화 모델인 WWTP에서 발생하는 서비스 중단을 개선하면서 정상적인 채널상태와 유사한 서비스를 제공한다.

  • PDF

A study on the calibration of rotary table with NC machine (NC 공작기계의 Rotary Table 오차 측정 및 보상에 관한 연구)

  • 정세용;서석환;이응석
    • Proceedings of the Korean Society of Precision Engineering Conference
    • /
    • 1996.11a
    • /
    • pp.636-642
    • /
    • 1996
  • 본 연구는 4축 또는 5축 NC 공작기계에 사용되는 Rotary Table의 오차를 측정하고 이를 보정하기 위한 연구이다. 먼저 일반적인 Rotary Table에 대한 오차모델이 설정되었으며, Rotary Table에서 존재하는 6가지의 오차를 각각 측정하였다. 측정방법은 3개의 길이오차는 1 개의 정밀볼(Master ball)과 3개의 LVDT, 3개의 각도 오차는 6각 폴리곤과 Autocollimator를 사용하여 측정하였다. 측정된 오차 성분들은 오차모델을 이용하여 보상치를 계산하였으며, 이 값은 추후 원래의 측정오차와 비교하는 방법으로 모델의 정확성을 검증할 것이다. NC 공작기계상에서 Rotary Table의 실제 보상 실험을 위하여 30$^{\circ}$간격으로 정밀한 볼이 장착된 볼-테이블을 설계하였다.

  • PDF

DC current model based 3 phase BLDCM sensorless control through Parameter error Compensation (파라미터 오차 보상을 통한 3상 BLDC 전동기의 DC 전류 모델 기반 센서리스 제어)

  • Ji, Jong-Seong;Moon, Jong-Joo;Park, Sang-Woo;Kim, Jang-Mok
    • Proceedings of the KIPE Conference
    • /
    • 2015.07a
    • /
    • pp.341-342
    • /
    • 2015
  • 본 논문에서는 파라미터 오차 보상을 통한 3상 BLDC 전동기의 DC 전류 모델 기반의 센서리스 제어 방식을 제안한다. 기존의 DC 전류 모델 기반의 센서리스 제어 방식은 상 전환 구간마다 발생하는 실제 전류와 모델 전류의 오차로 인해 추정한 역기전력과 속도, 위치에 오차가 그대로 나타난다. 이 오차 성분을 줄이기 위해 본 논문에서는 기계 방정식을 이용하여 개선된 역기전력 추정 식을 제안하였다. 또한 개선된 역기전력 추정 식에 파라미터에 오차가 없다면 센서리스 제어가 가능하지만, 오차가 존재한다면 센서리스 제어가 불안정해진다. 이를 극복하기 위한 파라미터 오차 보상 알고리즘도 제안하였다. 제안한 방법은 시뮬레이션을 통해 검증하였다.

  • PDF