• 제목/요약/키워드: 보상 모델

검색결과 625건 처리시간 0.029초

시각-언어 이동 에이전트를 위한 모방 학습과 강화 학습의 결합 (Combining Imitation Learning and Reinforcement Learning for Visual-Language Navigation Agents)

  • 오선택;김인철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 춘계학술발표대회
    • /
    • pp.559-562
    • /
    • 2020
  • 시각-언어 이동 문제는 시각 이해와 언어 이해 능력을 함께 요구하는 복합 지능 문제이다. 본 논문에서는 시각-언어 이동 에이전트를 위한 새로운 학습 모델을 제안한다. 이 모델은 데모 데이터에 기초한 모방 학습과 행동 보상에 기초한 강화 학습을 함께 결합한 복합 학습을 채택하고 있다. 따라서 이 모델은 데모 데이타에 편향될 수 있는 모방 학습의 문제와 상대적으로 낮은 데이터 효율성을 갖는 강화 학습의 문제를 상호 보완적으로 해소할 수 있다. 또한, 제안 모델은 서로 다른 두 학습 간에 발생 가능한 학습 불균형도 고려하여 손실 정규화를 포함하고 있다. 또, 제안 모델에서는 기존 연구들에서 사용되어온 목적지 기반 보상 함수의 문제점을 발견하고, 이를 해결하기 위해 설계된 새로은 최적 경로 기반 보상 함수를 이용한다. 본 논문에서는 Matterport3D 시뮬레이션 환경과 R2R 벤치마크 데이터 집합을 이용한 다양한 실들을 통해, 제안 모델의 높은 성능을 입증하였다.

보상신호를 수반하는 가상로봇의 학습행위 연구 (Learning Behavior of Virtual Robot using Compensation Signal)

  • 황수철
    • 전자공학회논문지 IE
    • /
    • 제44권3호
    • /
    • pp.35-41
    • /
    • 2007
  • 본 논문에서는 보상신호를 수반하는 인공지능 기반의 가상 로봇 학습 행위 모델을 제안하고 이 모델을 3가지 환경에 적용시킨 후에 보상 방법에 따른 가상 로봇의 학습 속도를 비교 검토하였다. 결과로서 환경이 다소 복잡하면 즉, 로봇 집단의 크기, 먹이 수, 장애물 수가 다소 많은 경우 학습 세대가 충분하다면 강화 보상 방법이 강화와 억제를 혼합한 보상 방법 보다 우월함을 알 수 있었다. 하지만 복잡하지 않은 환경에서는 혼합 보상 방법이 우수했다.

위성 TDMA 전송에서 가변타임스탬프 방식의 셀 지연변이 보상의 모델과 해석 (A Study on the Modeling and Analysis of Cell Delay Variation Compensation using Variable Timestamp Method in the Satellite TDMA Transmission)

  • 김정호;박진양
    • 한국컴퓨터산업학회논문지
    • /
    • 제2권11호
    • /
    • pp.1395-1406
    • /
    • 2001
  • 광범위한 지역의 서비스 영역을 지원하기 위하여 지상/위성 혼합망을 구성한다. 위성 TDMA가 ATM 접속에 따른 CDV 보상을 위하여 기존의 지상 CDV 보상기법이 적용되어 왔다. 기존의 타임 스탬프 방식과 셀 계수 방법의 단점을 지원하기 위하여 CDV 보상을 위한 새로운 가변 타임 스탬프 방식을 제안하였다. 본 제안된 방식에서 VBR 서비스를 표현하기 위해 지상국의 셀 입력 트래픽 모델을 위한 MMPP 모델로 선택하였다. 모의 실험을 통하여 VBR 서비스의 보상 능력이 셀 계수 방법과 비교할 때, 타임스탬프 수 Nts 가 증가할수록 CDV 보상능력은 증가하고 CDV 분포 폭이 줄어들었음을 알 수 있었다.

  • PDF

시변 잡음에 대처하기 위한 다중 모델을 이용한 PCMM 기반 특징 보상 기법 (PCMM-Based Feature Compensation Method Using Multiple Model to Cope with Time-Varying Noise)

  • 김우일;고한석
    • 한국음향학회지
    • /
    • 제23권6호
    • /
    • pp.473-480
    • /
    • 2004
  • 본 논문에서는 잡음 환경에서 강인한 음성 인식을 위하여 음성 모델을 기반으로 하는 효과적인 특징 보상 기법을 제안한다. 제안하는 특징 보상 기법은 병렬 결합된 혼합 모델 (PCMM)을 기반으로 한다. 기존의 PCMM 기반의 기법은 시간에 따라 변하는 잡음 환경을 반영하기 위하여 매 음성 입력마다 복잡한 과정의 혼합 모델 결합이 필요하다. 제안하는 기법에서는 다중의 혼합 모델을 보간하는 방법을 채용함으로써 시간에 따라 변하는 배경 잡음에 대응할 수 있다. 보다 신뢰성 있는 혼합 모델 생성을 위하여 데이터 유도 기반의 방법을 도입하고, 실시간 처리를 위하여 프레임에 동기화된 환경 사후 확률 예측 과정을 제안한다. 다중 모델로 인한 연산량 증가를 막기 위하여 혼합 모델을 공유하는 기법을 제안한다. 가우시안 혼합 모델 사이에 통계학적으로 유사한 요소들을 선택하여 공유에 필요한 공통 모델을 생성한다. Aurora 2.0 데이터베이스와 실제 자동차 주행 환경에서 수집된 음성 데이터베이스에 대한 성능 평가를 실시한다. 실험 결과로부터 제안한 기법이 모의 환경과 실제 잡음 환경에서 강인한 음성 인식 성능을 가져오고 연산량 감소에 효과적임을 확인한다.

EMTDC를 이용한 배전 선로 전압 보상을 위한 병렬 보상기의 최적 제어기 구현 (Optimal control of DSTATCOM for voltage sag compensation)

  • 정수영;문승일;김태현;한병문
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2001년도 추계학술대회 논문집 전력기술부문
    • /
    • pp.320-322
    • /
    • 2001
  • 본 논문에서는 전압 sag보상을 하기 위한 DSTATCOM 제어기를 설계하고 EMTDC/PSCAD로 확인하였다. DSTATCOM의 전류성분을 d,q분해 해석을 통하여 상태방정식을 유도하고 부하모델과 네트워크의 제약조건을 결합 모델을 제시하였다. 1선 지락 사고시 PI 제어시보다 LQR 제어의 응답 특성이 우수함을 검증하고 전압 sag가 개선됨을 보였다.

  • PDF

PCMM 기반 특징 보상 기법에서 변별력 향상을 위한 Minimum Classification Error 훈련의 적용 (Minimum Classification Error Training to Improve Discriminability of PCMM-Based Feature Compensation)

  • 김우일;고한석
    • 한국음향학회지
    • /
    • 제24권1호
    • /
    • pp.58-68
    • /
    • 2005
  • 본 논문에서는 잡음 환경에서 강인한 음성 인식을 위하여 특징 보상 기법의 성능을 향상시킬 수 있는 방법을 제안한다. 기존의 음성 모델 기반의 특징 보상 기법에서 이용되는 오염 음성 모델 추정 방식은 입력 음성에 대한 변별력 있는 사후 확률 예측을 보장하지 못하며, 부정확하게 계산된 사후 확률은 복구된 음성에서 명료도 하락의 문제를 일으킨다. 제안하는 기법에서는 오염 음성 모델 추정 과정에 분별적 훈련 방식의 하나인 최소 분류 오류 (MCE) 훈련 기법을 도입한다. MCE 훈련 기법을 적용하기 위해 변별력 하락의 가능성을 가지는 '경쟁 요소' 를 결정하는 기법을 제안한다. 병렬결합된 혼합 모델 (PCMM) 기반의 특징 보상에 MCE 훈련 기법을 적용하는 과정을 제안하고 변별력 향상의 영향을 관찰한다. Aurora 2.0 데이터베이스와 실제 자동차 주행 환경에서 수집된 음성 데이터베이스에 대한 성능 평가를 실시한다. 실험 결과는 제안한 기법이 음성 인식 성능 향상에 도움이 되는 것을 입증한다.

시변 잡음에 강인한 음성 인식을 위한 PCA 기반의 Variational 모델 생성 기법 (PCA-based Variational Model Composition Method for Roust Speech Recognition with Time-Varying Background Noise)

  • 김우일
    • 한국정보통신학회논문지
    • /
    • 제17권12호
    • /
    • pp.2793-2799
    • /
    • 2013
  • 본 논문에서는 시간에 따라 변하는 잡음 환경에 강인한 음성 인식을 위해 효과적인 특징 보상 기법을 제안한다. 제안하는 기법에서는 기존의 Variational 모델 생성 기법의 모델 정확도를 향상시키고자 PCA를 도입한다. 제안된 기법은 다중 모델을 사용하는 PCGMM 기반의 특징 보상에 적용된다. 실험 결과는 제안한 PCA 기반의 Variational 모델 생성 기법이 배경 음악 환경의 다양한 SNR 조건에서 기존의 전처리 기법에 비하여 음성 인식 성능을 향상 시키는데 우수함을 입증한다. 제안한 모델 생성 기법이 기존의 Variational 모델 생성 방법에 비해 배경 음악 환경에서 평균 12.14%의 상대적 인식 성능 향상률을 나타낸다.

차등화 서비스의 성능 개선을 위한 보상 기법 (Development of Fair Scheduler for Quality Improvement in Wireless Differentiated Service)

  • 정종화;하란
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (3)
    • /
    • pp.136-138
    • /
    • 2002
  • 지연 차등화 모델은 각 클래스의 지연 차별 변수에 따라 차등화된 서비스를 제공한다. 따라서 각 클래스의 패킷별 평균 대기시간이 지연 차별 변수에 비례한다. 유선 환경의 지연 차등화 모델인 WTP를 무선 환경에 적용시킨 WWTP는 큐의 처음 패킷의 블록으로 인한 큐의 전송 중단 현상을 개선하였다. 이로 인해 클래스별 서비스 불공평성이 줄어든다. 그러나 여전히 채널 오류기간에 비례하여 전송의 편중과 중단현상이 발생하는 단점이 있다.본 논문은 WWTP에서 발생하는 서비스 편중과 중단 현상을 개선하기 위한 보상 정책을 제안하는 스케쥴러를 제안한다. 제안된 모델은 에러 기간동안 에러 프리 서비스를 가상적으로시뮬레이션하여 정상 서비스와의 차이를 알아내고 이를 바탕으로 보상 정책을 수행한다. 결과적으로 지연 차등화 모델인 WWTP에서 발생하는 서비스 중단을 개선하면서 정상적인 채널상태와 유사한 서비스를 제공한다.

  • PDF

NC 공작기계의 Rotary Table 오차 측정 및 보상에 관한 연구 (A study on the calibration of rotary table with NC machine)

  • 정세용;서석환;이응석
    • 한국정밀공학회:학술대회논문집
    • /
    • 한국정밀공학회 1996년도 추계학술대회 논문집
    • /
    • pp.636-642
    • /
    • 1996
  • 본 연구는 4축 또는 5축 NC 공작기계에 사용되는 Rotary Table의 오차를 측정하고 이를 보정하기 위한 연구이다. 먼저 일반적인 Rotary Table에 대한 오차모델이 설정되었으며, Rotary Table에서 존재하는 6가지의 오차를 각각 측정하였다. 측정방법은 3개의 길이오차는 1 개의 정밀볼(Master ball)과 3개의 LVDT, 3개의 각도 오차는 6각 폴리곤과 Autocollimator를 사용하여 측정하였다. 측정된 오차 성분들은 오차모델을 이용하여 보상치를 계산하였으며, 이 값은 추후 원래의 측정오차와 비교하는 방법으로 모델의 정확성을 검증할 것이다. NC 공작기계상에서 Rotary Table의 실제 보상 실험을 위하여 30$^{\circ}$간격으로 정밀한 볼이 장착된 볼-테이블을 설계하였다.

  • PDF

파라미터 오차 보상을 통한 3상 BLDC 전동기의 DC 전류 모델 기반 센서리스 제어 (DC current model based 3 phase BLDCM sensorless control through Parameter error Compensation)

  • 지종성;문종주;박상우;김장목
    • 전력전자학회:학술대회논문집
    • /
    • 전력전자학회 2015년도 전력전자학술대회 논문집
    • /
    • pp.341-342
    • /
    • 2015
  • 본 논문에서는 파라미터 오차 보상을 통한 3상 BLDC 전동기의 DC 전류 모델 기반의 센서리스 제어 방식을 제안한다. 기존의 DC 전류 모델 기반의 센서리스 제어 방식은 상 전환 구간마다 발생하는 실제 전류와 모델 전류의 오차로 인해 추정한 역기전력과 속도, 위치에 오차가 그대로 나타난다. 이 오차 성분을 줄이기 위해 본 논문에서는 기계 방정식을 이용하여 개선된 역기전력 추정 식을 제안하였다. 또한 개선된 역기전력 추정 식에 파라미터에 오차가 없다면 센서리스 제어가 가능하지만, 오차가 존재한다면 센서리스 제어가 불안정해진다. 이를 극복하기 위한 파라미터 오차 보상 알고리즘도 제안하였다. 제안한 방법은 시뮬레이션을 통해 검증하였다.

  • PDF