• 제목/요약/키워드: 데모기반학습

검색결과 8건 처리시간 0.023초

사용자 데모를 이용한 관계적 개체 기반 정책 학습 (Learning Relational Instance-Based Policies from User Demonstrations)

  • 박찬영;김현식;김인철
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제37권5호
    • /
    • pp.363-369
    • /
    • 2010
  • 데모-기반 학습은 사용자가 직접 작업을 시연함으로써 로봇에게 쉽게 새로운 작업지식을 가르칠 수 있다는 장점이 있다. 하지만 기존의 많은 데모-기반 학습법들은 상태공간과 정책들을 표현하기 위해 속성-값 벡터 모델을 이용하였다. 속성-값 벡터 모델의 제한성으로 인해, 이들은 학습과정의 효율성도 낮고 학습된 정책의 재사용성도 낮았다. 본 논문에서는 기존의 속성-값 모델 대신 관계적 모델을 이용하는 새로운 데모-기반 작업 학습법을 제안한다. 이 방법에서는 사용자 데모 기록에서 추출한 훈련 예들에 관계적 개체-기반 학습법을 적용함으로써, 동일 작업영역내의 다른 유사한 작업들에도 활용하기 용이한 관계적 개체-기반 정책을 유도한다. 이 관계적 정책은 (상태, 목표) 쌍으로 표현되는 임의의 한 상황에 대해 이것에 대응하는 하나의 실행동작을 결정해주는 역할을 한다. 본 논문에서는 데모-기반 관계적 정책 학습법에 대해 자세히 소개한 후, 로봇 시뮬레이터를 이용한 실험을 통해 이 학습법의 효과를 분석해본다.

시각-언어 이동 에이전트를 위한 모방 학습과 강화 학습의 결합 (Combining Imitation Learning and Reinforcement Learning for Visual-Language Navigation Agents)

  • 오선택;김인철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 춘계학술발표대회
    • /
    • pp.559-562
    • /
    • 2020
  • 시각-언어 이동 문제는 시각 이해와 언어 이해 능력을 함께 요구하는 복합 지능 문제이다. 본 논문에서는 시각-언어 이동 에이전트를 위한 새로운 학습 모델을 제안한다. 이 모델은 데모 데이터에 기초한 모방 학습과 행동 보상에 기초한 강화 학습을 함께 결합한 복합 학습을 채택하고 있다. 따라서 이 모델은 데모 데이타에 편향될 수 있는 모방 학습의 문제와 상대적으로 낮은 데이터 효율성을 갖는 강화 학습의 문제를 상호 보완적으로 해소할 수 있다. 또한, 제안 모델은 서로 다른 두 학습 간에 발생 가능한 학습 불균형도 고려하여 손실 정규화를 포함하고 있다. 또, 제안 모델에서는 기존 연구들에서 사용되어온 목적지 기반 보상 함수의 문제점을 발견하고, 이를 해결하기 위해 설계된 새로은 최적 경로 기반 보상 함수를 이용한다. 본 논문에서는 Matterport3D 시뮬레이션 환경과 R2R 벤치마크 데이터 집합을 이용한 다양한 실들을 통해, 제안 모델의 높은 성능을 입증하였다.

물체 조작 정책의 효율적 습득을 위한 모방 학습과 강화 학습의 결합 (Combining Imitation Learning with Reinforcement Learning for Efficient Manipulation Policy Acquisition)

  • 정은진;이상준;김인철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 추계학술발표대회
    • /
    • pp.759-762
    • /
    • 2018
  • 최근 들어 점차 지능형 서비스 로봇들이 인간의 실생활 속으로 들어옴에 따라, 로봇 스스로 다양한 물체들을 효과적으로 조작할 수 있는 지식을 습득하는 기계 학습 기술들이 매우 주목을 받고 있다. 전통적으로 로봇 행위 학습 분야에는 강화 학습 혹은 심층 강화 학습 기술들이 주로 많이 적용되어 왔으나, 이들은 대부분 물체 조작 작업과 같이 다차원 연속 상태 공간과 행동 공간에서 최적의 행동 정책을 학습하는데 여러가지 한계점을 가지고 있다. 따라서 본 논문에서는 전문가의 데모 데이터를 활용해 보다 효율적으로 물체 조작 행위들을 학습할 수 있는 모방 학습과 강화 학습의 통합 프레임워크를 제안한다. 이 통합 프레임워크는 학습의 효율성을 향상시키기 위해, 기존의 GAIL 학습 체계를 토대로 PPO 기반 강화 학습 단계의 도입, 보상 함수의 확장, 상태 유사도 기반 데모 선택 전략의 채용 등을 새롭게 시도한 것이다. 다양한 성능 비교 실험들을 통해, 본 논문에서 제안한 통합 학습 프레임워크인 PGAIL의 우수성을 확인할 수 있었다.

시각-언어 이동 에이전트를 위한 복합 학습 (Hybrid Learning for Vision-and-Language Navigation Agents)

  • 오선택;김인철
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제9권9호
    • /
    • pp.281-290
    • /
    • 2020
  • 시각-언어 이동 문제는 시각 이해와 언어 이해 능력을 함께 요구하는 복합 지능 문제이다. 본 논문에서는 시각-언어 이동 에이전트를 위한 새로운 학습 모델을 제안한다. 이 모델은 데모 데이터에 기초한 모방 학습과 행동 보상에 기초한 강화 학습을 함께 결합한 복합 학습을 채택하고 있다. 따라서 이 모델은 데모 데이터에 편향될 수 있는 모방 학습의 문제와 상대적으로 낮은 데이터 효율성을 갖는 강화 학습의 문제를 상호 보완적으로 해소할 수 있다. 또한, 제안 모델에서는 기존의 목표 기반 보상 함수들의 문제점을 해결하기 위해 설계된 새로운 경로 기반 보상 함수를 이용한다. 본 논문에서는 Matterport3D 시뮬레이션 환경과 R2R 벤치마크 데이터 집합을 이용한 다양한 실험들을 통해, 제안 모델의 높은 성능을 입증하였다.

건축설계 학습부진자들의 건축적 사고 개선을 위한 데모 기반 설계수업 운영모형 개발 및 활용 사례연구 (A Study on Development and Use of a Demonstration-Based Architectural Design Class Operation Model for Improving Architectural Thinking Abilities of Under-Motivated Learners)

  • 이도영;정현미
    • 대한건축학회논문집:계획계
    • /
    • 제36권3호
    • /
    • pp.49-58
    • /
    • 2020
  • Based on Merrill's instructional theory, this study pursued to develop a demonstration-based architectural design class operation model for the 3rd year undergraduate students taking a Spring semester design studio class. The model was designed and used particularly to improve architectural thinking abilities of under-motivated learners. Learning effects of the model were examined based on the preliminary data obtained for 3 consecutive years, 2017 through 2019. A total of 52 students were participated in the class and observed by the instructor. Once developed, the model has been continually updated and improved based on results of each class operation. Five types of demo. were used in the model. First, direct contacts of the instructor with under-motivated learners were turned out to be the most preferred demo(demo. 4), while watching and listening of the demo(demo.3) between the instructor and motivated learners taking place in class was ranked at the second place. Belief of under-motivated learners on the instructor as a professional should be highly valued for improving their architectural thinking abilities. Second, motivated peers' direct help for under-motivated ones was placed in the third rank. Social attitudes of under-motivated learners towards accepting motivated ones' helps were determined the particular demo's appropriateness. Third, a set of guidelines for operating the model in undergraduate design studio classes were developed and suggested.

기업가정신 온라인교육의 효과성 검증: 플립러닝 및 PBL 기반 기업가정신교육 적용 사례 (A Study between Online Entrepreneurship Education and Entrepreneurship: Based on PBL(Problem-Based Learning) and Flipped Learning)

  • 남정민
    • 벤처창업연구
    • /
    • 제12권2호
    • /
    • pp.31-40
    • /
    • 2017
  • 본 연구의 목적은 문제중심학습(PBL) 및 플립러닝(Flipped Learning)을 적용한 기업가정신온라인교육의 효과성을 검증하는데 있다. 기업가정신온라인교육은 크게 개인학습 및 팀(Team)학습 영역으로 구분되며, 1단계(스타트업과 기업가정신) 및 2단계(아이디어 제시 및 상호 평가)에서 시작하여 7단계(사업계획서 작성) 및 9단계(랜딩페이지/프로토타입)를 거쳐서 10단계(데모데이) 및 11단계(지속성장과 네트워킹)로 마무리된다. 개인학습영역과 병행된 팀학습 영역은 3단계(건강한 조직 구성)를 통해 함께할 동료를 찾고, 4단계(디자인씽킹)를 통해 현장중심의 문제해결방법을 실행하며, 6단계(비즈니스모델캔버스) 및 7단계(사업계획서)를 통해 비즈니스모델을 구현하고 구체적인 사업계획을 수립하며, 9단계(랜딩페이지 및 프로토타입) 및 10단계(데모데이)를 통해 시장에서 제품을 검증할 수 있게 설계되었다. 특히 각 단계별로 10개 내외의 동영상 등의 학습 자료를 제시하고, 각 학습내용에 대해 피드백 작성을 의무화시키도록 시스템화 했으며, 오프라인수업에서는 선행 학습한 내용에 대한 토론 및 팀활동 중심으로 진행함으로써 PBL 및 플립러닝 기반의 기업가정신교육을 진행할 수 있도록 설계하였다. 연구결과, PBL 및 플립러닝 방식의 기업가정신교육을 적용한 집단은 통제집단에 비해 교육이후 문제해결능력 및 창업의지, 기업가정신이 더욱 높게 향상되었고, '창업 진행 및 준비 중'이라는 답변이 1.83배 높게 나타났다. 이러한 연구결과는 향후 PBL 및 플립러닝에 기반한 기업가정신 및 창업교육을 설계할 때 유용한 기초자료로 활용될 수 있을 것이다.

  • PDF

감시 위치 기반의 UAV 모터프리미티브의 구조 설계 (Structure Design of Surveillance Location-Based UAV Motor Primitives)

  • 곽정훈;성연식
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권4호
    • /
    • pp.181-186
    • /
    • 2016
  • 무인항공기(Unmanned Aerial Vehicle, UAV)는 짧은 시간 동안 넓은 범위의 정찰이 가능하기 때문에 최근에는 이를 활용한 감시 시스템 연구가 주목을 받고 있다. 넓은 범위를 감시할 때 조종사가 반복적으로 UAV를 비행시키는 것은 운영에 필요한 비용 문제가 발생한다. 감시를 위한 비행경로를 사전에 정의할 수 있다면 이를 기반으로 UAV를 자율 비행시켜 비용 문제를 해결할 수 있다. 전통적인 접근 방법은 GPS를 기반으로 비행할 경로를 다수 개의 모터프리미티브로 정의한다. 하지만, UAV가 감시할 지점이 모터프리미티브에 반영되지 않아 감시가 제대로 수행되지 못하는 문제가 발생한다. 이 논문에서는 감시용 UAV를 자율 비행시키기 위한 모터프리미티브의 구조를 제안한다. 모터프리미티브는 감시 대상을 정확히 기술하기 위해서 자동으로 감시할 지점을 선택하여 생성된다.

이동 객체 좌표의 시간적 히스토그램 기반 행동패턴분석시스템 (Behavior Pattern Analysis System based on Temporal Histogram of Moving Object Coordinates.)

  • 이재광;이규원
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2015년도 춘계학술대회
    • /
    • pp.571-575
    • /
    • 2015
  • 실시간으로 입력되는 영상으로부터 이동객체의 움직임 특징을 분석하는 시간적 히스토그램 기반의 행동패턴분석 알고리즘을 제안한다. 이동객체의 추적 및 분석을 위해 배경과 이동객체를 분리하는 배경학습을 행한다. 배경학습으로 추출된 이동객체는 무게중심 및 좌표연관성을 이용하여 객체를 식별한 후 객체별 추적을 행한다. 추적된 각 객체의 시작프레임, 종료프레임, 좌표정보, 크기정보를 연결리스트에 저장하여 관리한다. 시간적 히스토그램은 x, y좌표와 시간을 이용해 움직임 특징 패턴을 정의한 것으로 각 객체의 좌표정보와 비교하여 움직임특징 및 행동패턴을 파악한다. 시간적 히스토그램 기반 행동패턴분석시스템은 자체 수집한 데모영상에 대한 실험을 통해 초당 45~50 fps의 높은 처리속도를 유지하며 95%이상의 높은 추적율을 확인하였다.

  • PDF