• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (B)
• /
• pp.106-108
• /
• 2006

강화 학습은 누적 보상 값을 최대화할 수 있는 행동 선택 전략을 학습하는 온라인 학습의 한 형태이다. 효과적인 강화학습을 위해 학습 에이전트가 매 순간 고민해야 하는 문제가 탐험(exploitation)과 탐색(exploration)의 문제이다. 경험과 학습이 충분치 않은 상태의 에이전트는 어느 정도의 보상 값을 보장하는 과거에 경험한 행동을 선택하느냐 아니면 보상 값을 예측할 수 없는 새로운 행동을 시도해봄으로써 학습의 폭을 넓힐 것이냐를 고민하게 된다. 특히 단일 에이전트에 비해 상태공간과 행동공간이 더욱 커지는 다중 에이전트 시스템의 경우, 효과적인 강화학습을 위해서는 상태 공간 축소방법과 더불어 탐색의 기회가 많은 행동 선택 전략이 마련되어야 한다. 본 논문에서는 로봇축구 Keepaway를 위한 효율적인 다중 에이전트 강화학습 방법을 설명한다. 이 방법의 특징은 상태 공간 축소를 위해 함수근사방법의 하나인 타일 코딩을 적용하였고, 다양한 행동 선택을 위해 룰렛 휠 선택 전략을 적용한 것이다. 본 논문에서는 이 방법의 효과를 입증하기 위한 실험결과를 소개한다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2007년도 심포지엄 논문집 정보 및 제어부문
• /
• pp.119-120
• /
• 2007

본 논문에서는 실내의 고정된 단일 칼라 카메라에서 획득된 비디오 스트림으로부터 사람의 행동을 인식하기 위한 시스템을 제안한다. 제안된 시스템은 사람의 시공간적 상태 변화와 사람의 시선 방향을 이용하여 규칙기반으로 행동을 인식한다. 사람의 의미 있는 상태변화를 이벤트로, 이벤트의 시퀀스 즉, 사람의 행동을 시나리오로 정의하였다. 따라서 입력비디오 스트림에서 사람의 상태변화로 이벤트를 검출하고, 검출된 이벤트의 시퀀스로 사람의 행동을 인식한다. 사람의 시선은 얼굴과 머리 영역의 색정보를 이용한 시선 방향 추정 방법으로 찾아지며, 사람의 상태 변화는 사람의 위치와 키 등을 이용하여 검출된다. 본 시스템은 실내 환경에서 획득한 비디오에서 실험하였으며, 실험결과 시선 방향에 의해 서로 다른 행동을 구분하여 인식할 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2000년도 제13회 춘계학술대회 및 임시총회 학술발표 논문집
• /
• pp.1027-1030
• /
• 2000

객체 지향 프로그램의 이해 및 테스팅을 효과적으로 수행하기 위해서는 객체 간의 상호 작용을 우선 이해하여야 한다. UML로 작성된 시스템 명세에서는 각각의 클래스에 대한 행동이 UML 상태 다이어그램으로 기술되어 있어 전체 시스템의 행동을 유추하는데 어려움이 따른다. 이 연구에서는 객체 지향 프로그램의 상태 다이어그램을 기반으로 객체간 행동 테스팅을 수행하기 위해서 UML 상태 다이어그램들을 합성하여 객체간 행동을 추출, 생성하는 과정을 기술한다. 추출, 합성된 객체간 행동 모델은 기존의 널리 알려진FSM 기반 테스팅 기법들을 그대로 이용할 수 있다.

• 디지털융복합연구
• /
• 제13권11호
• /
• pp.549-559
• /
• 2015

본 연구의 목적은 운동행동 변화단계에 따른 노인의 운동자기효능감과 지각된 건강상태의 차이를 확인하여 노인의 운동행위에 대한 융복합적인 정보를 제공하는데 있다. 본 연구의 대상은 D시에 소재한 60세 이상 노인을 모집단으로 선정하여 편의표본추출법을 사용하여 총 231(남:91, 여:140)명을 대상으로 하였다. 본 연구의 실험설계는 연구 대상자의 운동행동 변화단계에 따른 운동자기효능감, 지각된 건강상태의 차이를 알아 보기위해 One-way ANOVA와 Tukey HSD 사후 검증, 단순회귀분석을 이용하여 분석하였다. 모든 통계적 유의수준은 .05로 설정하였다. 운동행동 변화단계에 따른 노인들의 운동자기효능감 차이에 대한 분석결과, 운동행동의 단계가 보다 상위단계로 올라감에 따라 자기효능감이 향상되는 것으로 나타났다. 그리고 운동행동 변화단계에 따른 노인들의 지각된 건강상태에 대한 분석 결과, 운동행동의 단계가 계획 전 단계, 계획단계, 준비단계 보다 행동단계와 유지단계에서 지각된 건강상태가 높은 것으로 나타났다. 또한 노인들의 운동행동 변화단계가 운동자기효능감과 지각된 건강상태에 미치는 영향을 분석한 결과, 노인의 운동행동 변화단계가 운동자기효능감과 지각된 건강상태에 정적(+)의 영향을 미치는 것으로 나타났고, 각각 84.3%와 59.8%의 설명력을 보였다. 따라서 본 연구결과들을 종합해 보면 운동행위 변화단계에 따른 운동 자기효능감과 지각된 건강상태는 긍정적으로 유의한 관련성이 있는 것으로 나타났으며, 운동행동의 단계가 상위단계로 올라 갈수록 노인들에게 긍정적인 영향력을 미친다는 것을 알 수 있었다.

• 한국게임학회 논문지
• /
• 제14권5호
• /
• pp.127-136
• /
• 2014

게임 NPC(Non Player Character)는 게임 플레이어와 대전 또는 협력함으로써 게임의 재미를 증가시키는 중요한 요소이다. 대부분 기존 게임에서 제공되는 NPC 인공지능은 FSM(Finite State Machine)으로 제작되어 행동 패턴이 정해져 있고 능력이 동일한 특징을 갖고 있다. 따라서 이러한 특징을 갖는 NPC들과 대전하는 플레이어는 창조적인 게임 플레이를 진행하는 것이 어려울 수 있다. 본 논문은 이 문제점을 개선하기 위하여 실제 생활에서 늑대들이 먹이를 사냥하는 행동 모델을 게임 NPC의 행동 모델로 제작하고 이를 평가하기 위한 것이다. 이를 위하여 첫째, 실세계에서 늑대들이 먹이를 포획하기 위한 행동 상태들을 조사 연구한다. 둘째, 이 행동 상태들을 Unity3D 엔진을 이용하여 구현한다. 셋째, 구현된 NPC들의 상태 전이 비율과 실세계의 NPC들의 상태 전이 비율, 일반적인 게임 NPC의 상태 전이 비율을 비교한다. 비교 결과, 구현된 NPC들의 상태 전이 비율은 실세계의 상태 전이 비율과 비슷함을 보인다. 이는 구현된 NPC들의 행동 패턴이 실세계의 늑대 사냥 행동 패턴과 유사함을 의미하는데, 이렇게 함으로써 플레이어에게 보다 증가된 사용자 경험을 제공할 수 있다.

• 한국보육지원학회지
• /
• 제7권1호
• /
• pp.149-166
• /
• 2011

본 연구는 보육교사의 건강상태, 건강행동, 보육의 질을 살펴보고 이들 변인간 관계를 알아보았다. 경기도와 서울시에 소재하는 보육시설에 근무하는 보육교사 281명을 대상으로 하였으며 자료 분석은 일원변량분석과 Pearson 적률상관계수를 사용하였다. 연구결과는 다음과 같다. 첫째, 보육교사의 건강상태는 낮은 편이었으며 경력 3-5년미만과 30-40세미만의 건강상태가 가장 높게 나타났다. 둘째, 보육교사의 건강행동도 저조한 것으로 나타났는데 5-10년미만의 경력을 지닌 보육교사와 30-40세미만의 보육교사의 정신건강행동이 가장 높게 나타났으며 3-5년미만의 경력을 지닌 보육교사의 신체건강행동이 가장 높게 나타났다. 셋째, 보육교사가 인식하는 보육의 질과 보육교사의 건강상태와 건강행동의 하위영역인 정신건강행동과 신체건강행동간 유의한 정적 상관관계가 나타났다.

• 한국멀티미디어학회논문지
• /
• 제9권5호
• /
• pp.649-657
• /
• 2006

강화학습이란 환경에 대한 정보가 주어지지 않았을 때 현재의 상태에서 가능한 행동들을 취한 후 얻어지는 보상값이 가장 큰 행동을 최적의 행동 전략으로 학습하는 것이다. 강화학습에서 가장 많이 사용하는 Q-학습은 환경의 특정 상태에서 가능한 행동 중에 하나를 선택해서 취한 행동으로 얻어지는 보상값으로 구성되는데 실세계 상태를 이산값으로 표현하기에는 많은 어려움이 있다. 상태를 많이 정의하면 그만큼 학습에 필요한 시간이 많아지게 되고 반대로 상태 공간을 줄이면 다양한 환경상태를 한 개의 환경상태로 인지를 하고 그 환경에 맞는 한 가지의 행동만 취하도록 학습하기 때문에 행동이 단순해진다. 본 논문에서는 학습 시간을 단축하기 위해 상태 공간을 줄이는 데서 발생하는 행동의 단순화의 단점을 보완하기 위한 방법으로 영향력 분포도를 이용한 Q-학습 방법을 제안한다. 즉, 영향력 분포도와 인접한 학습 결과를 이용해서 학습하지 못한 중간 상태에 적합한 행동을 취하게 하여 동일한 상태 개수에 대해서 학습 시간을 단축하는 것이다. 동일한 학습 시간 동안에 일반적인 강화학습 방법으로 학습한 에이전트와 영향력 분포도와 강화학습을 이용해서 학습한 에이전트의 성능을 비교해 보았을 때 영향력 분포도와 강화학습을 이용해서 학습한 에이전트가 단지 일반적인 강화학습에 필요한 상태공간의 4.6%만 정의를 하고도 성능 면에서는 거의 비슷한 효과를 볼 수가 있음을 확인하였다. 이는 영향력 분포도와 강화학습을 이용한 학습이 일반적인 강화학습에 비해서 학습 속도가 2.77배정도 빨리 이루어지고 실제 학습해야 할 상태 공간의 개수가 적어져서 발생되는 문제를 영향력 분포도를 이용해서 보완을 하기 때문이다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2016년도 제53차 동계학술대회논문집 24권1호
• /
• pp.267-269
• /
• 2016

본 논문에서는 언리얼 엔진4의 Behavior Tree(행동 트리)를 이용하여 NPC의 다양한 상태와 움직임을 가진 어드벤처 게임 AI를 설계 및 개발하였고, 그 효율성을 분석하였다. Behavior Tree는 상태와 행동을 계층적으로 나누어 AI의 행동을 결정하는 알고리즘으로 FSM(Finite State Machine, 유한상태기계)과 비교하여 유지보수와 행동 규칙 검증의 어려움을 해결하는 데 장점이 있음을 확인하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
• /
• pp.550-552
• /
• 2004

가상공간에는 PC(Playerable Character), NPC(Non-Playerable Character)등의 동적 객체와 건물, 지형 등의 정적 객체들이 존재하게 된다. 동적 객체들의 경우, 현실감을 위해 인공지능이 자주 이용된다 현재까지 인공지능에 대한 연구는 유한상태기계(Finite State Machine. FSM). 학습 알고리즘, 유전자 알고리즘, 신경망 알고리즘 등을 중심으로 진행되어 왔다. 이중 유한상태기계는 비교적 알고리즘이 간단하고, 시스템의 부담이 적어 간단한 객체의 인공지능으로 가장 널리 사용되고 있다. 본 논문은 유찬상태기계를 확장하여 모드변경(Mode Change)과 그룹행동을 보여줄 수 있는 XML을 활용한 FSM 시스템을 제안한다. 여기서 모드변경이란 하나의 행동 패턴에서 다른 행동 패턴으로 변경하는 것을, 그룹행동은 여러 객체가 함께 행동하는 Flocking기법을 지칭한파. 이러한 XML을 활용한 FSM 시스템은 다양한 패턴의 정의는 물론, 객체의 상태 정의 및 수정, 확장이 용이하여, 다양한 응용 분야에서 활용될 수 있다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제16권4호
• /
• pp.477-481
• /
• 2010

본 연구에서는 무선 센서 네트워크를 기반으로 침대 주변에서 사람의 행동유형을 분류하고자 한다. 침대 주변에서 사람의 다섯가지 행동유형과 세가지 상태들을 정의하고, 이들을 상태기계로 표현하였다. 움직임 감지 및 진동센서들을 통해 행동유형 관련 데이터들을 수집하고 이로 부터 특정벡터를 추출하였다. 행동유형별 특징벡터와 상태기계를 기초로 행동유형 모델을 정립하였고, 정립된 모델의 유효성 검증을 위해 실험을 실시한 후 행동유형 모델을 보정하였다. 이러한 실험결과들은 침대 주변에서 사람들이 행하는 행동유형들이 잘 분류될 수 있음을 보여준다.