• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.475-480
• /
• 2007

대화관리시스템은 사용자 발화로부터 사용자의 의도를 추론하여 시스템의 응답을 결정하고 이를 사용자에게 자연스러운 형태로 반환하는 역할을 한다. 본 논문에서는 마르코프 의사 결정과정에 기반한 대화관리자를 통하여 정확한 동작 수행과 사용자의 자연스러운 발화를 가능케 하는 대화관리시스템에 대해서 소개한다. 마르코프 의사 결정과정 대화관리자는 실세계 환경을 모델링 하는 유한 개수의 상태들과 이를 이용한 통계적 학습을 통해 시스템 응답을 결정 한다. 본 대화관리시스템은 대화관리자 이외에 언어이해부, 영역규칙 적용부, 목적시스템 제어부, 예제기반 응답생성부로 이루어져 있으며, 각 구성요소는 영역이식에 용이하도록 설계되어 있다.

• 한국산업정보학회:학술대회논문집
• /
• 한국산업정보학회 1997년도 춘계학술대회 발표논문집
• /
• pp.141-161
• /
• 1997

팩시밀리로부터 수신된 영상은 글자를 두껍게 하는 돌출잡영(salient noise), 문자주변에 점이 추가되는 고춧가루 잡영(pepper noise), 선의절단을 일으키는 백색잡영(white noise)으로 인하여 가독성이 떨어진다. 수신된 팩시밀리 영상을 원래의 영상으로 복원하기 위하여 최근에 Handley 와 Dougherty가 처음으로 형태학적 복원 방법을 제안하였다. 형태학적 복원 방법은 돌출잡영에 대해서 효과적이었지만, 확률적으로 발생하는 백색잡영과 고춧가루잡영에 대해서는 팩시밀리 영상을 결정적 수열(deterministic sequence)로다루었기 때문에 효과적이지 못했다. 본 논문에서는 주사과정, 고딩과정, 그리고 통신과정에서 생성되는 돌출, 고춧가루, 백색잡영에 의해 훼손된 팩시밀리 영상을 칼만여과를 이용하여 복원하는 새로운 방법을 제안하였다. 제안된 방법은 모델링과 복원 두 단계로 구축된다. 첫째, 이웃 화소들과의 종속관계를 갖는 팩시밀리 영상을 마르코프 랜덤 필드를 바탕으로 팩시밀리 시스템 모델을 제안하였다. 둘째, 제안된 팩시밀리 시스템 모델을 칼만 여과과정의 시스템 모델 및 관측모델로 재구성한 다음, 칼만 여과과정의 ill-conditioned 문제를 극복하기 위하여 양정치 (positive definite)공분산 행렬을 유도하여 새로운 복원방법을 제안하였다. 제안된 방법의 복원 능력을 검증하기 위하여 사무실에서 가장 많이 사용되는 한글을 사용하여 알파벳 대소문자, 숫자, 특수문자로 구성된 문서를 만들어 실험하였다. 그 결과, 제안된 방법이 형태학적인 복원 방법보다 성능이 우수함을 밝혔다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제36권6호
• /
• pp.479-490
• /
• 2009

여러 가지 실세계 문제들은 마르코프 결정 문제(Markov decision problem) 들로 형식화하여 풀 수 있으나, 풀이 과정의 높은 계산 복잡도 때문에 실세계 문제들을 직접적으로 다루는 데 많은 어려움이 있다. 이를 해결하기 위해 많은 시간적 추상화(Temporal abstraction) 방법들이 제안되어 왔고 이를 자동화하기 위한 여러 방법들 또한 연구되어 왔으나, 이들 방법들은 명시적인 효율성 척도를 갖고 있지 않아 이론적인 성능 보장을 하지 못하는 문제가 있었다. 본 연구에서는 문제의 크기가 커지더라도 좋은 성능이 보장되는 자동적인 시간적 추상화 구현 방법에 대해 제안한다. 이를 위하여 네트워크 척도(Network measurements)를 이용하여 마르코프 결정 문제의 풀이 효율과 상태 궤적 그래프(State trajectory graph)의 위상 특성간의 관계를 분석하고, 네트워크 척도들 중 평균 측지 거리(Mean geodesic distance)가 마르코프 결정 문제의 풀이 성능과 밀접한 관계가 있다는 사실을 알아내었다. 이 사실을 기반으로 하여, 낮은 평균 측지 거리를 보장하는 복잡계망 모델(Complex network model)을 사용하여 시간적 추상화를 만들어 나가는 알고리즘을 제안한다. 제안된 알고리즘은 사실적인 3차원 게임 환경을 비롯한 여러 문제에 대해 테스트되었고, 문제 크기의 증가에도 불구하고 효율적인 풀이 성능을 보여 주었다.

• 한국신뢰성학회:학술대회논문집
• /
• 한국신뢰성학회 2000년도 춘계학술대회 발표논문집
• /
• pp.47-53
• /
• 2000

Brown과 Proschan의 수리모형과 이를 일반화한 Lee와 Seoh의 시스템 수리모형이 고려된다. Brown과 Proschan의 수리모형은 시스템의 고장시 완전수리가 확률 p로, 불완전수리가 확률 1-p로 이루어지는 모형이고, Lee와 Seoh의 수리모형은 시스템 고장시 완전수리와 불완전수리의 선택이 마르코프 연쇄과정에 따라 결정되는 모형이다. 본 논문에서는, 완전수리비용과 불완전수리비용을 고려한 후, 시스템의 수명분포가 지수분포, 균일분포, Weibull분포인 경우로 나누어, 위 두 시스템 수리모형에서의 최적화가 연구된다.

• 대한조선학회논문집
• /
• 제56권1호
• /
• pp.58-65
• /
• 2019

The stability, reliability and efficiency of a smart ship are important issues as the interest in an autonomous ship has recently been high. An automatic collision avoidance system is an essential function of an autonomous ship. This system detects the possibility of collision and automatically takes avoidance actions in consideration of economy and safety. In order to construct an automatic collision avoidance system using reinforcement learning, in this work, the sequential decision problem of ship collision is mathematically formulated through a Markov Decision Process (MDP). A reinforcement learning environment is constructed based on the ship maneuvering equations, and then the three key components (state, action, and reward) of MDP are defined. The state uses parameters of the relationship between own-ship and target-ship, the action is the vertical distance away from the target course, and the reward is defined as a function considering safety and economics. In order to solve the sequential decision problem, the Deep Deterministic Policy Gradient (DDPG) algorithm which can express continuous action space and search an optimal action policy is utilized. The collision avoidance system is then tested assuming the $90^{\circ}$intersection encounter situation and yields a satisfactory result.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 춘계학술발표대회
• /
• pp.412-414
• /
• 2019

경로 계획은 에이전트가 로봇이 특정 목적지에 도착할 수 있도록 에이전트가 수집한 정보를 바탕으로 경로를 설정하는 작업을 뜻한다. 부분 관측만 가능한 맵인 경우 에이전트 이동마다 새로 수집되는 정보들을 바탕으로 마르코프 의사결정 과정을 사용한 가치 반복 알고리즘이 널리 사용되지만, 제안된 가치 반복 알고리즘 사용 시 매 행동마다 모든 공간의 최적 경로를 계산하기 때문에 시간이 오래 걸리는 문제점이 있다. 이에 본 논문에서는 에이전트가 한 번에 탐색하는 범위가 제한되어 있다는 점에 착안하여 탐색 반경 내에 속하는 공간의 가치 함수 값을 미리 추정하여 효율적으로 최적의 경로를 추정하는 가치 반복 알고리즘을 제안한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권7_8호
• /
• pp.672-680
• /
• 2003

shopbot이란 온라인상의 판매자로부터 상품에 대한 가격과 품질에 관한 정보를 자동적으로 수집함으로써 소비자의 만족을 최대화하는 소프트웨어 에이전트이다 이러한 shopbot에 대응해서 인터넷상의 판매자들은 그들에게 최대의 이익을 가져다 줄 수 있는 에이전트인 pricebot을 필요로 할 것이다. 본 논문에서는 pricebot의 가격결정 알고리즘으로 비 모델 강화 학습(model-free reinforcement learning) 방법중의 하나인 Q-학습(Q-learning)을 사용한다. Q-학습된 에이전트는 근시안적인 최적(myopically optimal 또는 myoptimal) 가격 결정 전략을 사용하는 에이전트에 비해 이익을 증가시키고 주기적 가격 전쟁(cyclic price war)을 감소시킬 수 있다. Q-학습 과정 중 Q-학습의 수렴을 위해 일련의 상태-행동(state-action)을 선택하는 것이 필요하다. 이러한 선택을 위해 균일 임의 선택방법 (Uniform Random Selection, URS)이 사용될 경우 최적 값의 수렴을 위해서 Q-테이블을 접근하는 회수가 크게 증가한다. 따라서 URS는 실 세계 환경에서의 범용적인 온라인 학습에는 부적절하다. 이와 같은 현상은 URS가 최적의 정책에 대한 이용(exploitation)의 불확실성을 반영하기 때문에 발생하게 된다. 이에 본 논문에서는 보조 마르코프 프로세스(auxiliary Markov process)와 원형 마르코프 프로세스(original Markov process)로 구성되는 혼합 비정적 정책 (Mixed Nonstationary Policy, MNP)을 제안한다. MNP가 적용된 Q-학습 에이전트는 original controlled process의 실행 시에 Q-학습에 의해 결정되는 stationary greedy 정책을 사용하여 학습함으로써 auxiliary Markov process와 original controlled process에 의해 평가 측정된 최적 정책에 대해 1의 확률로 exploitation이 이루어질 수 있도록 하여, URS에서 발생하는 최적 정책을 위한 exploitation의 불확실성의 문제를 해결하게 된다. 다양한 실험 결과 본 논문에서 제한한 방식이 URS 보다 평균적으로 약 2.6배 빠르게 최적 Q-값에 수렴하여 MNP가 적용된 Q-학습 에이전트가 범용적인 온라인 Q-학습이 가능함을 보였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제35권5호
• /
• pp.313-324
• /
• 2008

문장 축소란 원본 문장의 기본적인 의미를 유지하면서 불필요한 단어나 구를 제거하는 일련의 정보 압축 과정을 의미한다. 기존의 문장 축소에 관한 연구들은 학습 과정에서 대량의 어휘나 구문적 자원을 필요로 하였으며, 복잡한 파싱 과정을 통해서 불필요한 문장의 구성원(예를 들어, 단어나 구, 절 등)들을 제거하여 문장을 요약하였다. 그러나 학습 데이타로부터 얻을 수 있는 어휘적 자원은 매우 한정적이며, 문장의 모호성과 예외적인 표현들 때문에 구문 분석 결과가 명료하게 제공되지 않은 언어에서는 문장 요약이 용이하지 않다. 이에 본 논문에서는 구문 분석을 대체하기 위한 방법으로 템플릿과 품사 정보를 이용한 문장 축소 방법을 제안한다. 제안하는 방법은 요약문의 구조적 형태를 결정하기 위한 문장 축소 템플릿(Sentence Reduction Templates)과 문법적으로 타당한 문장 구조를 구성하는 품사기반 축소규칙(Grammatical POS-based Reduction Rules)을 이용하여 요약 대상 문장의 구성을 분석하고 요약한다. 더불어, 문장 축소 템플릿 적용 시 발생하는 연산량 증가 문제를 은닉 마르코프 모델(HMM: Hidden Markov Model)의 비터비 알고리즘(Viterbi Algorithm)을 이용하여 효과적으로 처리한다. 마지막으로, 본 논문에서 제안한 문장 축소 방법의 결과와 기존 논문의 연구 결과를 비교 및 평가함으로써 제안하는 문장 축소 방법의 유용성을 확인한다.

• 대한음성학회:학술대회논문집
• /
• 대한음성학회 2006년도 추계학술대회 발표논문집
• /
• pp.14-18
• /
• 2006

The role of dialogue manager is to select proper actions based on observed environment and inferred user intention. This paper presents stochastic model for dialogue manager based on Markov decision process. To build a mixed initiative dialogue manager, we used accumulated user utterance, previous act of dialogue manager, and domain dependent knowledge as the input to the MDP. We also used dialogue corpus to train the automatically optimized policy of MDP with reinforcement learning algorithm. The states which have unique and intuitive actions were removed from the design of MDP by using the domain knowledge. The design of dialogue manager included the usage of natural language understanding and response generator to build short message based remote control of home networked appliances.

• 한국GIS학회:학술대회논문집
• /
• 한국GIS학회 2004년도 GIS/RS 공동 춘계학술대회 논문집
• /
• pp.511-516
• /
• 2004

수치표고모델, 정사영상과 같은 공간영상정보를 구축하기 위해서는 입체영상을 이동한 영상정합(image matching)의 과정이 필수적이며, 단영상 또는 스테레오 영상을 이용하여 대상물의 3차원 정보를 재구성하고 복원하는 기술은 사진측량 및 컴퓨터 비전 분야의 주요 연구 중의 하나이다. 본 연구에서는 화소값의 유사성과 상호관계성을 고려하는 MRF 모델을 이용하여 영상정합을 수행하였다. MRF 모델은 공간분석이나 물리적 현상의 전후관계(contextural dependencies)의 분석을 위한 확률이론의 한 분야로 다양한 공간정보를 통합할 수 있는 방법을 제공한다. 본 연구에서는 기준영상의 화소에 시차를 할당하는 접근 방법으로 확률모델의 일종인 마르코프 랜덤필드(MRF)모델에 기반한 영상정합기법을 제안하였고, 공간내 화소의 상호관계를 고려해주므로 대상물의 경계부분에서의 매칭 정확도를 향상시켰다. 영상정합문제에서의 MRF 기본가정은 영상 내 특정화소의 시차는 그 주위화소의 시차에 의한 부분정보에 따라 결정이 가능하다는 것이다. 깁스분포(gibbs distribution)를 사용하여 사후(posteriori) 확률값을 유도해내고, 이를 최대사후확률(MAP: Maximum a Posteriori)추정법을 이용하여 에너지함수를 생성하였다. 생성된 에너지함수의 최적화(Optimization)를 위하여 본 연구에서는 전역최적화기법인 multiway cut 기법을 사용하여 영상정합에 있어 에너지함수를 최소로 하는 이미지화소에 대한 시차레이블을 구하여 영상정합을 수행하였다.