• The KIPS Transactions:PartB
• /
• v.9B no.2
• /
• pp.155-162
• /
• 2002

Reinforcement learning is a learning method that uses trial-and-error to perform Learning by interacting with dynamic environments. It is classified into online reinforcement learning and delayed reinforcement learning. In this paper, we propose an online reinforcement learning system (ONRELS : Outline REinforcement Learning System). ONRELS updates the estimate-value about all the selectable (state, action) pairs before making state-transition at the current state. The ONRELS learns by interacting with the compressed environments through trial-and-error after it compresses the state space of the mage environments. Through experiments, we can see that ONRELS can search the shortest path faster than Q-learning using TD-ewor and $Q(\lambda{)}$-learning using $TD(\lambda{)}$ in the maze environments.

• Journal of Korean Society of Transportation
• /
• v.24 no.5 s.91
• /
• pp.77-88
• /
• 2006

The purpose of this study is to Propose the time dependent K-least time path algorithm applicable to a real-time based operation strategy in multi-modal transportation network. For this purpose, we developed the extended method based on entire path deletion method which was used in the static K-least time path algorithm. This method was applied to time dependent K-least time path algorithm to find k least time paths in order based on both time dependant mode-link travel time and transfer cost In particular, this algorithm find the optimal solution, easily describing transfer behavior, such as walking and waiting for transfer by applying a link-based time dependent label. Finally, we examined the verification and application of the Proposed algorithm through case study.

• Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
• /
• 2004.03a
• /
• pp.51-56
• /
• 2004

인터넷 통신과 무선 이동 통신의 발달은 최적 경로 탐색이 인터넷 웹 페이지를 통하여 서비스될 수 있도록 하였으며, CNS(Car Navigation System)를 이용한 서비스도 가능하도록 하였다. 나아가 개인용 휴대통신 장비인 PDA나 핸드폰을 이용하여서도 그 서비스가 제공되고 있다. 기존의 양방향 A＊ 알고리즘에서는 현재 노드에서 목적지까지의 예상 비용을 직선 거리를 사용하였지만 본 논문에서는 현재 노드까지 지나온 경로에 대한 정보를 이용하였다. 지금까지 지나온 경로의 평균 경로 비용을 계산하여 이용함으로써, 직선 길이가 아닌 지금까지 지나온 경로의 정보를 이용할 수 있었고, 지나온 경로의 정보와 앞으로 탐색할 경로에 대한 애매한 정보들(도로의 속도, 날씨, 주행시간대)을 퍼지를 이용하여 계산하였다. 퍼지를 이용하여 도로의 애매한 정보들을 실시간으로 활용할 수 있는 알고리즘을 제안하고 제안한 알고리즘의 타당성을 실험을 통하여 검증하였다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2008.04a
• /
• pp.60-63
• /
• 2008

본 논문에서는 신경망 모델(neural network model)과 유전자 알고리즘(genetic algorithm)을 이용한 실시간 경로 계획(real-time path-planning)과 퍼지 룰(fuzzy rule)을 이용한 효율적인 다중경로계획(multiple path-planning)을 제안한다. 실시간 경로 계획은 빠른 시간 내에 최적 경로의 생성이 반드시 수행되어야 하므로, 본 논문에서는 경로 계획 중 장애물 지역과 비장애물 지역을 빠르게 확인하기 위해 신경망 모델을 이용하여, 이동 방향 및 최적경로 탐색을 위하여 유전자 알고리즘을 이용하였다. 또한 충돌 구역에서의 효율적인 다중 경로 계획을 위해, 퍼지를 이용하여 경로를 재계획 하였다. 퍼지의 경우, 현재 위치에서 목표 지점으로의 방향을 계산하기 위한 퍼지 소속 함수와 현재 위치와 충돌 구역까지의 거리 값을 가중치로 세우고 퍼지 룰을 결정하여 경로계획을 수행하였다. 시뮬레이션을 통해 실험해본 결과, 퍼지 룰을 사용했을 때 사용하지 않았을 때 보다 좋은 성능을 나타남을 확인할 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.595-597
• /
• 2005

본 논문에서는 자율 에이전트에 의해 미지의 공간을 탐사하는 실시간 그래프 탐색 알고리즘 DFS-RTA*와 DFS-PHA*를 제안하고 그 효율성을 비교한다. 두 알고리즘들은 모두 깊이-우선 탐색(DFS)을 기초로 하고 있으며, 직전 노드로의 빠른 후진(backtrack) 을 위해 각각 실시간 최단 경로 탐색 방법인 RTA*와 PHA*를 적용하는 것이 특징이다. 본 논문에서는 대표적인 3차원 온라인 게임 환경인 Unreal Tournament 게임과 지능형 캐릭터 에이전트인 KGBot를 이용한 실험을 통해 두 탐색 알고리즘의 완전성과 효율성을 분석해본다.

• Proceedings of the Korea Inteligent Information System Society Conference
• /
• 2005.05a
• /
• pp.222-231
• /
• 2005

본 논문에서는 자율 에이전트에 의해 미지의 공간을 탐사하는 실시간 그래프 탐색 알고리즘 $DFS-RTA^{\ast}$와 $DFS-PHA^{\ast}$를 제안하고 그 효율성을 비교한다. 두 알고리즘들은 모두 깊이-우선 탐색(DFS)을 기초로 하고 있으며, 직전 노드로의 빠른 후진(backtrack) 을 위해 각각 실시간 최단 경로 탐색 방법인 $RTA^{\ast}$와 $PHA^{\ast}$를 적용하는 것이 특징이다. 본 논문에서는 대표적인 3차원 온라인 게임 환경인 Unreal Tournament 게임과 지능형 캐릭터 에이전트인 KGBot를 이용한 실험을 통해 두 탐색 알고리즘의 완전성과 효율성을 분석해본다.

• Journal of Digital Contents Society
• /
• v.13 no.3
• /
• pp.451-457
• /
• 2012

Recently, as the use of real time traffic information of a car navigation system increases rapidly with the development of Intelligent Transportation Systems (ITS), path search is getting more important. Previous algorithms, however, are mostly for the shortest distance searching and provide route information using static distance and time information. Thus they could not provide the most optimal route at the moment which changes dynamically according to traffic. Accordingly, in this study, Semantic Shortest Path algorithm with Reduction ratio & Distance(SSP_RD) is proposed to solve this problem. Additionally, a routing model based on velocity reduction ratio and distance and a dynamic route link map are proposed.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2002.12a
• /
• pp.215-218
• /
• 2002

본 논문에서 구현한 시스템은 비젼(vision)시스템을 이용하여 자율 이동로봇의 경로를 탐색하고 추출된 정보로부터 자율 이동로봇의 위치제어 성능을 제시하고자 한다. 일반적인 로봇시스템은 자신이 이동해야 할 목표 지점을 자율적으로 생성할 수 없으므로 기타 다른 시스템의 정보를 이용하여 미로를 탐색하거나 장애물을 인식하고 식별하여 자신의 제어전략을 수립한다. 그리고, 본 연구에서 제시한 시스템은 자율이동로봇의 행동 환경을 호스트 PC인 비젼시스템이 로봇의 현재 위치, 로봇이 이동해야 할 목표위치, 장애물의 위치와 형태 둥둥을 분석한다. 분석된 결과값을 RF-Module을 이용해서 로봇에 전송하면 로봇은 그 데이터를 받아서 동작하게 되며 로봇이 오동작 또는 장애물로 인해 정확한 목적지까지 도달하지 못할때 호스트 PC는 새로운 최단경로를 만들거나 장애물을 회피 할 전략을 로봇에게 보내준다. 본 연구에 적용한 알고리즘은 A* 알고리즘을 사용하였으며, 본 알고리즘은 매우 단순하면서도 실시간 처리에 적용가능하며, 자율 이동로봇의 충돌회피, 최단 경로 생성에 대한 성능을 실험을 통하여 제시한다.

• KSCE Journal of Civil and Environmental Engineering Research
• /
• v.28 no.3D
• /
• pp.317-323
• /
• 2008

Mass transit information can contribute many benefits to users. Especially, transportation information technology is developing highly with information technology in Korea recently. Hereafter, it is expected to give customized transportation information to users individually with the advent of ubiquitous age in earnest. This public transportation information service can be realized by path finding algorithm in public transportation networks including travel and transfer attributes. In this research, constraints are constructed with the primary facts influencing users. Moreover, the method reducing user's path finding condition arbitrarily is proposed by making the maximum value as variables. In this study, transfer frequency, total travel time, seat confirmation, transfer time and travel time become constraint condition based on k path finding algorithm considering service time constraint condition. Moreover, case study about user customized transfer information is performed in Seoul and metropolitan subway networks.

• Proceedings of the Korean Institute of Navigation and Port Research Conference
• /
• 2007.12a
• /
• pp.226-227
• /
• 2007

Significant increase of container flows in marine terminals requires more efficient automatic port systems. This paper presents a novel routing and collision avoidance algorithm of linear motor based shuttle cars using random access sequence dynamic programming (RAS DP). The proposed RAS DP is accomplished online for determining optimal paths for each shuttle car.