• Journal of the Semiconductor & Display Technology
• /
• v.16 no.3
• /
• pp.127-130
• /
• 2017

In this research, we present a path planning method for an autonomous flight of unmanned aerial vehicles (UAVs) through reinforcement learning under simulated environment. We design the simulator for reinforcement learning of uav. Also we implement interface for compatibility of Deep Q-Network(DQN) and simulator. In this paper, we perform reinforcement learning through the simulator and DQN, and use Q-learning algorithm, which is a kind of reinforcement learning algorithms. Through experimentation, we verify performance of DQN-simulator. Finally, we evaluated the learning results and suggest path planning strategy using reinforcement learning.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.01a
• /
• pp.397-398
• /
• 2019

망막혈관 영상에서(retinal image) 혈관의 모양 또는 생성변화를 효과적으로 검진하기 위해서 망막혈관을 자동적으로 분리하는 영상분할 기법의 개발은 매우 중요한 사안이다. 이를 위해서 주로 망막혈관영상의 잡음을 억제하고 또한 혈관의 명암대비도(contrast)를 증가시키는 전처리 과정을 거쳐서 혈관의 국부적인 화소값의 변화, 방향성을 판별하여 혈관을 자동적으로 검출하는 방법들이 제시되어왔으며 최근에는 합성곱 신경망(CNN) 딥러닝 학습모델을 활용한 망막혈관 분리 알고리즘들이 제시되고 있다.

• Journal of the Korean Society of Industry Convergence
• /
• v.24 no.1
• /
• pp.19-29
• /
• 2021

In the Port Logistics system, Container Stowage planning is an important issue for cost-effective efficiency improvements. At present, Planners are mainly carrying out Stowage planning by manual or semi-automatically. However, as the trend of super-large container ships continues, it is difficult to calculate an efficient Stowage plan with manpower. With the recent rapid development of artificial intelligence-related technologies, many studies have been conducted to apply enhanced learning to optimization problems. Accordingly, in this paper, we intend to develop and present a Deep Q-Learning Network model for the Master Stowage planning of Container ships.

• The Journal of Korea Robotics Society
• /
• v.16 no.2
• /
• pp.122-129
• /
• 2021

For the Simultaneous Localization and Mapping (SLAM) problem, a different path results in different SLAM results. Usually, SLAM follows a trail of input data. Active SLAM, which determines where to sense for the next step, can suggest a better path for a better SLAM result during the data acquisition step. In this paper, we will use reinforcement learning to find where to perceive. By assigning entire target area coverage to a goal and uncertainty as a negative reward, the reinforcement learning network finds an optimal path to minimize trajectory uncertainty and maximize map coverage. However, most active SLAM researches are performed in indoor or aerial environments where robots can move in every direction. In the urban environment, vehicles only can move following road structure and traffic rules. Graph structure can efficiently express road environment, considering crossroads and streets as nodes and edges, respectively. In this paper, we propose a novel method to find optimal SLAM path using graph structure and reinforcement learning technique.

• Journal of the Korea Institute of Military Science and Technology
• /
• v.25 no.1
• /
• pp.72-81
• /
• 2022

Maritime patrol aircraft is an efficient solution for detecting submarines at sea. The aircraft can only detect submarines by sonobuoy, but the number of buoy is limited. In this paper, we present the online sonobuoy deployment method for estimating the location of submarines. We use Gaussian process regression to estimate the submarine existence probability map, and Bayesian optimization to decide the next best position of sonobuoy. Further, we show the performance of the proposed method by simulation.

• Review of KIISC
• /
• v.32 no.4
• /
• pp.61-69
• /
• 2022

C/C++에는 다수의 메모리 취약점이 존재하며 ASan은 낮은 오버헤드와 높은 탐지율로 이러한 메모리 취약점을 탐지하기 위해 광범위하게 사용되고 있다. 그러나 상용 프로그램 중 다수는 메모리를 효율적으로 사용하기 위해 Custom Memory Allocator(CMA)를 구현하여 사용하며, ASan은 이러한 CMA로부터 파생된 버그를 대부분 탐지하지 못한다. 이를 극복하기 위해 본 연구에서는 LLVM IR 코드를 RNN 신경망에 학습하여 CMA를 탐지하고, ASan이 CMA를 식별할 수 있도록 수정하여 CMA로부터 파생된 메모리 취약점을 탐지할 수 있는 도구인 CMASan을 제안한다. ASan과 CMASan의 성능 및 CMA 관련 취약점의 탐지 결과를 비교·분석하여 CMASan이 낮은 실행시간 및 적은 메모리 오버헤드로 ASan이 탐지하지 못하는 메모리 취약점을 탐지할 수 있음을 확인하였다.

• Annual Conference of KIPS
• /
• 2022.05a
• /
• pp.446-447
• /
• 2022

대부분의 머신러닝 및 딥러닝 모델의 경우 하이퍼 파라미터 선택은 모델의 성능에 큰 영향을 미친다. 따라서 전문가들은 작업을 수행하기 위해 모델을 구축할 때 하이퍼 파라미터 튜닝을 수행하는 데 상당한 시간을 소비해야 한다. Hyperparameter Optimization(HPO)을 해결하기 위한 알고리즘은 많지만 대부분의 방법은 검색을 수행하기 위해 각 epoch에서 실제 실험 결과를 필요로 한다. 따라서 HPO 검색을 위한 시간과 계산 지원을 줄이기 위해 본 논문에서는 Multi-agent Proximal Policy Optimization(MAPPO) 강화 학습 알고리즘을 제안한다. 2개의 이미지 분류 데이터 세트에 대한 실험 결과는 우리의 모델이 속도와 정확성에서 다른 기존 방법보다 우수하다는 것을 보여준다.

• Annual Conference of KIPS
• /
• 2022.05a
• /
• pp.110-113
• /
• 2022

인터넷을 통해 주위 사물과 연결된 차량은 사용자에게 편리성을 제공하기 위해 다양한 콘텐츠를 요구하는데 클라우드로부터 가져오는 시간이 비교적 오래 걸리기 때문에 차량과 물리적으로 가까운 위치에 캐싱하는 기법들이 등장하고 있다. 본 논문에서는 기반 시설이 밀집하게 설치된 도시 환경에서 maximum distance separable(MDS) 코딩을 사용해 road side unit(RSU)에 캐싱하는 방법에 대해 연구하였다. RSU의 중복된 서비스 커버리지 지역을 고려하여 차량의 콘텐츠 요구에 대한 RSU hit ratio를 높이기 위해 deep Q-learning(DQN)를 사용하였다. 실험 결과 비교 알고리즘보다 hit raito 측면에서 더 높은 성능을 보이는 것을 증명하였다.

• Annual Conference of KIPS
• /
• 2022.05a
• /
• pp.288-291
• /
• 2022

본 논문은 4족 지능 로봇의 비평탄 지형 극복 기능을 구현하기 위해, 시뮬레이션 환경에서 제공하는 역기구학(Inverse Kinematic)과 개선된 강화 학습 방법(Partially Observable Markov Decision Process)을 분석하여 수립한 알고리즘을 동작 검증을 위한 임베디드 보드(Embedded Board)에 실제 적용하여 보았다. 이 연구를 통해 4족 보행 로봇의 효율적인 지형 극복형 보행 방식 설계 방법을 제안하며, 특히 IMU 센서의 지능적인 균형제어 방법을 평가하고 다양한 통신방식과 서보모터 제어 방식을 실험하고 구현하였다. 또한 모터 가감속 제어를 통해 보다 부드럽고 안정적인 보행을 구현한다.

• Annual Conference of KIPS
• /
• 2011.04a
• /
• pp.1600-1601
• /
• 2011

태블릿 PC의 등장, 미디어 기기의 소형화, 스마트 폰의 등장과 맞물려 기존의 동영상 및 음성을 통한 교육 콘텐츠시장이 크게 확대되어 가고 있다. 특히 어학 콘텐츠의 경우 구간 반복을 통한 내용 전달이 필수적이어서 많은 미디어 플레이어는 사용자가 직접 설정한 구간을 반복 시청할 수 있도록 하는 기능을 포함하고 있다. 본 논문은 기존의 구간 반복 기능에서 한 단계 나아가 사용자의 수동 조작없이 미디어 플레이어가 자동적으로 문장을 감지하여 해당 문장을 반복하는 Player chop를 소개한다. Player chop 는 영상 파일에서 추출된 모든 문장의 시작과 종료 지점에 대한 시간 정보를 목록화 하여 손쉽게 반복 재생이 가능하도록 하였으며, 목록화 된 시간 정보를 바탕으로 자막을 연동하여 사용자의 외국어 학습에 도움이 될 수 있도록 하였다.