• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제11권9호
• /
• pp.281-288
• /
• 2022

산업 응용 분야에서 AGV는 공장이나 창고와 같은 대규모 산업 시설의 무거운 자재를 운송하기 위해 자주 사용된다. 특히, 주문처리 센터에서는 자동화가 가능하여 유용성이 극대화된다. 이러한 주문처리 센터와 같은 창고에서 생산성을 높이기 위해서는 AGV들의 정교한 운반 경로 제어가 요구된다. 본 논문에서는 대중적인 협력 MARL 알고리즘인 QMIX에 적용될 수 있는 구조를 제안한다. 성능은 두 종류의 주문처리 센터 레이아웃에서 세 가지의 메트릭으로 측정하였으며, 결과는 기존 QMIX의 성능과 비교하여 제시된다. 추가적으로, AGV들의 행동 패턴에 대한 가시적인 분석을 위해 훈련된 AGV들의 운반 경로를 시각화한 히트맵을 제공한다.

• 문화기술의 융합
• /
• 제8권5호
• /
• pp.697-703
• /
• 2022

최근 Covid-19 및 불안한 국제정세로 인한 경기 침체로 많은 투자자들이 투자의 한 수단으로써 파생상품시장을 선택하고 있다. 하지만 파생상품시장은 주식시장에 비해 큰 위험성을 가지고 있으며, 시장 참여자들의 시장에 대한 연구 역시 부족한 실정이다. 최근 인공지능 분야의 발달로 파생상품시장에서도 기계학습이 많이 활용되고 있다. 본 논문은 해외선물에 분 단위로 거래하는 스캘핑 거래의 분석을 위해 기계학습 기법 중 하나인 강화학습을 적용하였다. 데이터 세트는 증권사에서 거래되는 해외선물 상품들 중 4개 상품을 선정해, 6개월간 1분봉 및 3분봉 데이터의 종가, 이동평균선 및 볼린저 밴드 지표들을 이용한 21개의 속성으로 구성하였다. 실험에는 DNN 인공신경망 모델과 강화학습 알고리즘인 DQN(Deep Q-Network), A2C(Advantage Actor Critic), A3C(Asynchronous A2C)를 사용하고, 학습 데이터 세트와 테스트 데이터 세트를 통해 학습 및 검증 하였다. 에이전트는 스캘핑을 위해 매수, 매도 중 하나의 행동을 선택하며, 행동 결과에 따른 포트폴리오 가치의 비율을 보상으로 한다. 실험 결과 에너지 섹터 상품(Heating Oil 및 Crude Oil)이 지수 섹터 상품(Mini Russell 2000 및 Hang Seng Index)에 비해 상대적으로 높은 누적 수익을 보여 주었다.

• 한국게임학회 논문지
• /
• 제16권2호
• /
• pp.27-40
• /
• 2016

스텔스 게임에서 플레이어의 행동을 예측하는 것은 게임 디자인에 있어서 핵심적인 역할을 한다. 하지만, 플레이어와 게임 환경 간의 상호작용이 실시간으로 일어난다는 점에서 이러한 예측 프로세스를 자동화하는 것은 어려운 문제이다. 본 논문은 동적 환경에서의 스텔스 움직임을 예측하기 위한 강화학습 방법을 소개하며, 이를 위해 Q-learning과 인공신경망이 통합된 형태의 모델이 액션 시뮬레이션을 위한 분류기로 활용된다. 실험 결과들은 이러한 시뮬레이션 에이전트가 동적으로 변하는 주변 상황에 민감하게 반응함을 보여주며, 따라서 게임 레벨 디자이너가 다양한 게임 요소들을 결정하는데 유용함을 보여준다.

• 인터넷정보학회논문지
• /
• 제21권5호
• /
• pp.1-7
• /
• 2020

강화학습에서 근사함수로써 사용되는 딥 인공 신경망은 이론적으로도 실제와 같은 근접한 결과를 나타낸다. 다양한 실질적인 성공 사례에서 시간차 학습(TD) 은 몬테-칼로 학습(MC) 보다 더 나은 결과를 보여주고 있다. 하지만, 일부 선행 연구 중에서 리워드가 매우 드문드문 발생하는 환경이거나, 딜레이가 생기는 경우, MC 가 TD 보다 더 나음을 보여주고 있다. 또한, 에이전트가 환경으로부터 받는 정보가 부분적일 때에, MC가 TD보다 우수함을 나타낸다. 이러한 환경들은 대부분 5-스텝 큐-러닝이나 20-스텝 큐-러닝으로 볼 수 있는데, 이러한 환경들은 성능-퇴보를 낮추는데 도움 되는 긴 롤-아웃 없이도 실험이 계속 진행될 수 있는 환경들이다. 즉, 긴롤-아웃에 상관없는 노이지가 있는 네트웍이 대표적인데, 이때에는 TD 보다는 시간적 에러에 견고한 MC 이거나 MC와 거의 동일한 학습이 더 나은 결과를 보여주고 있다. 이러한 해당 선행 연구들은 TD가 MC보다 낫다고 하는 기존의 통념에 위배되는 것이다. 다시 말하면, 해당 연구들은 TD만의 사용이 아니라, MC와 TD의 병합된 사용이 더 나음을 이론적이기 보다 경험적 예시로써 보여주고 있다. 따라서, 본 연구에서는 선행 연구들에서 보여준 결과를 바탕으로 하고, 해당 연구들에서 사용했던 특별한 리워드에 의한 복잡한 함수 없이, MC와 TD의 밸런스를 랜덤하게 맞추는 좀 더 간단한 방법으로 MC와 TD를 병합하고자 한다. 본 연구의 MC와 TD의 랜덤 병합에 의한 DQN과 TD-학습만을 사용한 이미 잘 알려진 DQN과 비교하여, 본 연구에서 제안한 MC와 TD의 랜덤 병합이 우수한 학습 방법임을 OpenAI Gym의 시뮬레이션을 통하여 증명하였다.

• 경영정보학연구
• /
• 제5권2호
• /
• pp.241-256
• /
• 2003

이 연구는 대구 지역의 효과적인 IT클러스터 구축을 위해 클러스터의 유형과 성공요인의 일반적 이론과 그 한계 요인을 살펴보고, 성공적인 클러스터의 형성을 위해서는 지역의 네트워크적 특성, 학습을 통한 암묵지의 활발한 잉여, 지역의 관습, 문화, 특성 등을 함의하고 있는 제도적인 부분을 고려한 지역혁신시스템과 각 산업을 포함한 다양한 이종 에이전트들의 결합형태인 섹터적 특성을 고려되어 적용되어야 한다는 사실도 지적하고 있다. 특히 지역별, 섹터별 특성을 고려하여 선택과 집중으로 특성화된 영역의 브랜드화, 다양한 이종에이전트들이 결합된 IT클러스터 형성으로 암묵지 학습역량의 강화, 혁신주체인 다양한 이종에이전트의 결합인 산학연관 네트워킹 시스템을 통해 구성주체간의 명확한 역할 구분, 타산업 클러스터의 연결 및 환경변화 대응을 위한 제도(institution)공유 등을 대구지역의 IT 클러스터 구축의 성공요인으로 제시하고 구체적인 전략방안을 도출하였다. 이러한 전략과 정책방안들을 통해 네트워크를 통한 지역의 경쟁력을 강화하고 암묵지를 제공하는 클러스터가될 수 있을 것이며, 장기간에 걸쳐서 직, 간접적으로 주요 고용 창출원이 되며 지역경제의 활력을 제공할 수 있을 것으로 믿어진다. 특히 중소제조업 중심도시의 이미지에서 탈피하여 신첨단산업 중심도시로의 변신에 계기가 될 것이며, 이는 새로운 고용창출과 지역경제 활성화에 크게 기여할 것으로 기대된다.

• 한국재난정보학회:학술대회논문집
• /
• 한국재난정보학회 2017년 정기학술대회
• /
• pp.366-368
• /
• 2017

본 연구는 국내 산사태 발생 데이터를 기반으로 시뮬레이션 모델을 머신러닝 기법을 통해 학습시켜 산사태의 토석류 흐름을 구현하는 알고리즘에 대한 연구이다. 전통적인 프로그래밍을 통한 산사태 시뮬레이션 모델 개발을 해당 시스템에 더 많은 고도의 물리학 법칙을 통합 적용시켜 토석류의 흐름을 공학적으로 재현해내는데 중점을 두고 개발이 진행되지만, 본 연구에서 다루는 머신러닝 기법을 통한 산사태 시뮬레이션 모델 개발의 경우 시스템에 입력되는 데이터를 기반으로한 학습을 통하여 토석류 흐름에 영향을 미치는 변수와 파라메터를 산출하고 정의는데 중점을 두고 개발이 진행된다. 본 연구에서 산사태 시뮬레이션 모델 개발에 활용하는 머신러닝 알고리즘은 강화학습 알고리즘으로 기존 산사태 발생 지점을 기반으로 에이전트를 설정해 시간에 따라 시뮬레이션의 각 스텝에서 토석류의 흐름 즉 액션을 환경에 따른 가중치를 기준으로 산정하게 된다. 여기서 환경에 따른 가중치는 시뮬레이션 모델에 정의된 메서드에 따라 산정된다. 시간이 목표값에 도달하여 결과가 출력되면 출력된 결과와 해당 산사태 발생 지점의 실제 산사태 피해 지역 데이터 즉 시뮬레이션 결과 이상치와의 비교를 통하여 시뮬레이션을 평가하게 된다. 이러한 평가는 시뮬레이션 데이터와 실제 데이터간의 유사도 비교를 통해 손실률을 도출하게 되고 이러한 손실률을 경사하강법등의 최적화 알고리즘을 통해 최소화 하여 입력된 데이터를 기반으로한 최적의 토석류 흐름 구현 알고리즘을 도출한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.518-523
• /
• 2021

챗봇과 같은 대화형 에이전트 사용이 증가하면서 채팅에서의 혐오 표현 사용도 더불어 증가하고 있다. 혐오 표현을 자동으로 탐지하려는 노력은 다양하게 시도되어 왔으나, 챗봇 데이터를 대상으로 한 혐오 표현 탐지 연구는 여전히 부족한 실정이다. 이 연구는 혐오 표현을 포함한 챗봇-사용자 대화 데이터 35만 개에 한국어 말뭉치로 학습된 KoELETRA 기반 혐오 탐지 모델을 적용하여, 챗봇-사람 데이터셋에서의 혐오 표현 탐지의 성능과 한계점을 검토하였다. KoELECTRA 혐오 표현 분류 모델은 챗봇 데이터셋에 대해 가중 평균 F1-score 0.66의 성능을 보였으며, 오탈자에 대한 취약성, 맥락 미반영으로 인한 편향 강화, 가용한 데이터의 정확도 문제가 주요한 한계로 포착되었다. 이 연구에서는 실험 결과에 기반해 성능 향상을 위한 방향성을 제시한다.

• 한국항공우주학회지
• /
• 제40권3호
• /
• pp.215-221
• /
• 2012

본 논문에서는 추적-회피 게임에서 추적자의 추적성능을 향상시키기 위한 최적화 기법을 소개한다. 제한된 공간상에서 추적자는 도망자를 빠른 시간 내에 찾아내고 잡기 위해 확률맵을 생성하고 그 확률정보를 토대로 탐색한다. 추적자는 기존 global-max와 local-max의 장점을 취한 hybrid 추적방식을 사용하는데 이 추적방식은 global-max와 local-max 성향을 조절하는 가중치를 갖는다. 따라서 상황별 최적의 가중치를 찾기 위해 에피소드 매개변수 최적화 알고리즘을 제안하였다. 이 알고리즘은 가중치에 대한 다수의 추적-회피 게임 에피소드를 반복적으로 수행하는 동안 강화학습을 통해 보상을 누적한 후 해당 가중치의 평균보상을 최대화 하는 방향으로 황금분할법을 사용하여 최적의 가중치를 찾는다. 이 최적화 기법을 이용하여 여러 상황별 최적 추적정책을 찾기 위해 도망자 수와 공간의 크기를 변화시켜가며 각각 최적화를 수행하였고 그 결과를 분석하였다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제21권2호
• /
• pp.154-159
• /
• 2015

과거 어플리케이션 다양성만 지향하던 사용자의 수요가 최근 스마트폰의 고도화된 센서와 기계학습이 결합된 지능형 어플리케이션으로의 선호로 전향되고 있다. 이러한 경향을 반영하여 본 논문에서는 스마트폰에 축적된 사용자의 라이프로깅 데이터에서 의미있는 정보를 추출하고, 추출한 정보를 통해 사용자의 인지적 행동을 대신 가능한 인지 에이전트(Cognitive Agent)개념의 스마트폰-사용자 상호작용 사용자 맞춤 위치-시간-행동 추론 기법을 제안한다. 제안 방법은 사용자의 라이프로깅데이터를 DPGMM (Dirichlet Process Gaussian Mixture Model) 클러스터링 기법으로 사용자 주요 관심지역 POI(Point of Interest)를 자동으로 추출하고, 평생학습이 가능한 강화학습의 한 종류인 POMDP(Partially Observable Markov Decision Process)를 사용하여 사용자의 위치-시간-행동을 추론 한다. 제안 방법으로 구현한 사용자 맞춤 일과 계획 시스템의 시간별 사용자 일과 추론 결과는 70%이상의 성능을 보였으며, 하루 일과 계획 지능형 서비스의 새로운 방향을 제시하고 있다.

• 한국정보전자통신기술학회논문지
• /
• 제15권2호
• /
• pp.152-163
• /
• 2022

본 논문에서는 대잠전의 필수 요소인 소노부이를 무인항공기가 최적의 배치로 투하할 수 있게 하는 방법을 제시한다. 이를 위해 Unity 게임엔진을 통해 음향 탐지 성능 분포도를 모사한 환경을 구성하고 Unity ML-Agents를 활용해 직접 구성한 환경과 외부에서 Python으로 작성한 강화학습 알고리즘이 서로 통신을 주고받으며 학습할 수 있게 하였다. 특히, 잘못된 행동이 누적되어 학습에 영향을 미치는 경우를 방지하고 비행체가 목표지점으로 최단 시간에 비행함과 동시에 소노부이가 최대 탐지 영역을 확보하기 위해 강화학습을 도입하고. 심층 확정적 정책 그래디언트(Deep Deterministic Policy Gradient: DDPG) 알고리즘을 적용하여 소노부이의 최적 배치를 달성하였다. 학습 결과 에이전트가 해역을 비행하며 70개의 타겟 후보들 중 최적 배치를 달성하기 위한 지점들만을 통과하였고 탐지 영역을 확보한 모습을 보면 겹치는 영역 없이 최단 거리에 있는 지점을 따라 비행하였음을 알 수 있다. 이는 최적 배치의 요건인 최단 시간, 최대 탐지 영역으로 소노부이를 배치하는 자율 비행체를 구현하였음을 의미한다.