• 제목/요약/키워드: Q 러닝

검색결과 60건 처리시간 0.024초

차량과 보행자를 고려한 강화학습 기반 적응형 교차로 신호제어 연구 (Reinforcement Learning-Based Adaptive Traffic Signal Control considering Vehicles and Pedestrians in Intersection)

  • 김종민;김선용
    • 한국전자통신학회논문지
    • /
    • 제19권1호
    • /
    • pp.143-148
    • /
    • 2024
  • 원활한 교통의 흐름은 현대 사회에서 매우 중요한 요소이며, 교통체증은 환경 및 경제 등 다양한 형태로 문제를 초래했다. 이러한 문제를 해결하기 위해 최근 인공지능을 활용한 지능형교통체계(Intelligent Transport System)가 주목받고 있다. 본 논문에서는 강화학습 기법을 활용하여 교차로 각 방향의 차량과 보행자를 동시에 고려하여 교통의 흐름을 원활하게 하면서 동시에 불만족도를 낮출 수 있는 알고리즘을 제안한다. 제안하는 알고리즘을 적용한 교차로 신호체계 시뮬레이션 결과, 기존의 고정형 신호체계에 비해 차량·보행자의 불만족도를 상당히 낮출 수 있으며, 교차로의 교차하는 도로의 수가 많을수록 성능의 차이가 증가함을 확인하였다.

강화학습을 기반으로 하는 열사용자 기계실 설비의 열효율 향상에 대한 연구 (A Study on the Improvement of Heat Energy Efficiency for Utilities of Heat Consumer Plants based on Reinforcement Learning)

  • 김영곤;허걸;유가은;임현서;최중인;구기동;엄재식;전영신
    • 에너지공학
    • /
    • 제27권2호
    • /
    • pp.26-31
    • /
    • 2018
  • 이 논문은 강화학습기반으로 지역난방 열사용자 기계실 설비의 열효율 향상을 시도하는 연구를 소개하며, 한 예시로서 모델을 특정하지 않는 강화학습 알고리즘인 딥큐러닝(deep Q learning)을 활용하는 학습 네트워크(DQN)를 구성하는 일반적인 방법을 제시한다. 또한 복수의 열에너지 기계실에 설치된 IoT 센서로부터 유입되는 방대한양의 데이터 처리에 있어 에너지 분야에 특화된 빅데이터 플랫폼 시스템과 열수요 통합관리시스템에 대하여 소개 한다.

차량 엣지 컴퓨팅 네트워크에서 로드 밸런싱을 위한 UAV-MEC 오프로딩 및 마이그레이션 결정 알고리즘 (UAV-MEC Offloading and Migration Decision Algorithm for Load Balancing in Vehicular Edge Computing Network)

  • 신아영;임유진
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제11권12호
    • /
    • pp.437-444
    • /
    • 2022
  • 최근 무선 네트워크에서 발생하는 계산 집약적이고 지연시간에 민감한 태스크를 처리하기 위해 모바일 엣지 서비스에 대한 연구가 진행되고 있다. 하지만 지상에 고정되어 있는 MEC는 출퇴근 시간과 같이 태스크 처리 요청이 일시적으로 급증하는 상황에 대해 유연하게 대처할 수 없다. 이를 해결하기 위해 UAV(Unmanned Aerial Vehicle)를 추가로 이용해 모바일 엣지 서비스를 제공하는 기술이 등장하였다. UAV는 지상 MEC 서버와 달리 배터리 용량이 제한되어 있어 UAV MEC 서버 간 로드 밸런싱을 통해 에너지 효율성을 최적화 하는 것이 필요하다. 따라서 본 논문에서는 UAV의 에너지 상태와 차량의 이동성을 고려하며 유전 알고리즘 기반의 태스크 오프로딩과 Q-learning 기반의 태스크 마이그레이션을 통한 로드 밸런싱 기법을 제안한다. 제안 시스템의 성능을 평가하기 위해 차량 속도와 수에 따른 실험을 진행하고, 로드 분산, 에너지 사용량, 통신 오버헤드, 지연 시간 만족도 측면에서 성능을 분석하였다.

딥러닝을 활용한 도시가스배관의 전기방식(Cathodic Protection) 정류기 제어에 관한 연구 (A Study on Cathodic Protection Rectifier Control of City Gas Pipes using Deep Learning)

  • 이형민;임근택;조규선
    • 한국가스학회지
    • /
    • 제27권2호
    • /
    • pp.49-56
    • /
    • 2023
  • 4차 산업혁명으로 인공지능(AI, Artificial Intelligence) 관련 기술이 고도로 성장함에 따라 여러 분야에서 AI를 접목하는 사례가 증가하고 있다. 주요 원인은 정보통신기술이 발달됨에 따라 기하급수적으로 증가하는 데이터를 사람이 직접 처리·분석하는데 현실적인 한계가 있고, 새로운 기술을 적용하여 휴먼 에러에 대한 리스크도 감소시킬 수 있기 때문이다. 이번 연구에서는 '원격 전위 측정용터미널(T/B, Test Box)'로부터 수신된 데이터와 해당시점의 '원격 정류기' 출력을 수집 후, AI가 학습하도록 하였다. AI의 학습 데이터는 최초 수집된 데이터의 회기분석을 통한 데이터 전처리로 확보하였고, 학습모델은 심층 강화학습(DRL, Deep Reinforce-ment Learning) 알고리즘 중(中) Value기반의 Q-Learning모델이 적용하였다. 데이터 학습이 완료된 AI는 실제 도시가스 공급지역에 투입하여, 수신된 원격T/B 데이터를 기반으로 AI가 적절하게 대응하는지 검증하고, 이를 통해 향후 AI가 전기방식 관리에 적합한 수단으로 활용될 수 있는지 검증하고자 한다.

양자컴퓨터 플랫폼 동향

  • 임세진;김현지;김덕영;장경배;양유진;오유진;서화정
    • 정보보호학회지
    • /
    • 제33권2호
    • /
    • pp.31-37
    • /
    • 2023
  • 소인수분해와 같이 매우 큰 경우의 수를 탐색하고 연산하며 비교하는 작업에서 강점을 가지는 양자컴퓨터는현재 사용되는 암호체계를 붕괴시킬 수 있다는 점에서 위협이 될 수 있다. 하지만 화학, 머신러닝과 같은 분야에서는 대단히 큰 혁신을 가져올 차세대 컴퓨터로 주목받고 있으며, IBM, Google, Amazon과 같은 세계적인 IT 기업들이 이러한 양자컴퓨터 관련 연구개발에 적극적으로 투자하고 있다. 본 고에서는 양자컴퓨터의 최근 개발 현황과 양자컴퓨팅을 위한 플랫폼인 IBM Qiskit, Google Cirq, ProjectQ, Amazon Braket, Microsoft Azure Quantum, Intel Quantum SDK에 대해 알아보고자 한다.

양자컴퓨터 플랫폼 동향

  • 김현지;김덕영;윤세영;서화정
    • 정보보호학회지
    • /
    • 제34권2호
    • /
    • pp.21-27
    • /
    • 2024
  • 양자컴퓨터는 매우 많은 경우의 수를 탐색하고 연산하는 데에 있어 이점을 가지며, 이는 소인수분해와 같은 작업에서 기존 컴퓨팅을 능가할 수 있다. 이러한 능력으로 인해 양자컴퓨터는 현재 사용되는 암호체계를 위협할 수 있다. 또한, 화학, 머신러닝 등 다양한 분야에서 혁신을 가져올 수 있는 차세대 컴퓨팅 환경으로 주목받고 있다. 현재 IBM, Google, Amazon 등의 세계적인 IT 기업들이 이 분야의 연구 및 개발에 적극적으로 투자하고 있으며 본고에서는 양자컴퓨터의 최근 개발현황과 양자컴퓨팅을 위한 플랫폼인 IBM Qiskit, Google Cirq, ProjectQ, Amazon Braket, Microsoft Azure Quantum, Intel Quantum SDK, Pennylane에 대해 알아보고자 한다.

인간 동작 데이타로 애니메이션되는 아바타의 학습 (Training Avatars Animated with Human Motion Data)

  • 이강훈;이제희
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제33권4호
    • /
    • pp.231-241
    • /
    • 2006
  • 제어 가능하고 상황에 따라 반응하는 아바타의 제작은 컴퓨터 게임 및 가상현실 분야에서 중요한 연구 주제이다. 최근에는 아바타 애니메이션과 제어의 사실성을 높이기 위해 대규모 동작 캡처 데이타가 활용되고 있다. 방대한 양의 동작 데이타는 넓은 범위의 자연스러운 인간 동작을 수용할 수 있다는 장점을 갖는다. 하지만 동작 데이타가 많아지면 적절한 동작을 찾는데 필요한 계산량이 크게 증가하여 대화형 아바타 제어에 있어 병목으로 작용한다. 이 논문에서 우리는 레이블링(labeling)이 되어있지 않은 모션 데이타로부터 아바타의 행동을 학습시키는 새로운 방법을 제안한다. 이 방법을 사용하면 최소의 실시간 비용으로 아바타를 애니메이션하고 제어하는 것이 가능하다. 본 논문에서 제시하는 알고리즘은 Q-러닝이라는 기계 학습 기법에 기초하여 아바타가 동적인 환경과의 상호작용에 따른 시행착오를 통해 주어진 상황에 어떻게 반응할지 학습하도록 한다. 이 접근 방식의 유효성은 아바타가 서로 간에, 그리고 사용자에 대해 상호작용하는 예를 보임으로써 증명한다.

차세대 공중전술네트워크를 위한 Learning-Backoff 기반 무선 채널 접속 방법 (Learning-Backoff based Wireless Channel Access for Tactical Airborne Networks)

  • 변정훈;박상준;윤준혁;김용철;이원우;조오현;주태환
    • 융합정보논문지
    • /
    • 제11권1호
    • /
    • pp.12-19
    • /
    • 2021
  • 원활한 작전 수행을 통한 국방력의 강화를 위해 전술네트워크의 기능은 필수적이다. 전시 상황에서 다양한 전술, 전략은 수많은 정보들을 근거로 한다. 이를 위해 정찰기를 비롯한 다양한 정보 수집 장치 및 자원들이 방대한 양의 정보 수집을 위해 사용되고, 이들 대다수는 전술네트워크를 통해 정보를 전달한다. 채널의 사용 여부를 판단하여 상황에 따라 경쟁 기반으로 채널에 접속을 하는 국방전술네트워크 환경에서, 매우 높은 이동성을 갖는 정찰기 등 고속 이동 노드는 불필요한 채널 점유로 인하여 잠재적인 성능 열화 문제가 발생할 수 있다. 본 논문에서는 채널 예약 시점을 정하는 경쟁 윈도우(Contention Window)의 크기를 경험적으로 학습시켜 네트워크 처리량을 증가시키는 Learning-Backoff 방식의 무전 채널 접속 방법을 제안한다. 제안하는 방법은 고속 이동 노드의 수가 많아짐에 따라 더욱 좋은 성능을 보이고 있으며, 정찰기 4대가 운영되는 특정 작전 시나리오에 적용하였을 경우 처리량이 최대 25% 증가한다.

이동 장애물을 고려한 DQN 기반의 Mapless Navigation 및 학습 시간 단축 알고리즘 (Mapless Navigation Based on DQN Considering Moving Obstacles, and Training Time Reduction Algorithm)

  • 윤범진;유승열
    • 한국정보통신학회논문지
    • /
    • 제25권3호
    • /
    • pp.377-383
    • /
    • 2021
  • 최근 4차 산업혁명에 따라 공장, 물류창고, 서비스영역에서 유연한 물류이송을 위한 자율 이동형 모바일 로봇의 사용이 증가하고 있다. 대규모 공장에서는 Simultaneous Localization and Mapping(SLAM)을 수행하기 위하여 많은 수작업이 필요하기 때문에 개선된 모바일 로봇 자율 주행에 대한 필요성이 대두되고 있다. 이에 따라 본 논문에서는 고정 및 이동 장애물을 피해 최적의 경로로 주행하는 Mapless Navigation에 대한 알고리즘을 제안하고자 한다. Mapless Navigation을 위하여 Deep Q Network(DQN)을 통해 고정 및 이동 장애물을 회피하도록 학습하였고 두 종류의 장애물 회피에 대하여 각각 정확도 90%, 93%를 얻었다. 또한 DQN은 많은 학습 시간을 필요로 하는데 이를 단축하기 위한 목표의 크기 변화 알고리즘을 제안하고 이를 시뮬레이션을 통하여 단축된 학습시간과 장애물 회피 성능을 확인하였다.

인지무선 에드혹 네트워크를 위한 강화학습기반의 멀티채널 MAC 프로토콜 (Reinforcement Learning based Multi-Channel MAC Protocol for Cognitive Radio Ad-hoc Networks)

  • 박형근
    • 한국정보통신학회논문지
    • /
    • 제26권7호
    • /
    • pp.1026-1031
    • /
    • 2022
  • 인지무선 에드혹 네트워크 (CRAHN : Cognitive Radio Ad-Hoc Networks)는 무선 서비스의 증가에 따른 주파수 자원부족을 극복할 수 있는 네트워크 기술이다. CRANH에서 주 사용자에 대한 간섭을 회피하기 위해 유휴채널을 확인하는 채널센싱이 필요하며, 주 사용자 출현시 빠른 유휴 채널선택을 통해 핸드오버로 인한 시간지연을 최소화 해야한다. 본 연구에서는 강화학습을 이용하여 CRANH에서 부 사용자의 채널 센싱의 대상을 축소하고 유휴채널의 가능성이 높은 채널을 우선적으로 센싱하도록함으로써 전송효율을 개선하였다. 또한 주기적인 센싱을 수행하지 않고 데이터의 전송시점에 채널을 센싱함으로써 센싱시점과 데이터 전송시점간의 차이로 인한 주 사용자와의 충돌가능성을 최소화할 수 있는 멀티채널 매체접근제어(MAC: Medium Access Control) 프로토콜을 제안하고 시뮬레이션을 통해 그 성능을 분석하였다.