• 제목/요약/키워드: experience-based learning algorithm

검색결과 64건 처리시간 0.033초

심층 큐 신경망을 이용한 게임 에이전트 구현 (Deep Q-Network based Game Agents)

  • 한동기;김명섭;김재윤;김정수
    • 로봇학회논문지
    • /
    • 제14권3호
    • /
    • pp.157-162
    • /
    • 2019
  • The video game Tetris is one of most popular game and it is well known that its game rule can be modelled as MDP (Markov Decision Process). This paper presents a DQN (Deep Q-Network) based game agent for Tetris game. To this end, the state is defined as the captured image of the Tetris game board and the reward is designed as a function of cleared lines by the game agent. The action is defined as left, right, rotate, drop, and their finite number of combinations. In addition to this, PER (Prioritized Experience Replay) is employed in order to enhance learning performance. To train the network more than 500000 episodes are used. The game agent employs the trained network to make a decision. The performance of the developed algorithm is validated via not only simulation but also real Tetris robot agent which is made of a camera, two Arduinos, 4 servo motors, and artificial fingers by 3D printing.

자궁경부 영상에서의 라디오믹스 기반 판독 불가 영상 분류 알고리즘 연구 (A Radiomics-based Unread Cervical Imaging Classification Algorithm)

  • 김고은;김영재;주웅;남계현;김수녕;김광기
    • 대한의용생체공학회:의공학회지
    • /
    • 제42권5호
    • /
    • pp.241-249
    • /
    • 2021
  • Recently, artificial intelligence for diagnosis system of obstetric diseases have been actively studied. Artificial intelligence diagnostic assist systems, which support medical diagnosis benefits of efficiency and accuracy, may experience problems of poor learning accuracy and reliability when inappropriate images are the model's input data. For this reason, before learning, We proposed an algorithm to exclude unread cervical imaging. 2,000 images of read cervical imaging and 257 images of unread cervical imaging were used for this study. Experiments were conducted based on the statistical method Radiomics to extract feature values of the entire images for classification of unread images from the entire images and to obtain a range of read threshold values. The degree to which brightness, blur, and cervical regions were photographed adequately in the image was determined as classification indicators. We compared the classification performance by learning read cervical imaging classified by the algorithm proposed in this paper and unread cervical imaging for deep learning classification model. We evaluate the classification accuracy for unread Cervical imaging of the algorithm by comparing the performance. Images for the algorithm showed higher accuracy of 91.6% on average. It is expected that the algorithm proposed in this paper will improve reliability by effectively excluding unread cervical imaging and ultimately reducing errors in artificial intelligence diagnosis.

감성을 기반으로 하는 AI 패션 특성 연구 -사용자 중심(UX) 관점으로- (A Study on the Characteristics of AI Fashion based on Emotions -Focus on the User Experience-)

  • 김민선;김진영
    • 패션비즈니스
    • /
    • 제26권1호
    • /
    • pp.1-15
    • /
    • 2022
  • Digital transformation has induced changes in human life patterns; consumption patterns are also changing to digitalization. Entering the era of industry 4.0 with the 4th industrial revolution, it is important to pay attention to a new paradigm in the fashion industry, the shift from developer-centered to user-centered in the era of the 3rd industrial revolution. The meaning of storing users' changing life and consumption patterns and analyzing stored big data are linked to consumer sentiment. It is more valuable to read emotions, then develop and distribute products based on them, rather than developer-centered processes that previously started in the fashion market. An AI(Artificial Intelligence) deep learning algorithm that analyzes user emotion big data from user experience(UX) to emotion and uses the analyzed data as a source has become possible. By combining AI technology, the fashion industry can develop various new products and technologies that meet the functional and emotional aspects required by consumers and expect a sustainable user experience structure. This study analyzes clear and useful user experience in the fashion industry to derive the characteristics of AI algorithms that combine emotions and technologies reflecting users' needs and proposes methods that can be used in the fashion industry. The purpose of the study is to utilize information analysis using big data and AI algorithms so that structures that can interact with users and developers can lead to a sustainable ecosystem. Ultimately, it is meaningful to identify the direction of the optimized fashion industry through user experienced emotional fashion technology algorithms.

시각 장애인 가상현실 체험 환경을 위한 딥러닝을 활용한 몰입형 보행 상호작용 설계 (Design of Immersive Walking Interaction Using Deep Learning for Virtual Reality Experience Environment of Visually Impaired People)

  • 오지석;봉찬균;김진모
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제25권3호
    • /
    • pp.11-20
    • /
    • 2019
  • 본 연구는 시각 장애인의 도보 적응을 위한 새로운 가상현실 체험 환경을 제안한다. 제안하는 가상현실 체험 환경의 핵심은 몰입형 보행 상호작용과 딥러닝 기반 점자 블록 인식으로 구성된다. 우선, 시각 장애인의 입장에서 현실적인 걷기 경험을 제공함을 목적으로 제자리 걸음을 감지하여 걷기를 판단하는 트래커 기반 걷기 처리과정과 시각 장애인의 보행 보조 도구를 가상현실에 적용한 컨트롤러 기반 VR 흰지팡이를 설계한다. 또한, VR 흰지팡이를 활용한 길 안내 과정에서 도로 위의 점자 블록 인지 및 반응 등 종합적인 의사결정을 수행하는 학습 모델을 제안한다. 이를 기반으로 가상현실 도보 체험 환경에 대한 실험을 위하여 실외 도시 환경으로 구성된 가상현실 어플리케이션을 제작하고, 참가자를 대상으로 설문 실험 및 성능 분석을 진행하였다. 결과적으로 제안한 가상현실 체험 환경이 시각 장애인의 입장에서 현존감 높은 도보 체험을 제공하고 있음을 확인하였다. 그리고 제안한 학습과 처리과정이 인도와 차도, 인도 위의 점자 블록을 높은 정확도로 인지함을 확인하였다.

복합 유전자 알고리즘에서의 국부 탐색을 위한 셀룰러 학습 전략 (A Cellular Learning Strategy for Local Search in Hybrid Genetic Algorithms)

  • 고명숙;길준민
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제28권9호
    • /
    • pp.669-680
    • /
    • 2001
  • 유전자 알고리즘(GA:Genetic Algorithm)은 최적화 문제를 풀기 위해 생물학적 진화(evolution) 과정을 모방한 최적화 알고리즘이다. 유전자 알고리즘은 복잡한 상태 공간에서 최적 해를 찾기 위해 전통적인 최적화 기법과는 달리 유향적 임의 탐색을 행한다. 학습에 해당하는 국부 탐색(local search)을 유전적 알고리즘은 exploration 탐색과 exploitation 탐색의 균형을 유지시켜 줄 수 있는 한 방법이다. 모집단 내의 각 개체가 진화 과정 중에 학습한 유전적 특질들은 그 다음 세대에서 되물림 되며 이러한 학습(learning) 과정을 유전자 알고리즘과 결합시킴으로써 탐색 속도의 향상을 기대할 수 있다. 이 논문에서는 함수 최적화를 위해 속도를 개선한 셀룰러 학습을 기반으로 하는 유전자 알고리즘을 제안한다. 제안하는 셀룰러 학습 전략은 셀룰러 오토마타의 주기성과 수렴성을 기반으로 하며, 유기체가 그 개체의 생명 주기의 한 세대에서 얻게되는 지식과 경험들을 자손에게 전달한다는 이론을 바탕으로 한다. 제안한 셀룰러 학습 전략의 효율을 기존의 복합 유전자 알고리즘에서의 라마키안 진화 및 볼드윈 효과와 비교하였다. 다양한 테스트 베드 함수에 대한 실험을 통하여 셀룰러 학습에 의한 개체의 국부적 향상이 전체적인 성능 향상에 기여함을 알 수 있었고 제안한 학습 전략이 기존의 방법보다 더 빨리 전역 최적 해를 찾을 수 있음을 증명하였다.

  • PDF

PESA: Prioritized experience replay for parallel hybrid evolutionary and swarm algorithms - Application to nuclear fuel

  • Radaideh, Majdi I.;Shirvan, Koroush
    • Nuclear Engineering and Technology
    • /
    • 제54권10호
    • /
    • pp.3864-3877
    • /
    • 2022
  • We propose a new approach called PESA (Prioritized replay Evolutionary and Swarm Algorithms) combining prioritized replay of reinforcement learning with hybrid evolutionary algorithms. PESA hybridizes different evolutionary and swarm algorithms such as particle swarm optimization, evolution strategies, simulated annealing, and differential evolution, with a modular approach to account for other algorithms. PESA hybridizes three algorithms by storing their solutions in a shared replay memory, then applying prioritized replay to redistribute data between the integral algorithms in frequent form based on their fitness and priority values, which significantly enhances sample diversity and algorithm exploration. Additionally, greedy replay is used implicitly to improve PESA exploitation close to the end of evolution. PESA features in balancing exploration and exploitation during search and the parallel computing result in an agnostic excellent performance over a wide range of experiments and problems presented in this work. PESA also shows very good scalability with number of processors in solving an expensive problem of optimizing nuclear fuel in nuclear power plants. PESA's competitive performance and modularity over all experiments allow it to join the family of evolutionary algorithms as a new hybrid algorithm; unleashing the power of parallel computing for expensive optimization.

데이터셋 유형 분류를 통한 클래스 불균형 해소 방법 및 분류 알고리즘 추천 (Class Imbalance Resolution Method and Classification Algorithm Suggesting Based on Dataset Type Segmentation)

  • 김정훈;곽기영
    • 지능정보연구
    • /
    • 제28권3호
    • /
    • pp.23-43
    • /
    • 2022
  • AI(Artificial Intelligence)를 다양한 산업에서 접목하기 위해 알고리즘 선택에 대한 관심이 증가하고 있다. 알고리즘 선택은 대부분 데이터 과학자의 경험에 의해 결정되는 경우가 많다. 하지만 경험이 부족한 데이터 과학자의 경우 데이터셋 특성 기반의 메타학습(meta learning) 을 통해 알고리즘을 선택한다. 기존의 알고리즘 추천은 선정 과정이 블랙박스이기 때문에 어떠한 근거에 의해 도출되는지 알 수 없었다. 이에 따라 본 연구에서는 k-평균 군집분석을 활용하여 데이터셋 특성에 따라 유형을 나누고 적합한 분류 알고리즘과 클래스 불균형 해소 방법을 탐색한다. 본 연구 결과 네 가지 유형을 도출하였으며 데이터셋 유형에 따라 적합한 클래스 불균형 해소 방법과 분류 알고리즘을 추천하였다.

네트워크기반의 강화학습 알고리즘과 시스템의 정보공유화를 이용한 최단경로의 검색 및 구현 (Search of Optimal Path and Implementation using Network based Reinforcement Learning Algorithm and sharing of System Information)

  • 민성준;오경석;안준영;허훈
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2005년도 학술대회 논문집 정보 및 제어부문
    • /
    • pp.174-176
    • /
    • 2005
  • This treatise studies composing process that renew information mastered by interactive experience between environment and system via network among individuals. In the previous study map information regarding free space is learned by using of reinforced learning algorithm, which enable each individual to construct optimal action policy. Based on those action policy each individuals can obtain optimal path. Moreover decision process to distinguish best optimal path by comparing those in the network composed of each individuals is added. Also information about the finally chosen path is being updated. A self renewing method of each system information by sharing the each individual data via network is proposed Data enrichment by shilling the information of many maps not in the single map is tried Numerical simulation is conducted to confirm the propose concept. In order to prove its suitability experiment using micro-mouse by integrating and comparing the information between individuals is carried out in various types of map to reveal successful result.

  • PDF

System simulation and synchronization for optimal evolutionary design of nonlinear controlled systems

  • Chen, C.Y.J.;Kuo, D.;Hsieh, Chia-Yen;Chen, Tim
    • Smart Structures and Systems
    • /
    • 제26권6호
    • /
    • pp.797-807
    • /
    • 2020
  • Due to the influence of nonlinearity and time-variation, it is difficult to establish an accurate model of concrete frame structures that adopt active controllers. Fuzzy theory is a relatively appropriate method but susceptible to human subjective experience to decrease the performance. This paper proposes a novel artificial intelligence based EBA (Evolved Bat Algorithm) controller with machine learning matched membership functions in the complex nonlinear system. The proposed affine transformed membership functions are adopted and stabilization and performance criterion of the closed-loop fuzzy systems are obtained through a new parametrized linear matrix inequality which is rearranged by machine learning affine matched membership functions. The trajectory of the closed-loop dithered system and that of the closed-loop fuzzy relaxed system can be made as close as desired. This enables us to get a rigorous prediction of stability of the closed-loop dithered system by establishing that of the closed-loop fuzzy relaxed system.

FRUC 알고리즘을 사용한 가상 참조 이미지 기반 부호화 기술 연구 (Virtual reference image-based video coding using FRUC algorithm)

  • 양범;한희지;최해철
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 춘계학술대회
    • /
    • pp.650-652
    • /
    • 2022
  • Frame rate up-conversion (FRUC) 알고리즘은 동영상의 프레임율을 향상시키는 영상 보간 기술이다. 이는 고화질 디지털 비디오 시스템에서 저프레임율 동영상으로 인한 화면 떨림이나 흐릿한 움직임 등의 문제를 해소하고 시청자에게 보다 자유롭고 매끄러운 시각 경험을 제공한다. 본 논문에서는 딥러닝 기반의 FRUC 알고리즘을 이용하여 동영상을 압축하는 기술을 제안한다. 제안 방법은 원시 동영상에서 일부 영상을 제외한 후 압축 및 전송하고, 복호화 과정에서 딥러닝 기반의 보간 방법을 이용하여 제외된 영상을 복원함으로써 고효율로 압축한다. 실험에서는 동영상을 1, 3장 단위로 건너뛰며 부호화한 후 복호된 영상과 FRUC 알고리즘에 의해 복원한 영상으로 압축 성능을 평가했다. 1장 및 3장씩 제외했을 때 실험결과는 평균 81.22%, 27.80% BD-rate 감소를 보였다. 3 장씩 제외하는 것이 1장의 제외에 비해 부호화 효율이 낮은 이유는 FRUC 방법으로 복원한 영상의 PSNR이 낮기 때문이다.

  • PDF