• 제목/요약/키워드: Adaptive learning rate

검색결과 125건 처리시간 0.027초

문맥적응적 화면내 예측 모델 학습 및 부호화 성능분석 (Context-Adaptive Intra Prediction Model Training and Its Coding Performance Analysis)

  • 문기화;박도현;김재곤
    • 방송공학회논문지
    • /
    • 제27권3호
    • /
    • pp.332-340
    • /
    • 2022
  • 최근 딥러닝을 적용하는 비디오 압축에 대한 연구가 활발히 진행되고 있다. 특히, 화면내 예측 부호화의 성능 한계를 극복할 수 있는 방안으로 딥러닝 기반의 화면내 예측 부호화 기술이 연구되고 있다. 본 논문은 신경망 기반 문맥적응적 화면내 예측 모델의 학습기법과 그 부호화 성능분석을 제시한다. 즉, 본 논문에서는 주변 참조샘플의 문맥정보를 입력하여 현재블록을 예측하는 기존의 합성곱 신경망(CNN: Convolutional Neural network) 기반의 화면내 예측 모델을 학습한다. 학습된 화면내 예측 모델을 HEVC(High Efficiency Video Coding)의 참조 소프트웨어인 HM16.19에 추가적인 화면내 예측모드로 구현하고 그 부호화 성능을 분석하였다. 실험결과 학습한 예측 모델은 HEVC 대비 AI(All Intra) 모드에서 0.28% BD-rate 부호화 성능 향상을 보였다. 또한 비디오 부호화 블록분할 구조를 고려하여 학습한 경우의 성능도 확인하였다.

자기조직화 신경회로망의 학습능률 향상에 관한 연구 (On the enhancement of the learning efficiency of the self-organization neural networks)

  • 홍봉화;허윤석
    • 정보학연구
    • /
    • 제7권3호
    • /
    • pp.11-18
    • /
    • 2004
  • 신경회로망의 학습은 신경사이의 연결강도 갱신과정으로 이루어진다. 이때, 학습계수를 잘못 설정하였을 경우, 과도한 학습 횟수를 요하거나, 올바른 학습을 수행하지 못하게 된다. 패턴분류에 자주 이용되는 코호넨 신경회로망의 경우 고정된 학습계수를 사용하여 연결강도를 일률적으로 갱신하는 방식을 취함으로서 학습효율을 저하시키는 문제점이 발생한다. 본 논문에서는 코호넨 신경회로망의 학습효율을 향상시키기 위하여 학습계수를 입력벡터와 연결강도 벡터의 차에 따라 가변적으로 적응하는 자율학습 알고리즘을 제안하였다. 제안된 학습 알고리즘의 검증을 위하여 온라인 필기체의 표준 획 분류에 적용하였다. 그 결과 약 1.44~3.65% 정도의 학습 효율이 향상됨을 고찰하였다.

  • PDF

임베디드 시스템에서의 양자화 기계학습을 위한 효율적인 양자화 오차보상에 관한 연구 (Study on the Effective Compensation of Quantization Error for Machine Learning in an Embedded System)

  • 석진욱
    • 방송공학회논문지
    • /
    • 제25권2호
    • /
    • pp.157-165
    • /
    • 2020
  • 본 논문에서는 임베디드 시스템에서의 양자화 기계학습을 수행할 경우 발생하는 양자화 오차를 효과적으로 보상하기 위한 방법론을 제안한다. 경사 도함수(Gradient)를 사용하는 기계학습이나 비선형 신호처리 알고리즘에서 양자화 오차는 경사 도함수의 조기 소산(Early Vanishing Gradient)을 야기하여 전체적인 알고리즘의 성능 하락을 가져온다. 이를 보상하기 위하여 경사 도함수의 최대 성분에 대하여 직교하는 방향의 보상 탐색 벡터를 유도하여 양자화 오차로 인한 성능 하락을 보상하도록 한다. 또한, 기존의 고정 학습률 대신, 내부 순환(Inner Loop) 없는 비선형 최적화 알고리즘에 기반한 적응형 학습률 결정 알고리즘을 제안한다. 실험 결과 제안한 방식의 알고리즘을 로젠블록 함수를 통한 비선형 최적화 문제에 적용할 시 양자화 오차로 인한 성능 하락을 최소화시킬 수 있음을 확인하였다.

HARDWARE IMPLEMENTATION OF AN AUTONOMOUS FUZZY CONTROLLER

  • Sujeet Shenoi;Kaveh Ashenayi
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 1993년도 Fifth International Fuzzy Systems Association World Congress 93
    • /
    • pp.834-837
    • /
    • 1993
  • This paper describes the implementation of an autonomous fuzzy logic controller. The controller is endowed with basic control principles and learning constructs which enable it to autonomously modify its control policy based on system performance. The controller lies dormant when system response is satisfactory but if rapidly initiates adaptation in real time when adverse performance is observed. The autonomous fuzzy controller is implemented on an Intel MCS-51 series micro-controller board using an inexpensive 8-bit Intel 8031 processor. The 11.06 MHz micro-controller operates at a rate exceeding 200 "global" look-up table reinforcements per second. This is important when developing practical on-line adaptive controllers for fast systems. It is also significant because an initial controller look-up table could be incorrect or non-existent. The relatively high learning rate enables the controller to learn to control a system even while it is controlling it.

  • PDF

적응적 가중치를 이용한 RAM 기반 누적 신경망 (A RAM-based Cumulative Neural Net with Adaptive Weights)

  • 이동형;김성진;권영철;이수동
    • 한국멀티미디어학회논문지
    • /
    • 제13권2호
    • /
    • pp.216-224
    • /
    • 2010
  • RAM 기반 신경망은 빠른 처리 속도와 하드웨어 구현의 용이성 등의 장점을 가지고 있지만 반면에 메모리의 포화 문제, 반복학습, 일반화 패턴 추출의 어려움 등의 단점도 가지고 있다. 이런 단점을 극복하기 위해 누적 다중 판별자를 가지는 3차원 뉴로 시스템(3DNS) 등이 제안되었지만 메모리 포화 문제는 해결하지는 못하였다. 본 논문에서는 메모리 포화 문제를 해결하기 위하여 적응적 가중치를 가지는 AWN (Adaptive Weight Neuron)을 사용한 적응적 가중치 누적 신경망(AWCNN)을 제안한다. 제안된 모델은 AWN으로 3DNS을 개선하여 인식률과 메모리 포화 문제 해결을 향상하였다. 제안된 시스템의 평가는 전처리 과정 없이 NIST의 MNIST에서 제공하는 자료를 이용하여 실험하였다. AWCNN은 3DNS보다 1.5%이상의 향상된 인식률을 보였고 일반화 패턴을 이용한 인식에서는 모든 입력 패턴의 교육된 것과 비슷한 성능을 얻었다.

적응적 학습 파라미터의 고정점 알고리즘에 의한 독립성분분석의 성능개선 (Performance Improvement of Independent Component Analysis by Fixed-point Algorithm of Adaptive Learning Parameters)

  • 조용현;민성재
    • 정보처리학회논문지B
    • /
    • 제10B권4호
    • /
    • pp.397-402
    • /
    • 2003
  • 본 연구에서는 뉴우턴법의 고정점 알고리즘에 적응 조정이 가능한 학습 파라미터를 이용한 효율적인 신경망 기반 독립성분분석기법을 제안하였다. 이는 엔트로피 최적화 함수의 1차 미분을 이용하는 뉴우턴법의 고정점 알고리즘에서 학습율과 모멘트를 역혼합행렬의 경신 상태에 따나 적응조정되도록 함으로써 분리속도와 분리성능을 개선시키기 위함이다 제안된 기법을 256$\times$256 픽셀의 8개 지문과 512$\times$512 픽셀의 10개 영상으로부터 임의의 혼합행렬에 따라 발생되는 지문과 영상의 분리에 적용한 결과, 기존의 고정점 알고리즘에 의한 결과보다 우수한 분리성능과 빠른 분리속도가 있음을 확인하였다. 특히 제안된 알고리즘은 문제의 규모가 클수록 분리성능과 분리속도의 개선 정도가 큼을 확인하였다.

선택적 학습률을 활용한 학습법칙을 사용한 신경회로망 (Fuzzy Neural Network Using a Learning Rule utilizing Selective Learning Rate)

  • 백용선;김용수
    • 한국지능시스템학회논문지
    • /
    • 제20권5호
    • /
    • pp.672-676
    • /
    • 2010
  • 본 논문은 연결강도를 조정할 때 결정 경계선 근처에 있는 데이터를 더 반영하는 학습법칙을 제안하였다. 이 학습법칙은 outlier가 결정 경계선에 미치는 영향을 줄여 더 나은 결정 경계선을 형성하도록 한다. 제안하는 학습법칙을 IAFC(Integrated Adaptive Fuzzy Clustering) 신경회로망의 구조에 적용하였다. IAFC 신경회로망은 배운 것을 유지하는 안정성이 있으면서, 새로운 것을 배울 수 있는 안정성이 있다. 이 퍼지 신경회로망의 성능과 LVQ(Learning Vector Quantization) 신경회로망 및 오류역전파 신경회로망의 성능과 비교하였다. 실험결과 제안하는 퍼지 신경회로망의 성능이 우수함을 보여주었다.

강화학습 기반의 지능형 게임에 관한 연구 (A Study on the Intelligent Game based on Reinforcement Learning)

  • 우종우;이동훈
    • 한국컴퓨터정보학회논문지
    • /
    • 제11권4호
    • /
    • pp.17-25
    • /
    • 2006
  • 인공지능 기법을 이용한 컴퓨터 게임에 대한 학술적 연구는 오랫동안 이루어져 왔으며 주로 게임에 대한 숙련도를 높여서 인간에게 승리하는 것이 주요 연구 목적이었다. 그러나 최근의 상업용 게임에서는 게임의 흥미를 제공하기 위해서 사용자의 적응을 목적으로 개발하고 있다. 본 논문에서는 기존의 강화학습알고리즘을 수정하여 사용자 적응에 중점을 둔 적응형 강화 학습 알고리즘을 제안하였다. 실험대상으로는 많은 상태공간을 가진 오델로 게임을 대상영역으로 하여 시스템을 설계 및 구현하였다. 시스템의 성능측정은 두개의 강화학습 알고리즘이 각각 Min-Max 알고리즘과 대결하는 방식으로 실험을 하였으며, 결과는 기존의 강화 학습 알고리즘과의 대결에서도 향상된 학습율을 나타내었다.

  • PDF

평균 예측 LMS 알고리즘을 이용한 반향 잡음에 강인한 HMM 학습 모델 (Echo Noise Robust HMM Learning Model using Average Estimator LMS Algorithm)

  • 안찬식;오상엽
    • 디지털융복합연구
    • /
    • 제10권10호
    • /
    • pp.277-282
    • /
    • 2012
  • 음성 인식 시스템은 다양하게 변화하는 환경 잡음에 빠르게 적응할 수 없어서 인식 성능을 저하시키는 요인이 된다. 본 논문에서는 평균 예측 LMS 알고리즘을 이용하여 반향 잡음에 강인하게 하는 방법으로 HMM 학습 모델을 구성하는 방법을 제안하였으며, 변화하는 반향 잡음에 적응하도록 HMM 학습 모델을 구성하여 인식 성능을 평가하였다. 실험 결과 변화하는 환경 잡음을 제거하여 얻은 음성의 SNR은 평균 3.1dB이 향상되었고 인식률은 3.9% 향상되었다.

원격 의료 진단 시스템을 위한 사용자 기반 적응 대역폭 비디오 시스템 (A User Driven Adaptable Bandwidth Video System for Remote Medical Diagnosis System)

  • 정영지;더스틴 라이트;유수프 어즈터크
    • 한국IT서비스학회지
    • /
    • 제14권1호
    • /
    • pp.99-113
    • /
    • 2015
  • Adaptive bitrate (ABR) streaming technology has become an important and prevalent feature in many multimedia delivery systems, with content providers such as Netflix and Amazon using ABR streaming to increase bandwidth efficiency and provide the maximum user experience when channel conditions are not ideal. Where such systems could see improvement is in the delivery of live video with a closed loop cognitive control of video encoding. In this paper, we present streaming camera system which provides spatially and temporally adaptive video streams, learning the user's preferences in order to make intelligent scaling decisions. The system employs a hardware based H.264/AVC encoder for video compression. The encoding parameters can be configured by the user or by the cognitive system on behalf of the user when the bandwidth changes. A cognitive video client developed in this study learns the user's preferences (i.e. video size over frame rate) over time and intelligently adapts encoding parameters when the channel conditions change. It has been demonstrated that the cognitive decision system developed has the ability to control video bandwidth by altering the spatial and temporal resolution, as well as the ability to make scaling decisions