• 제목/요약/키워드: neural network training

검색결과 1,750건 처리시간 0.023초

문맥적응적 화면내 예측 모델 학습 및 부호화 성능분석 (Context-Adaptive Intra Prediction Model Training and Its Coding Performance Analysis)

  • 문기화;박도현;김재곤
    • 방송공학회논문지
    • /
    • 제27권3호
    • /
    • pp.332-340
    • /
    • 2022
  • 최근 딥러닝을 적용하는 비디오 압축에 대한 연구가 활발히 진행되고 있다. 특히, 화면내 예측 부호화의 성능 한계를 극복할 수 있는 방안으로 딥러닝 기반의 화면내 예측 부호화 기술이 연구되고 있다. 본 논문은 신경망 기반 문맥적응적 화면내 예측 모델의 학습기법과 그 부호화 성능분석을 제시한다. 즉, 본 논문에서는 주변 참조샘플의 문맥정보를 입력하여 현재블록을 예측하는 기존의 합성곱 신경망(CNN: Convolutional Neural network) 기반의 화면내 예측 모델을 학습한다. 학습된 화면내 예측 모델을 HEVC(High Efficiency Video Coding)의 참조 소프트웨어인 HM16.19에 추가적인 화면내 예측모드로 구현하고 그 부호화 성능을 분석하였다. 실험결과 학습한 예측 모델은 HEVC 대비 AI(All Intra) 모드에서 0.28% BD-rate 부호화 성능 향상을 보였다. 또한 비디오 부호화 블록분할 구조를 고려하여 학습한 경우의 성능도 확인하였다.

자연 프루닝과 베이시안 선택에 의한 신경회로망 일반화 성능 향상 (Improving Generalization Performance of Neural Networks using Natural Pruning and Bayesian Selection)

  • 이현진;박혜영;이일병
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제30권3_4호
    • /
    • pp.326-338
    • /
    • 2003
  • 신경회로망 설계 및 모델선택의 목표는 최적의 구조를 가지는 일반화 성능이 우수한 네트워크를 구성하는 것이다. 하지만 학습데이타에는 노이즈(noise)가 존재하고, 그 수도 충분하지 않기 때문에 최종적으로 표현하고자 하는 진확률 분포와 학습 데이타에 의해 표현되는 경험확률분포(empirical probability density) 사이에는 차이가 발생한다. 이러한 차이 때문에 신경회로망을 학습데이타에 대하여 과다하게 적합(fitting)시키면, 학습데이타만의 확률분포를 잘 추정하도록 매개변수들이 조정되어 버리고, 진확률 분포로부터 멀어지게 된다. 이러한 현상을 과다학습이라고 하며, 과다학습된 신경회로망은 학습데이타에 대한 근사는 우수하지만, 새로운 데이타에 대한 예측은 떨어지게 된다. 또한 신경회로망의 복잡도가 증가 할수록 더 많은 매개변수들이 노이즈에 쉽게 적합되어 과다학습 현상은 더욱 심화된다. 본 논문에서는 통계적인 관점을 바탕으로 신경회로망의 일반화 성능을 향상시키는 신경회로 망의 설계 및 모델 선택의 통합적인 프로세스를 제안하고자 한다. 먼저 학습의 과정에서 적응적 정규화가 있는 자연기울기 학습을 통해 수렴속도의 향상과 동시에 과다학습을 방지하여 진확률 분포에 가까운 신경회로망을 얻는다. 이렇게 얻어진 신경회로망에 자연 프루닝(natural pruning) 방법을 적용하여 서로 다른 크기의 후보 신경회로망 모델을 얻는다. 이러한 학습과 복잡도 최적화의 통합 프로세스를 통하여 얻은 후보 모델들 중에서 최적의 모델을 베이시안 정보기준에 의해 선택함으로써 일반화 성능이 우수한 최적의 모델을 구성하는 방법을 제안한다. 또한 벤치마크 문제를 이용한 컴퓨터 시뮬레이션을 통하여, 제안하는 학습 및 모델 선택의 통합프로세스의 일반화 성능과 구조 최적화 성능의 우수성을 검증한다.

신경회로망과 Markov 모델을 이용한 한국어 속담 인식에 관한 연구 (A study on the Recognition of Korean Proverb Using Neural Network and Markov Model)

  • 홍기원;김선일;이행세
    • 전자공학회논문지B
    • /
    • 제32B권12호
    • /
    • pp.1663-1669
    • /
    • 1995
  • This paper is a study on the recognition of Korean proverb using neural network and Markov model. The neural network uses, at the stage of training neurons, features such as the rate of zero crossing, short-term energy and PLP-Cepstrum, covering a time of 300ms long. Markov models were generated by the recognized phoneme strings. The recognition of words and proverbs using Markov models have been carried out. Experimental results show that phoneme and word recognition rates are 81. 2%, 94.0% respectively for Korean proverb recognition experiments.

  • PDF

신경망 모형을 적용한 금강 공주지점의 수질예측 (Water Quality Forecasting at Gongju station in Geum River using Neural Network Model)

  • 안상진;연인성;한양수;이재경
    • 한국수자원학회논문집
    • /
    • 제34권6호
    • /
    • pp.701-711
    • /
    • 2001
  • 수질 인자들은 다양하고 관계가 복잡하여 수질 변화를 예측하는데 많은 어려움이 있다. 따라서 입력과 출력이 비교적 용이하고 비선형 예측에 적합한 신경망 모형을 이용하여 금강유역 공주지점의 DO, BOD, TN에 대한 월수질 예측을 수행하고 ARIMA 모형과 비교하여 적용 가능성을 검토하였다. 사용된 신경망 모형은 학습을 위해 BP(Back Propagation) 알고리즘을 적용하였으며 학습을 향상시키기 위한 모멘트-적응학습율(Moment-Adaptive learming rate) 방법을 이용한 MANN 모형, 레번버그-마쿼트(Levenberg-Marquardt) 방법을 이 용한 LMNN 모형, 그리고 정성적인 판단인자를 첨가하여 정량적인 월 수질 자료와 분별, 학습하 도록 은닉층을 분리한 MNN 모형으로 구분하였다. 대체로 신경망 모형의 예측치가 실측치에 근사한 결과를 보였으며, 은닉층을 분리한 MNN 모형이 가장 우수한 결과를 보였다.

  • PDF

Estimation of Collapse Moment for Wall Thinned Elbows Using Fuzzy Neural Networks

  • Na, Man-Gyun;Kim, Jin-Weon;Shin, Sun-Ho;Kim, Koung-Suk;Kang, Ki-Soo
    • 비파괴검사학회지
    • /
    • 제24권4호
    • /
    • pp.362-370
    • /
    • 2004
  • In this work, the collapse moment due to wall-thinning defects is estimated by using fuzzy neural networks. The developed fuzzy neural networks have been applied to the numerical data obtained from the finite element analysis. Principal component analysis is used to preprocess the input signals into the fuzzy neural network to reduce the sensitivity to the input change and the fuzzy neural networks are trained by using the data set prepared for training (training data) and verified by using another data set different (independent) from the training data. Also, two fuzzy neural networks are trained for two data sets divided into the two classes of extrados and intrados defects, which is because they have different characteristics. The relative 2-sigma errors of the estimated collapse moment are 3.07% for the training data and 4.12% for the test data. It is known from this result that the fuzzy neural networks are sufficiently accurate to be used in the wall-thinning monitoring of elbows.

경쟁적 공진화법에 의한 신경망의 구조와 학습패턴의 진화 (Evolution of Neural Network's Structure and Learn Patterns Based on Competitive Co-Evolutionary Method)

  • 정치선;이동욱;전효병;심귀보
    • 전자공학회논문지S
    • /
    • 제36S권1호
    • /
    • pp.29-37
    • /
    • 1999
  • 일반적으로 신경망의 정보처리 능력은 신경망의 구조와 효율적인 학습패턴에 의해 결정된다. 그러나 아직까지 체계적으로 신경망의 구조를 설계하거나 효율적인 학습패턴을 선택하는 방법은 없다. 한편 진화 알고리즘은 개체군을 이용한 탐색법으로 전역적 최적해를 구하는 데 많이 사용되고 있으며, 특히 최적의 시스템을 설계하고자 할 때 매우 유용한 방법이다. 본 논문에서는 유전자 알고리즘으로 구성된 두 개의 개체군이 서로 경쟁적으로 진화하는 공진화 방법에 의해 최적의 신경망구조를 찾는 방법을 제안한다. 이 방법은 신경망구조를 나타내는 주개체군과 학습패턴을 나타내는 부개체군으로 되어 있으며, 이 두 개체군(신경망과 학습패턴)은 서로 경쟁적으로 진화한다. 즉, 학습패턴은 신경망이 학습하기 힘든 패턴으로 진화하고 신경망은 그 패넌들을 학습할 수 있도록 진화하단. 이 방법은 부적절한 학습패턴의 선택과 임의적인 신경망의 설계로 인한 시스템의 성능이 저하되는 것을 해결한다. 또한 공진화 방법에서 각 개체군의 적합도는 동적으로 변화하기 때문에 그 진행과정을 쉽게 알 수 없다. 따라서 본 논문에서는 그 진행과정을 관찰할 수 있는 방법도 소개한다. 마지막으로 제안한 방법을 로봇 매니플레이터의 비주얼 서보임 문제에 적용하여 그 유효성을 검증한다.

  • PDF

Human Motion Recognition Based on Spatio-temporal Convolutional Neural Network

  • Hu, Zeyuan;Park, Sange-yun;Lee, Eung-Joo
    • 한국멀티미디어학회논문지
    • /
    • 제23권8호
    • /
    • pp.977-985
    • /
    • 2020
  • Aiming at the problem of complex feature extraction and low accuracy in human action recognition, this paper proposed a network structure combining batch normalization algorithm with GoogLeNet network model. Applying Batch Normalization idea in the field of image classification to action recognition field, it improved the algorithm by normalizing the network input training sample by mini-batch. For convolutional network, RGB image was the spatial input, and stacked optical flows was the temporal input. Then, it fused the spatio-temporal networks to get the final action recognition result. It trained and evaluated the architecture on the standard video actions benchmarks of UCF101 and HMDB51, which achieved the accuracy of 93.42% and 67.82%. The results show that the improved convolutional neural network has a significant improvement in improving the recognition rate and has obvious advantages in action recognition.

Neural Network Image Reconstruction for Magnetic Particle Imaging

  • Chae, Byung Gyu
    • ETRI Journal
    • /
    • 제39권6호
    • /
    • pp.841-850
    • /
    • 2017
  • We investigate neural network image reconstruction for magnetic particle imaging. The network performance strongly depends on the convolution effects of the spectrum input data. The larger convolution effect appearing at a relatively smaller nanoparticle size obstructs the network training. The trained single-layer network reveals the weighting matrix consisting of a basis vector in the form of Chebyshev polynomials of the second kind. The weighting matrix corresponds to an inverse system matrix, where an incoherency of basis vectors due to low convolution effects, as well as a nonlinear activation function, plays a key role in retrieving the matrix elements. Test images are well reconstructed through trained networks having an inverse kernel matrix. We also confirm that a multi-layer network with one hidden layer improves the performance. Based on the results, a neural network architecture overcoming the low incoherence of the inverse kernel through the classification property is expected to become a better tool for image reconstruction.

격자 확률신경망 기법을 이용한 구조물의 능동 제어 (Active Control of Structures Using Lattice Probabilistic Neural Network)

  • 장성규;김두기;김동현;정희영
    • 한국소음진동공학회:학술대회논문집
    • /
    • 한국소음진동공학회 2007년도 춘계학술대회논문집
    • /
    • pp.978-982
    • /
    • 2007
  • A new neuro-control scheme for active control of structures is proposed. It utilizes lattice pattern of state vector as training data of probabilistic neural network (PNN). Therefore, it is the so-called lattice probabilistic neural network (LPNN). PNN makes control forces by using all the training patterns. Therefore, it takes much time to obtain a control force in application. This inevitably may delay the control action. However, control force of LPNN is calculated by using only the adjacent information of LPNN input. So, the response of LPNN is greatly faster than PNN. The proposed control algorithm is applied for one story building under California and El Centro earthquakes. Also, control results of the LPNN are compared with those of the conventional PNN. The structural responses have been suppressed effectively by the proposed algorithm.

  • PDF

Pattern Recognition of Long-term Ecological Data in Community Changes by Using Artificial Neural Networks: Benthic Macroinvertebrates and Chironomids in a Polluted Stream

  • Chon, Tae-Soo;Kwak, Inn-Sil;Park, Young-Seuk
    • The Korean Journal of Ecology
    • /
    • 제23권2호
    • /
    • pp.89-100
    • /
    • 2000
  • On community data. sampled in regular intervals on a long-term basis. artificial neural networks were implemented to extract information on characterizing patterns of community changes. The Adaptive Resonance Theory and Kohonen Network were both utilized in learning benthic macroinvertebrate communities in the Soktae Stream of the Suyong River collected monthly for three years. Initially, by regarding each monthly collection as a separate sample unit, communities were grouped into similar patterns after training with the networks. Subsequently, changes in communities in a sequence of samplings (e.g., two-month, four-month, etc.) were given as input to the networks. After training, it was possible to recognize new data set in line with the sampling procedure. Through the comparative study on benthic macroinvertebrates with these learning processes, patterns of community changes in chironomids diverged while those of the total benthic macro-invertebrates tended to be more stable.

  • PDF