• 제목/요약/키워드: Layer-by-layer learning

검색결과 642건 처리시간 0.025초

주행속도 예측을 위한 모형 개발 (2차로 지방부 도로 중심으로) (Development of a model to predict Operating Speed)

  • 이종필;김성호
    • 대한교통학회지
    • /
    • 제20권1호
    • /
    • pp.131-139
    • /
    • 2002
  • 본 연구는 도로의 설계일관성 평가를 위해 지방부 2차로 도로의 평면 곡선부 85백분위 주행속도 예측모형을 기존의 회귀모형에 비해 보다 효율적이고 신뢰성 높은 인공신경 망 이론을 적용하여 개발하였다. 곡선반경, 곡선길이, 교차각, 시거, 차로폭, 차선(안쪽, 바깥쪽)과 같은 기하구조 특성에 의해 속도가 결정된다는 가정하에 30개 조사지점을 통해 얻어진 자료를 모형의 입력층 자료로 이용하였고, 입력층 변수에 따라 네 가지 유형의 신경망 모형을 제시하였다. 신경망 모형 중 다층신경 망 모형을 적용하여 은닉충의 유니트 수, 학습계수, 모멘텀계수, 학습횟수의 변화에 따른 최적 모형 구조를 도출하였다. 신경망 모형의 학습성능을 검증하기 위하여 선정된 30개 조사지점에서 20개 지점을 모형의 학습자료로 나머지 학습되지 않은 10개 지점을 예측자료로 활용하였다. 분석결과, 네 가지 유형의 신경망 모형 중에서 모형 D가 통계적 검증결과 $R^2$값이 85%이며, %RMSE=0.0204로 가장 실제값에 유사한 모형으로 평가되었다.

온라인 피드백 에러 학습을 이용한 이동 로봇의 자율주행 알고리즘 개발 (Development of Autonomous Algorithm Using an Online Feedback-Error Learning Based Neural Network for Nonholonomic Mobile Robots)

  • 이현동;명병수
    • 한국지능시스템학회논문지
    • /
    • 제21권5호
    • /
    • pp.602-608
    • /
    • 2011
  • 본 논문에서는, 신경망을 이용한 뉴로 인터페이스 설계를 통해 논홀로노믹 이동 로봇을 제어하는 방법을 제시하였다. 특히, 가상의 마스터-슬레이브 로봇 개념을 이용하여, 부분적으로 안정된 마스터 로봇의 역 동적모델이 피드백-에러 학습법을 적용한 신경망을 통해 온라인으로 획득되도록 하였다. 이 피드백 제어기는 PD 보상기에 기초를 두고 있다. 온라인 학습을 위한 신경망은 입력층이 6개의 입력세포들($x_i$, i=1~6)로 구성되어있으며, 1개의 은닉층에는 2개의 은닉세포($o_j$, j=1~2), 출력층은 2개의 출력세포(${\tau}_k$, k=1~2)로 구성되었고, 신경망의 온라인 학습을 위하여 최소자승법에 의한 오류역전파 알고리즘을 이용하였다. 본 연구에서 개발된 뉴로 인터페이스의 경로추적제어에 관한 성능은 2-wheel 독립구동이 가능한 논홀로노믹 이동 로봇의 시뮬레이션으로 증명하였다.

Modeling with Thin Film Thickness using Machine Learning

  • Kim, Dong Hwan;Choi, Jeong Eun;Ha, Tae Min;Hong, Sang Jeen
    • 반도체디스플레이기술학회지
    • /
    • 제18권2호
    • /
    • pp.48-52
    • /
    • 2019
  • Virtual metrology, which is one of APC techniques, is a method to predict characteristics of manufactured films using machine learning with saving time and resources. As the photoresist is no longer a mask material for use in high aspect ratios as the CD is reduced, hard mask is introduced to solve such problems. Among many types of hard mask materials, amorphous carbon layer(ACL) is widely investigated due to its advantages of high etch selectivity than conventional photoresist, high optical transmittance, easy deposition process, and removability by oxygen plasma. In this study, VM using different machine learning algorithms is applied to predict the thickness of ACL and trained models are evaluated which model shows best prediction performance. ACL specimens are deposited by plasma enhanced chemical vapor deposition(PECVD) with four different process parameters(Pressure, RF power, $C_3H_6$ gas flow, $N_2$ gas flow). Gradient boosting regression(GBR) algorithm, random forest regression(RFR) algorithm, and neural network(NN) are selected for modeling. The model using gradient boosting algorithm shows most proper performance with higher R-squared value. A model for predicting the thickness of the ACL film within the abovementioned conditions has been successfully constructed.

회절격자를 이용한 광학적 단층 인식자의 구현 (Optical Implementation of Single Layer Neural Networks Using Diffraction Grating)

  • 이재명;박성균;임종태;박한규
    • 한국통신학회논문지
    • /
    • 제16권10호
    • /
    • pp.934-940
    • /
    • 1991
  • 본 논문에서는 새로운 양자화 방법을 도입하여 학습을 수행하는 단층 신경망을 광학적으로 구현하였다 본 논문의 시스템은 입력 마스크 위상형 홀로그램 회절격자. LCD, CCD 카메라 등으로 구성된다. 입력단의 뉴런과 출력단의 뉴런간의 연결은 홀로그램 회절격자를 이용하여 2차원 연결을 이루었으며, 회절광들의 세기를 같게 하기 위하여 진폭형 회절격자를 위상형 회절격자로 변환시켰다. 뉴런간의 가중치는 2진 양자화되어 LCD를 이용하여 나타내었고, 출력값은 CCD를 통하여 컴퓨터에 입력되어 가중치를 보정하며, 이 과정은 학습이 완료될 때가지 반복 수행된다. 실험은 학습도 (learning rate) 0.5, 0.9에 대하여 실행하였으며, 제안된 방식으로 학습을 무리없이 수행할 수 있음을 확인할 수 있었다.

  • PDF

다층 신경망을 사용한 항공기 인식 및 3차원 방향 추정 (Aircraft Identification and Orientation Estimention Using Multi-Layer Neural Network)

  • 김대영;진성일;손현
    • 한국통신학회논문지
    • /
    • 제16권1호
    • /
    • pp.35-45
    • /
    • 1991
  • 본 논문에서는 Backpropagation 학습 이론을 사용한 다층 구조 신경 회로망을 이용하여 3차원적으로 왜곡된 항공기 인식과 항공기의 3차원 회전 방향 추정을 컴퓨터 시뮬레이션을 통하여 수행하였다. 항공기 영상으로 부터 2차원 영상에서 왜곡 불변 (distortion invariant)특정을 가지는 피치 $(L,\;{\Phi})$를 추출하여 신경 회로망 항공기 인식기의 학습(training)에 사용하였다. 그리고 신경 회로망 인식기 설계시 그 구조를 최적화 함으로써 높은 인식률을 가지는 항공기 인식기를 구성하였다. 신경 회로망 학습 과정에서 학습 이론으로는 변형된 backpropagation 학습 이론을 도입하고 아울러 학습 수행중에 학습 변수(learning parameter)값을 변화 시키는 방법을 사용하여 전체 학습 시간을 효과적으로 단축시킬 수 있었다.

  • PDF

Combining Dynamic Time Warping and Single Hidden Layer Feedforward Neural Networks for Temporal Sign Language Recognition

  • Thi, Ngoc Anh Nguyen;Yang, Hyung-Jeong;Kim, Sun-Hee;Kim, Soo-Hyung
    • International Journal of Contents
    • /
    • 제7권1호
    • /
    • pp.14-22
    • /
    • 2011
  • Temporal Sign Language Recognition (TSLR) from hand motion is an active area of gesture recognition research in facilitating efficient communication with deaf people. TSLR systems consist of two stages: a motion sensing step which extracts useful features from signers' motion and a classification process which classifies these features as a performed sign. This work focuses on two of the research problems, namely unknown time varying signal of sign languages in feature extraction stage and computing complexity and time consumption in classification stage due to a very large sign sequences database. In this paper, we propose a combination of Dynamic Time Warping (DTW) and application of the Single hidden Layer Feedforward Neural networks (SLFNs) trained by Extreme Learning Machine (ELM) to cope the limitations. DTW has several advantages over other approaches in that it can align the length of the time series data to a same prior size, while ELM is a useful technique for classifying these warped features. Our experiment demonstrates the efficiency of the proposed method with the recognition accuracy up to 98.67%. The proposed approach can be generalized to more detailed measurements so as to recognize hand gestures, body motion and facial expression.

이미지 캡션 생성을 위한 심층 신경망 모델의 설계 (Design of a Deep Neural Network Model for Image Caption Generation)

  • 김동하;김인철
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권4호
    • /
    • pp.203-210
    • /
    • 2017
  • 본 논문에서는 이미지 캡션 생성과 모델 전이에 효과적인 심층 신경망 모델을 제시한다. 본 모델은 멀티 모달 순환 신경망 모델의 하나로서, 이미지로부터 시각 정보를 추출하는 컨볼루션 신경망 층, 각 단어를 저차원의 특징으로 변환하는 임베딩 층, 캡션 문장 구조를 학습하는 순환 신경망 층, 시각 정보와 언어 정보를 결합하는 멀티 모달 층 등 총 5 개의 계층들로 구성된다. 특히 본 모델에서는 시퀀스 패턴 학습과 모델 전이에 우수한 LSTM 유닛을 이용하여 순환 신경망 층을 구성하며, 캡션 문장 생성을 위한 매 순환 단계마다 이미지의 시각 정보를 이용할 수 있도록 컨볼루션 신경망 층의 출력을 순환 신경망 층의 초기 상태뿐만 아니라 멀티 모달 층의 입력에도 연결하는 구조를 가진다. Flickr8k, Flickr30k, MSCOCO 등의 공개 데이터 집합들을 이용한 다양한 비교 실험들을 통해, 캡션의 정확도와 모델 전이의 효과 면에서 본 논문에서 제시한 멀티 모달 순환 신경망 모델의 높은 성능을 확인할 수 있었다.

다층신경망에서 하이브리드 학습 규칙의 구현에 관한 연구 (A Study on the Implementation of Hybrid Learning Rule for Neural Network)

  • 송도선;김석동;이행세
    • 한국음향학회지
    • /
    • 제13권4호
    • /
    • pp.60-68
    • /
    • 1994
  • 본 논문에서는 다층구조 순방향 신경회로망에 적용될 수 있는 것으로 입력의 특징 추출기능(Feature Extractor)이 우수한 Hebb 학습 규칙과 패턴 분류 기능(Classifier)이 우수한 BP 알고리듬을 결합한 Hybrid학습 규칙을 제안하고자 한다. 오차역전파 학습법칙을 적용한 다층구조퍼셉트론(MLP)과는 달리, 다층구조에 오차역전파 학습법칙과 Hebb학습법칙이 동시에 적용될 수 있는 Hybrid(Hebbian+BP)학습법칙은 학습시에 출력층의 연결강도를 제외한 모든 연결강도 계산에 적용되며 출력층에는 기존의 오차역전파법칙만이 적용된다. 출력층에 Hebb 학습법칙을 제외시킨것은 다층구조학습시에 학습의 수렴성에 대한 보장이 주어져 있지 않기 때문이다. 제안된 Hybrid 학습법칙의 성능평가를 위해 몇가지의 영역구분 문제에 적용한 결과 제안된 학습법이 기존의 BP보다 우수함을 보였다. 학습속도면에서는 기존의 BP법칙에 비해 훨씬 빠른 수렴속도를 보여 주었는데, 그중 한가지 예를 보면 제안된 Hybrid법칙에 의한 학습은 기존의 BP의 학습회수의 2/10만으로도 가능함을 보여주었다. 인식률에서도 제안된 법칙에 의한 결과가 BP에 의한 결과보다 최고 약 $0.77\%$ 우수하다.

  • PDF

A New Effective Learning Algorithm for a Neo Fuzzy Neuron Model

  • Yamakawa, Takeshi;Kusanagi, Hiroaki;Uchino, Eiji;Miki, Tsutomu
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 1993년도 Fifth International Fuzzy Systems Association World Congress 93
    • /
    • pp.1017-1020
    • /
    • 1993
  • This paper describes a neo fuzzy neuron which was produced by a fusion of fuzzy logic and neuroscience. Some learning algorithms are presented. The guarantee for the global minimum on the error-weight space is proved by a reduction to absurdity. Enhanced is that the learning speed of the neo fuzzy neuron exceeds 100,000 times of that of conventional multi-layer neural networks.

  • PDF

개의 PPG와 DNN를 이용한 혈당 예측 - 선행연구 (Blood glucose prediction using PPG and DNN in dogs - a pilot study)

  • 박철구;최상기
    • 디지털정책학회지
    • /
    • 제2권4호
    • /
    • pp.25-32
    • /
    • 2023
  • 논문은 PPG 기반 센서에서 측정한 심박수(HR), 심박변이도(HRV) 데이터를 기반으로 DNN(Deep Neural Network) 혈당예측 모델을 개발하는 연구이다. 혈당 예측은 다층퍼셉트론(MLP) 신경망을 이용하였다. DNN 심층학습은 11의 독립변수가 있는 입력층, 은닉층, 출력층으로 구성된다. 혈당 예측모델의 학습결과는 MAE=0.3781, MSE=0.8518, 및 RMSE=0.9229이며, 결정계수(R2)는 0.9994이다. PPG기반의 디지털기기를 이용한 비채혈적 생체신호를 이용하여 혈당관리의 가능성을 확인하였다. PPG기반의 표준화된 활력신호 획득 및 해석법, 다량의 데이터기반 심층학습(Deep Learning)의 데이터셋, 정확성를 실증하는 연구가 이어진다면 개의 혈당관리에 편이성과 대안적인 방법을 제공할 수 있을 것이다.