• 제목/요약/키워드: hidden unit number

검색결과 20건 처리시간 0.026초

Recurrent Neural Network with Backpropagation Through Time Learning Algorithm for Arabic Phoneme Recognition

  • Ismail, Saliza;Ahmad, Abdul Manan
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2004년도 ICCAS
    • /
    • pp.1033-1036
    • /
    • 2004
  • The study on speech recognition and understanding has been done for many years. In this paper, we propose a new type of recurrent neural network architecture for speech recognition, in which each output unit is connected to itself and is also fully connected to other output units and all hidden units [1]. Besides that, we also proposed the new architecture and the learning algorithm of recurrent neural network such as Backpropagation Through Time (BPTT, which well-suited. The aim of the study was to observe the difference of Arabic's alphabet like "alif" until "ya". The purpose of this research is to upgrade the people's knowledge and understanding on Arabic's alphabet or word by using Recurrent Neural Network (RNN) and Backpropagation Through Time (BPTT) learning algorithm. 4 speakers (a mixture of male and female) are trained in quiet environment. Neural network is well-known as a technique that has the ability to classified nonlinear problem. Today, lots of researches have been done in applying Neural Network towards the solution of speech recognition [2] such as Arabic. The Arabic language offers a number of challenges for speech recognition [3]. Even through positive results have been obtained from the continuous study, research on minimizing the error rate is still gaining lots attention. This research utilizes Recurrent Neural Network, one of Neural Network technique to observe the difference of alphabet "alif" until "ya".

  • PDF

Self-organized Learning in Complexity Growing of Radial Basis Function Networks

  • Arisariyawong, Somwang;Charoenseang, Siam
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2002년도 ITC-CSCC -1
    • /
    • pp.30-33
    • /
    • 2002
  • To obtain good performance of radial basis function (RBF) neural networks, it needs very careful consideration in design. The selection of several parameters such as the number of centers and widths of the radial basis functions must be considered carefully since they critically affect the network's performance. We propose a learning algorithm for growing of complexity of RBF neural networks which is adapted automatically according to the complexity of tasks. The algorithm generates a new basis function based on the errors of network, the percentage of decreasing rate of errors and the nearest distance from input data to the center of hidden unit. The RBF's center is located at the point where the maximum of absolute interference error occurs in the input space. The width is calculated based on the standard deviation of distance between the center and inputs data. The steepest descent method is also applied for adjusting the weights, centers, and widths. To demonstrate the performance of the proposed algorithm, general problem of function estimation is evaluated. The results obtained from the simulation show that the proposed algorithm for RBF neural networks yields good performance in terms of convergence and accuracy compared with those obtained by conventional multilayer feedforward networks.

  • PDF

독립성분 분석과 신전달 모델을 이용한 근육의 미세한 힘의 추정에 관한 연구 (A Study on the Low Force Estimation of Skeletal Muscle by using ICA and Neuro-transmission Model)

  • 유세근;염두호;이호용;김성환
    • 전기학회논문지
    • /
    • 제56권3호
    • /
    • pp.632-640
    • /
    • 2007
  • The low force estimation method of skeletal muscle was proposed by using ICA(independent component analysis) and neuro-transmission model. An EMG decomposition is the procedure by which the signal is classified into its constituent MUAP(motor unit action potential). The force index of electromyography was due to the generation of MUAP. To estimate low force, current analysis technique, such as RMS(root mean square) and MAV(mean absolute value), have not been shown to provide direct measures of the number and timing of motoneurons firing or their firing frequencies, but are used due to lack of other options. In this paper, the method based on ICA and chemical signal transmission mechanism from neuron to muscle was proposed. The force generation model consists of two linear, first-order low pass filters separated by a static non-linearity. The model takes a modulated IPI(inter pulse interval) as input and produces isometric force as output. Both the step and random train were applied to the neuro-transmission model. As a results, the ICA has shown remarkable enhancement by finding a hidden MAUP from the original superimposed EMG signal and estimating accurate IPI. And the proposed estimation technique shows good agreements with the low force measured comparing with RMS and MAV method to the input patterns.

저장 한계를 극복한 효율적인 디지털 워터마크 생성 방법 연구 (A Study on Effective Digital Watermark Generation Method to Overcome Capacity Limit)

  • 김희선;조대제
    • 한국콘텐츠학회논문지
    • /
    • 제5권6호
    • /
    • pp.343-350
    • /
    • 2005
  • 기존의 디지털 워터마킹 방법에서는 주로 PN-수열을 사용하여 산출된 이진데이터를 디지털 워터마크로 사용하였다. 이 방법은 영상의 크기가 작은 경우, 제한된 크기의 원 영상에 삽입 할 수 있는 워터마크의 크기는 한계가 있다. 본 논문에서는 혼돈 함수에 의하여 산출되는 혼돈수열을 이용하여 디지털 워터마크를 생성하고, 이를 사용하는 방법을 제시하였으며, 이것이 기존의 PN-수열을 대신하여 사용할 수 있음을 보였다. 또한 워터마크로 사용될 임의의 문장을 혼돈 수열로 변환하는 방법을 제시하였다. 실험을 통하여, 임의의 문장을 디지털 워터마크로 변환하여 원본 영상에 삽입하고 이를 추출하여 다시 원래의 문장으로 복원하는 과정을 구현하였다. 본 논문에서 제시한 알고리즘은 긴 문장을 짧은 혼돈 수열로 함축하는 방법을 사용하여 기존의 방법에 비해 보다 많은 정보를 원본 영상에 숨길 수 있기 때문에, 제한된 저장 한계를 극복할 수 있었다.

  • PDF

신경망 학습 과정중 불필요한 입력 정보 및 파라미터들의 제거 (Elimination of Redundant Input Information and Parameters during Neural Network Training)

  • 원용관;박광규
    • 한국정보처리학회논문지
    • /
    • 제3권3호
    • /
    • pp.439-448
    • /
    • 1996
  • 형태 인식에서 유익한 특징정보의 선정 및 추출이 대단히 중요한 역할을 한다. 본 논문은 유익한 특징정보의 선정과 신경망의 학습을 동시에 수행할 수 있는 알고리 즘을 기술한다. 알고리즘은 근본적으로 반복적으로 수행되는 세 단계로 구성되어 있는데, 이들은 학습, 연결자 제거, 그리고 입력 신경세포 제거이다. 초기 학습을 실행한후, 먼저 적은 절대값을 갖는 연결자들이 제거 된다. 그런 후, 내부 계층 신경 세포들과 은 숫자의 결자들을 갖는 입력 신경세포들이 제거된다. 이 과정은 제거된 입력 신경세포들에 상응하는 특징정보들을 제외시키는 것과 동일하다. 만약, 에러값이 증가 하면, 연결자 제거 및 입력 신경세포 제거 과정의 반복으로 구성된 신경망의 재학습을 실행한다. 그 결과, 알고리즘은 다른 공간계로의 변환없이 특징정보 추출 공간내에서 중요한 특징들을 선정하게 된다. 또한, 즉징정보 선정인 형태 분류 관점에서의 성능과 긴밀하게 연결되어 수행되므로, 선정 된 특징정보들은 형태 분류에 가장 좋은 정보를 제공한다. 이 알고리즘은 불필요 또는 그다지 중요하지 않은 정보의 추출로 인한 경제 적 손실을 피할수 있게 한다. 더구나, 마지막에 얻어진 신경망은 인식 성능에 저해 요인이 될 수있는 불필요한 파라미터들, 즉 가중 연결자 및 바이어스를 포함하지 않는다. 응용결과,, 본 알고리즘은 가장 좋은 정보를 갖는 특징들만을 남기며, 성능 저하를 일으 키지 않으면서도 특징 벡터의 차원을 현저하게 줄였다.

  • PDF

버스의 정차시간을 고려한 장기 도착시간 예측 모델 (Long-Term Arrival Time Estimation Model Based on Service Time)

  • 박철영;김홍근;신창선;조용윤;박장우
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제6권7호
    • /
    • pp.297-306
    • /
    • 2017
  • 버스정보 시스템을 이용하는 시민들은 더 정확한 예측 정보를 원한다. 하지만 평균 기반 단기간 예측 알고리즘을 사용하는 대부분의 버스정보시스템에서는 교통흐름, 신호주기, 정차시간 등의 영향이 고려되지 않기 때문에 많은 오차를 포함하고 있는 실정이다. 따라서 본 논문에서는 오차의 영향요인 분석을 통해 예측정보의 정밀도를 향상시켜 시민들의 편의를 도모하고자 한다. 이에 현재 운영되고 있는 버스정보 시스템의 자료를 토대로 오차의 영향요인을 분석했다. 분석 데이터에서 시간대별 특성과 지리적 여건에 의한 영향이 복합적으로 나타나고, 정차시간과 단위구간속도에 미치는 영향도가 다름을 보였다. 이에 따라 정차시간은 일반화 가법 모형을 사용하여 시간, GPS 좌표, 통과 노선수의 설명변수로 패턴을 구축하고, 단위구간에 대해 은닉 마르코프 모델을 사용하여 교통흐름에 따른 영향도를 고려한 패턴을 구축했다. 패턴 구축의 결과로 정밀한 실시간예측이 가능하고, 노선 통행속도의 장기간 예측이 가능했다. 마지막으로 관측 데이터와 예측 데이터의 통계적 검정 과정을 통해 전구간 예측에 적합한 모델임을 보였다. 본 논문의 결과로 시민들에게 더 정확한 예측 정보를 제공하고, 장기간 예측은 배차시간 등의 의사결정에 중요한 역할을 수행할 수 있으리라 생각한다.

주행속도 예측을 위한 모형 개발 (2차로 지방부 도로 중심으로) (Development of a model to predict Operating Speed)

  • 이종필;김성호
    • 대한교통학회지
    • /
    • 제20권1호
    • /
    • pp.131-139
    • /
    • 2002
  • 본 연구는 도로의 설계일관성 평가를 위해 지방부 2차로 도로의 평면 곡선부 85백분위 주행속도 예측모형을 기존의 회귀모형에 비해 보다 효율적이고 신뢰성 높은 인공신경 망 이론을 적용하여 개발하였다. 곡선반경, 곡선길이, 교차각, 시거, 차로폭, 차선(안쪽, 바깥쪽)과 같은 기하구조 특성에 의해 속도가 결정된다는 가정하에 30개 조사지점을 통해 얻어진 자료를 모형의 입력층 자료로 이용하였고, 입력층 변수에 따라 네 가지 유형의 신경망 모형을 제시하였다. 신경망 모형 중 다층신경 망 모형을 적용하여 은닉충의 유니트 수, 학습계수, 모멘텀계수, 학습횟수의 변화에 따른 최적 모형 구조를 도출하였다. 신경망 모형의 학습성능을 검증하기 위하여 선정된 30개 조사지점에서 20개 지점을 모형의 학습자료로 나머지 학습되지 않은 10개 지점을 예측자료로 활용하였다. 분석결과, 네 가지 유형의 신경망 모형 중에서 모형 D가 통계적 검증결과 $R^2$값이 85%이며, %RMSE=0.0204로 가장 실제값에 유사한 모형으로 평가되었다.

시간처짐현상을 고려한 장거리구간 통행시간 예측 모형 개발 (Development of a Freeway Travel Time Forecasting Model for Long Distance Section with Due Regard to Time-lag)

  • 이의은;김정현
    • 대한교통학회지
    • /
    • 제20권4호
    • /
    • pp.51-61
    • /
    • 2002
  • 본 연구에서는 운전자 입장에서 원하는 고속도로 다구간의 통행시간을 예측하는 모형을 구축하였다. 현재 지점검지기를 통해 생성되는 예상통행시간 정보는 장거리 통행시 발생되는 시간처짐현상을 반영하지 못하고 있다. 이로 인하여 도로이용자들의 신뢰가 떨어져. 전체적인 ATIS의 효과를 거두지 못하고 있다. 따라서 본 연구에서는 시간처짐 현상과 영업소 지체를 반영한 고속도로 다구간의 통행시간예측을 위하여, 한국도로공사에서 운영중인 검지기의 교통량 자료와 TCS자료를 사용하였다. 또한 실제 시스템에의 적용을 위해 이상치가 섞여 있는 자료를 유지하였다. 예측에 사용된 모형은 3개의 입력유니트와 2개의 출력유니트를 가지는 선행신경망의 형태로 구성하였으며, 학습방법은 역전파법을 이용하였다. 또한 학습속도와 예측력에 영향을 주는 학습계수, 은닉층의 유니트수, 반복 횟수에 따라 12개의 대안을 구성하여 예측결과를 토대로 최적대안을 모형으로 채택하였다. 이러한 본 연구의 자료특성에 의해 원하는 구간까지의 통행시간을 구할 수가 있다.

동궐도(東闕圖) 판장(板墻)의 공간통제 효과에 관한 연구 (A Study on the Spatial Control Effect of Panjang in Donggwoldo)

  • 하유정;김충식
    • 헤리티지:역사와 과학
    • /
    • 제55권4호
    • /
    • pp.196-209
    • /
    • 2022
  • 본 연구는 공간구문론(Space syntax)을 이용하여 조선 후기에 제작된 <동궐도(東闕圖)>의 판장의 설치에 따른 주요 권역별 공간변화를 비교하여 판장의 공간분할 기능과 역할을 재해석하였다. 연구방법으로는 <동궐도>의 공간을 단위 공간으로 분해하기 위한 설정 기준을 마련하였고, 판장의 설치 전·후에 따라 2개의 볼록공간도를 작성해 공간구문변수인 연결도, 통제도, 통합도 값을 산출하여 비교분석하였다. 연구의 결과는 다음과 같다. 첫째, <동궐도> 내 가림시설은 전각공간에 대한 변수의 평균값을 비교하였을 때, 동궐의 전체적인 배치에서 통제와 연결은 영향이 크지 않았다. 다만 특정 권역 내 공간의 접근성 측면에서 영향을 주었다. 가림시설이 집중적으로 설치된 내전과 동궁 그리고 후원으로 이동할 수 있는 공간을 중심으로 이동과 접근에 제한을 주었다. 둘째, 판장은 내전과 동궁에 집중적으로 분포되어 공간의 활용방식에 적극적으로 이용된 시설로 판장의 설치에 따른 공간의 특성이 뚜렷하게 나타났으며 기능에서도 차이가 확인되었다. 내전의 수정전 권역과 희정당 권역 그리고 동궁의 성정각 권역에 판장을 설치함으로써 개방적이고 통제성이 높았던 공간이 통제성이 낮은 폐쇄적인 공간으로 변모하였고 사적인 공간이 조성되었다. 동궁의 완영당 권역은 판장을 여러 방향으로 설치함으로써 공간의 깊이를 증가시켰다. 이는 거쳐서 오는 공간의 수가 증가됨으로써 자유롭고 은신이 가능한 공간이 조성되었다. 셋째, 판장은 기존 선행연구에서 밝혔던 '시선차단·공간분리·동선조절'의 기능 이외에 '접근통제가 용이한 공간'을 조성하였다. 일정한 공간으로 유도함과 동시에 동선이 집중됨에 따라 접근 통제가 가능한 공간이 되었으며, 판장의 개수와 배치에 따라 집중형 통제공간과 분산형 통제공간을 조성하였다. 본 연구는 그 간 가림시설의 기능과 역할에 대한 연구 외에 판장에 대한 기능을 수학적 모델로 분석하여 특정 공간속에서 판장이 어떠한 양상으로 공간을 통제하였는지 수치적으로 확인하였고, 공간의 통제와 연결, 은신과 개방성 등의 해석으로 연구의 방법을 확장한 것에 의의가 있다. 또한 연구의 방법론이었던 공간구문론을 <동궐도>에 적용하기 위해 궁궐의 건축 및 조경요소의 단위공간 분할 및 연결 유형에 따른 기준을 마련함으로써 궁궐과 유사한 전통주거단지에서도 적용이 가능한 분석툴을 마련하였다는 점에서 가치가 있다. 그러나 공간구문론의 분석을 통해 결과적으로 제공되는 것은 공간조직이 가지는 구성적 특질을 표현하는 숫자들로 제한된 체계 내에서만 의미를 가진다는 한계가 있다.

효과적인 입력변수 패턴 학습을 위한 시계열 그래프 기반 합성곱 신경망 모형: 주식시장 예측에의 응용 (A Time Series Graph based Convolutional Neural Network Model for Effective Input Variable Pattern Learning : Application to the Prediction of Stock Market)

  • 이모세;안현철
    • 지능정보연구
    • /
    • 제24권1호
    • /
    • pp.167-181
    • /
    • 2018
  • 지난 10여 년간 딥러닝(Deep Learning)은 다양한 기계학습 알고리즘 중에서 많은 주목을 받아 왔다. 특히 이미지를 인식하고 분류하는데 효과적인 알고리즘으로 알려져 있는 합성곱 신경망(Convolutional Neural Network, CNN)은 여러 분야의 분류 및 예측 문제에 널리 응용되고 있다. 본 연구에서는 기계학습 연구에서 가장 어려운 예측 문제 중 하나인 주식시장 예측에 합성곱 신경망을 적용하고자 한다. 구체적으로 본 연구에서는 그래프를 입력값으로 사용하여 주식시장의 방향(상승 또는 하락)을 예측하는 이진분류기로써 합성곱 신경망을 적용하였다. 이는 그래프를 보고 주가지수가 오를 것인지 내릴 것인지에 대해 경향을 예측하는 이른바 기술적 분석가를 모방하는 기계학습 알고리즘을 개발하는 과제라 할 수 있다. 본 연구는 크게 다음의 네 단계로 수행된다. 첫 번째 단계에서는 데이터 세트를 5일 단위로 나눈다. 두 번째 단계에서는 5일 단위로 나눈 데이터에 대하여 그래프를 만든다. 세 번째 단계에서는 이전 단계에서 생성된 그래프를 사용하여 학습용과 검증용 데이터 세트를 나누고 합성곱 신경망 분류기를 학습시킨다. 네 번째 단계에서는 검증용 데이터 세트를 사용하여 다른 분류 모형들과 성과를 비교한다. 제안한 모델의 유효성을 검증하기 위해 2009년 1월부터 2017년 2월까지의 약 8년간의 KOSPI200 데이터 2,026건의 실험 데이터를 사용하였다. 실험 데이터 세트는 CCI, 모멘텀, ROC 등 한국 주식시장에서 사용하는 대표적인 기술지표 12개로 구성되었다. 결과적으로 실험 데이터 세트에 합성곱 신경망 알고리즘을 적용하였을 때 로지스틱회귀모형, 단일계층신경망, SVM과 비교하여 제안모형인 CNN이 통계적으로 유의한 수준의 예측 정확도를 나타냈다.