• 제목/요약/키워드: restricted Boltzmann machine

검색결과 17건 처리시간 0.018초

RBM 선행학습을 이용한 개선 MLP 학습에 관한 연구 (A Study on Modified MLP Learning using Pretrained RBM)

  • 김태훈;이일병
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (C)
    • /
    • pp.380-384
    • /
    • 2007
  • MLP(Multi-Layer Perceptron)를 이용한 학습은 간단한 구조에도 비선형 분류가 가능하다는 장점을 가지고 있다. 하지만 오류역전파 알고리즘을 사용함으로써 시간의 소모가 크고 원치 않는 결과값으로의 수렴가능성을 배제할 수 없다는 단점을 가지고 있다. 이는 초기설정의 의존도가 높기 때문에 발생하는 문제들로 좋은 결과값에 근접한 곳으로 초기화가 이루어지면 좋은 학습 성능을 보이지만 반대로 좋은 결과값으로부터 멀리 떨어진 곳으로 신경망의 초기화가 이루어지면 학습 성능이 현저히 낮아지는 현상을 보인다. 본 논문에서는 MLP 전체의 층을 대상으로 하는 본 학습이 이루어지기 전에 RBM(Restricted Boltzmann Machine)을 이용, 층간 선행학습을 행하고 그 결과로 얻어지는 가중치와 바이어스를 본 MLP 학습의 초기화 데이터로 사용하는 개선 MLP 학습 알고리즘을 제안한다. 이 방법을 사용함으로써 MLP 학습 속도향상은 물론 원치 않는 지역해로의 수렴까지 방지할 수 있어 전체적인 학습 성능향상이 가능하게 된다.

  • PDF

Enhanced technique for Arabic handwriting recognition using deep belief network and a morphological algorithm for solving ligature segmentation

  • Essa, Nada;El-Daydamony, Eman;Mohamed, Ahmed Atwan
    • ETRI Journal
    • /
    • 제40권6호
    • /
    • pp.774-787
    • /
    • 2018
  • Arabic handwriting segmentation and recognition is an area of research that has not yet been fully understood. Dealing with Arabic ligature segmentation, where the Arabic characters are connected and unconstrained naturally, is one of the fundamental problems when dealing with the Arabic script. Arabic character-recognition techniques consider ligatures as new classes in addition to the classes of the Arabic characters. This paper introduces an enhanced technique for Arabic handwriting recognition using the deep belief network (DBN) and a new morphological algorithm for ligature segmentation. There are two main stages for the implementation of this technique. The first stage involves an enhanced technique of the Sari segmentation algorithm, where a new ligature segmentation algorithm is developed. The second stage involves the Arabic character recognition using DBNs and support vector machines (SVMs). The two stages are tested on the IFN/ENIT and HACDB databases, and the results obtained proved the effectiveness of the proposed algorithm compared with other existing systems.

Deep Learning in Drebin: Android malware Image Texture Median Filter Analysis and Detection

  • Luo, Shi-qi;Ni, Bo;Jiang, Ping;Tian, Sheng-wei;Yu, Long;Wang, Rui-jin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권7호
    • /
    • pp.3654-3670
    • /
    • 2019
  • This paper proposes an Image Texture Median Filter (ITMF) to analyze and detect Android malware on Drebin datasets. We design a model of "ITMF" combined with Image Processing of Median Filter (MF) to reflect the similarity of the malware binary file block. At the same time, using the MAEVS (Malware Activity Embedding in Vector Space) to reflect the potential dynamic activity of malware. In order to ensure the improvement of the classification accuracy, the above-mentioned features(ITMF feature and MAEVS feature)are studied to train Restricted Boltzmann Machine (RBM) and Back Propagation (BP). The experimental results show that the model has an average accuracy rate of 95.43% with few false alarms. to Android malicious code, which is significantly higher than 95.2% of without ITMF, 93.8% of shallow machine learning model SVM, 94.8% of KNN, 94.6% of ANN.

Application of Deep Learning: A Review for Firefighting

  • Shaikh, Muhammad Khalid
    • International Journal of Computer Science & Network Security
    • /
    • 제22권5호
    • /
    • pp.73-78
    • /
    • 2022
  • The aim of this paper is to investigate the prevalence of Deep Learning in the literature on Fire & Rescue Service. It is found that deep learning techniques are only beginning to benefit the firefighters. The popular areas where deep learning techniques are making an impact are situational awareness, decision making, mental stress, injuries, well-being of the firefighter such as his sudden fall, inability to move and breathlessness, path planning by the firefighters while getting to an fire scene, wayfinding, tracking firefighters, firefighter physical fitness, employment, prediction of firefighter intervention, firefighter operations such as object recognition in smoky areas, firefighter efficacy, smart firefighting using edge computing, firefighting in teams, and firefighter clothing and safety. The techniques that were found applied in firefighting were Deep learning, Traditional K-Means clustering with engineered time and frequency domain features, Convolutional autoencoders, Long Short-Term Memory (LSTM), Deep Neural Networks, Simulation, VR, ANN, Deep Q Learning, Deep learning based on conditional generative adversarial networks, Decision Trees, Kalman Filters, Computational models, Partial Least Squares, Logistic Regression, Random Forest, Edge computing, C5 Decision Tree, Restricted Boltzmann Machine, Reinforcement Learning, and Recurrent LSTM. The literature review is centered on Firefighters/firemen not involved in wildland fires. The focus was also not on the fire itself. It must also be noted that several deep learning techniques such as CNN were mostly used in fire behavior, fire imaging and identification as well. Those papers that deal with fire behavior were also not part of this literature review.

화성 진행 학습 모델을 적용한 규칙 기반의 4성부 합창 음악 생성 (Rule-Based Generation of Four-Part Chorus Applied With Chord Progression Learning Model)

  • 조원익;김정훈;천성준;김남수
    • 한국통신학회논문지
    • /
    • 제41권11호
    • /
    • pp.1456-1462
    • /
    • 2016
  • 본 논문에서는 규칙 기반의 4성부 합창 음악 생성 과정에 화성 진행 학습 모델을 적용해 보고자 한다. 제안하는 시스템은 32음의 멜로디를 입력으로 받아 다른 세 성부를 화성학의 규칙에 맞게 완성시켜 주며, 그 과정에서 사용하는 화성 진행을 CRBM 모델을 이용하여 예측한다. 학습 데이터는 화성학 교육 자료집에서 다수 발췌하였으며, 화성 진행을 조성에 독립적으로 추출하여 주어진 데이터를 효과적으로 활용할 수 있도록 하였다. 학습 모델을 적용한 결과물이 기존의 규칙 기반 4성부 합창 음악에 비해 보다 자연스러운 진행을 보임이 확인되었다.

조건적 제한된 볼츠만머신을 이용한 중기 전력 수요 예측 (Mid-Term Energy Demand Forecasting Using Conditional Restricted Boltzmann Machine)

  • 김수현;선영규;이동구;심이삭;황유민;김현수;김형석;김진영
    • 전기전자학회논문지
    • /
    • 제23권1호
    • /
    • pp.127-133
    • /
    • 2019
  • 미래에 스마트 그리드 도입을 위해 전력수요예측은 중요한 연구 분야 중 하나이다. 하지만 전력데이터는 많은 외부적 요소들에 영향을 받기 때문에 예측하기 어렵다. 기존의 전력수요예측 방법들은 가공되지 않은 전력데이터를 그대로 이용하기 때문에 정확도 높은 예측을 하는데 한계가 있어왔다. 본 논문에서는 가공되지 않은 전력데이터를 이용하는 전력수요예측의 문제를 해결하기 위해 확률기반 학습알고리즘을 제안한다. 확률 모델은 전력데이터의 확률적 특성을 분석하기에 적합하다. 제안한 모델의 중기 전력수요예측 성능을 비교하기 위해 신경망 네트워크 중 하나인 순환신경망과 성능 비교를 해보았다. 매사추세츠 대학에서 제공한 전력데이터를 이용하여 성능 비교를 한 결과 본 논문에서 제안한 확률기반 학습알고리즘이 중기 수요예측에 더 좋은 성능을 나타냄을 확인하였다.

이진 분류문제에서의 딥러닝 알고리즘의 활용 가능성 평가 (Feasibility of Deep Learning Algorithms for Binary Classification Problems)

  • 김기태;이보미;김종우
    • 지능정보연구
    • /
    • 제23권1호
    • /
    • pp.95-108
    • /
    • 2017
  • 최근 알파고의 등장으로 딥러닝 기술에 대한 관심이 고조되고 있다. 딥러닝은 향후 미래의 핵심 기술이 되어 일상생활의 많은 부분을 개선할 것이라는 기대를 받고 있지만, 주요한 성과들이 이미지 인식과 자연어처리 등에 국한되어 있고 전통적인 비즈니스 애널리틱스 문제에의 활용은 미비한 실정이다. 실제로 딥러닝 기술은 Convolutional Neural Network(CNN), Recurrent Neural Network(RNN), Deep Boltzmann Machine (DBM) 등 알고리즘들의 선택, Dropout 기법의 활용여부, 활성 함수의 선정 등 다양한 네트워크 설계 이슈들을 가지고 있다. 따라서 비즈니스 문제에서의 딥러닝 알고리즘 활용은 아직 탐구가 필요한 영역으로 남아있으며, 특히 딥러닝을 현실에 적용했을 때 발생할 수 있는 여러 가지 문제들은 미지수이다. 이에 따라 본 연구에서는 다이렉트 마케팅 응답모델, 고객이탈분석, 대출 위험 분석 등의 주요한 분류 문제인 이진분류에 딥러닝을 적용할 수 있을 것인지 그 가능성을 실험을 통해 확인하였다. 실험에는 어느 포르투갈 은행의 텔레마케팅 응답여부에 대한 데이터 집합을 사용하였으며, 전통적인 인공신경망인 Multi-Layer Perceptron, 딥러닝 알고리즘인 CNN과 RNN을 변형한 Long Short-Term Memory, 딥러닝 모형에 많이 활용되는 Dropout 기법 등을 이진 분류 문제에 활용했을 때의 성능을 비교하였다. 실험을 수행한 결과 CNN 알고리즘은 비즈니스 데이터의 이진분류 문제에서도 MLP 모형에 비해 향상된 성능을 보였다. 또한 MLP와 CNN 모두 Dropout을 적용한 모형이 적용하지 않은 모형보다 더 좋은 분류 성능을 보여줌에 따라, Dropout을 적용한 CNN 알고리즘이 이진분류 문제에도 활용될 수 있는 가능성을 확인하였다.