• 제목/요약/키워드: deep neural networks

검색결과 866건 처리시간 0.02초

R과 텐서플로우 딥러닝 성능 비교 (A Deep Learning Performance Comparison of R and Tensorflow)

  • 장성봉
    • 문화기술의 융합
    • /
    • 제9권4호
    • /
    • pp.487-494
    • /
    • 2023
  • 본 연구에서는 무료 딥러닝 도구인 R과 텐서플로우에 대한 성능 비교를 수행하였다. 실험에서는 각 도구를 사용하여 6종류의 심층 신경망을 구축하고 10년간의 한국 온도 데이터셋을 사용하여 신경망을 학습시켰다. 구축된 신경망의 입력층 노드 갯수는 10개, 출력층은 5개로 설정 하였으며, 은닉층은 5, 10, 20개로 설정하여 실험을 진행 하였다. 학습 데이터는 2013년 3월 1일부터 2023년 3월 29일까지 서울시 강남구에서 수집된 온도 데이터 3681건을 사용하였다. 성능 비교를 위해, 학습된 신경망을 사용하여, 5일간의 온도를 예측하고 예측된 값과 실제값을 사용하여 평균 제곱근 오차(root mean square error, RMSE)값을 측정하였다. 실험결과, 은닉층이 1개인 경우, R의 학습 오차는 0.04731176이었으며, 텐서플로우는 0.06677193으로 측정되었으며, 은닉층이 2개인 경우에는 R이 0.04782134, 텐서플로 우는 0.05799060로 측정되었다. 전체적으로 R이 더 우수한 성능을 보였다. 우리는 기계학습을 처음 접하는 사용자들에게 두 도구에 대한 정량적 성능 정보를 제공함으로써, 도구 선택에서 발생하는 어려움을 해소하고자 하였다.

Deep learning-based sensor fault detection using S-Long Short Term Memory Networks

  • Li, Lili;Liu, Gang;Zhang, Liangliang;Li, Qing
    • Structural Monitoring and Maintenance
    • /
    • 제5권1호
    • /
    • pp.51-65
    • /
    • 2018
  • A number of sensing techniques have been implemented for detecting defects in civil infrastructures instead of onsite human inspections in structural health monitoring. However, the issue of faults in sensors has not received much attention. This issue may lead to incorrect interpretation of data and false alarms. To overcome these challenges, this article presents a deep learning-based method with a new architecture of Stateful Long Short Term Memory Neural Networks (S-LSTM NN) for detecting sensor fault without going into details of the fault features. As LSTMs are capable of learning data features automatically, and the proposed method works without an accurate mathematical model. The detection of four types of sensor faults are studied in this paper. Non-stationary acceleration responses of a three-span continuous bridge when under operational conditions are studied. A deep network model is applied to the measured bridge data with estimation to detect the sensor fault. Another set of sensor output data is used to supervise the network parameters and backpropagation algorithm to fine tune the parameters to establish a deep self-coding network model. The response residuals between the true value and the predicted value of the deep S-LSTM network was statistically analyzed to determine the fault threshold of sensor. Experimental study with a cable-stayed bridge further indicated that the proposed method is robust in the detection of the sensor fault.

깊은 신경망을 이용한 오디오 이벤트 검출 (Audio Event Detection Using Deep Neural Networks)

  • 임민규;이동현;박호성;김지환
    • 디지털콘텐츠학회 논문지
    • /
    • 제18권1호
    • /
    • pp.183-190
    • /
    • 2017
  • 본 논문에서는 깊은 신경망을 이용한 오디오 이벤트 검출 방법을 제안한다. 오디오 입력의 매 프레임에 대한 오디오 이벤트 확률을 feed-forward 신경망을 적용하여 생성한다. 매 프레임에 대하여 멜 스케일 필터 뱅크 특징을 추출한 후, 해당 프레임의 전후 프레임으로부터의 특징벡터들을 하나의 특징벡터로 결합하고 이를 feed-forward 신경망의 입력으로 사용한다. 깊은 신경망의 출력층은 입력 프레임 특징값에 대한 오디오 이벤트 확률값을 나타낸다. 연속된 5개 이상의 프레임에서의 이벤트 확률값이 임계값을 넘을 경우 해당 구간이 오디오 이벤트로 검출된다. 검출된 오디오 이벤트는 1초 이내에 동일 이벤트로 검출되는 동안 하나의 오디오 이벤트로 유지된다. 제안된 방법으로 구현된 오디오 이벤트 검출기는 UrbanSound8K와 BBC Sound FX자료에서의 20개 오디오 이벤트에 대하여 71.8%의 검출 정확도를 보였다.

딥러닝을 이용한 다변량, 비선형, 과분산 모델링의 개선: 자동차 연료소모량 예측 (Improvement of Multivariable, Nonlinear, and Overdispersion Modeling with Deep Learning: A Case Study on Prediction of Vehicle Fuel Consumption Rate)

  • 한대석;유인균;이수형
    • 한국도로학회논문집
    • /
    • 제19권4호
    • /
    • pp.1-7
    • /
    • 2017
  • PURPOSES : This study aims to improve complex modeling of multivariable, nonlinear, and overdispersion data with an artificial neural network that has been a problem in the civil and transport sectors. METHODS: Deep learning, which is a technique employing artificial neural networks, was applied for developing a large bus fuel consumption model as a case study. Estimation characteristics and accuracy were compared with the results of conventional multiple regression modeling. RESULTS : The deep learning model remarkably improved estimation accuracy of regression modeling, from R-sq. 18.76% to 72.22%. In addition, it was very flexible in reflecting large variance and complex relationships between dependent and independent variables. CONCLUSIONS : Deep learning could be a new alternative that solves general problems inherent in conventional statistical methods and it is highly promising in planning and optimizing issues in the civil and transport sectors. Extended applications to other fields, such as pavement management, structure safety, operation of intelligent transport systems, and traffic noise estimation are highly recommended.

Human Gait Recognition Based on Spatio-Temporal Deep Convolutional Neural Network for Identification

  • Zhang, Ning;Park, Jin-ho;Lee, Eung-Joo
    • 한국멀티미디어학회논문지
    • /
    • 제23권8호
    • /
    • pp.927-939
    • /
    • 2020
  • Gait recognition can identify people's identity from a long distance, which is very important for improving the intelligence of the monitoring system. Among many human features, gait features have the advantages of being remotely available, robust, and secure. Traditional gait feature extraction, affected by the development of behavior recognition, can only rely on manual feature extraction, which cannot meet the needs of fine gait recognition. The emergence of deep convolutional neural networks has made researchers get rid of complex feature design engineering, and can automatically learn available features through data, which has been widely used. In this paper,conduct feature metric learning in the three-dimensional space by combining the three-dimensional convolution features of the gait sequence and the Siamese structure. This method can capture the information of spatial dimension and time dimension from the continuous periodic gait sequence, and further improve the accuracy and practicability of gait recognition.

Localization of ripe tomato bunch using deep neural networks and class activation mapping

  • Seung-Woo Kang;Soo-Hyun Cho;Dae-Hyun Lee;Kyung-Chul Kim
    • 농업과학연구
    • /
    • 제50권3호
    • /
    • pp.357-364
    • /
    • 2023
  • In this study, we propose a ripe tomato bunch localization method based on convolutional neural networks, to be applied in robotic harvesting systems. Tomato images were obtained from a smart greenhouse at the Rural Development Administration (RDA). The sample images for training were extracted based on tomato maturity and resized to 128 × 128 pixels for use in the classification model. The model was constructed based on four-layer convolutional neural networks, and the classes were determined based on stage of maturity, using a Softmax classifier. The localization of the ripe tomato bunch region was indicated on a class activation map. The class activation map could show the approximate location of the tomato bunch but tends to present a local part or a large part of the ripe tomato bunch region, which could lead to poor performance. Therefore, we suggest a recursive method to improve the performance of the model. The classification results indicated that the accuracy, precision, recall, and F1-score were 0.98, 0.87, 0.98, and 0.92, respectively. The localization performance was 0.52, estimated by the Intersection over Union (IoU), and through input recursion, the IoU was improved by 13%. Based on the results, the proposed localization of the ripe tomato bunch area can be incorporated in robotic harvesting systems to establish the optimal harvesting paths.

Convolutional Neural Networks기반 항공영상 영역분할 및 분류 (Aerial Scene Labeling Based on Convolutional Neural Networks)

  • 나종필;황승준;박승제;백중환
    • 한국항행학회논문지
    • /
    • 제19권6호
    • /
    • pp.484-491
    • /
    • 2015
  • 항공영상은 디지털 광학 영상 기술의 성장과 무인기(UAV)의 발달로 인하여 영상의 도입 및 공급이 크게 증가하였고, 이러한 항공영상 데이터를 기반으로 지상의 속성 추출, 분류, 변화탐지, 영상 융합, 지도 제작 형태로 활용되고 있다. 특히, 영상분석 및 활용에 있어 딥 러닝 알고리즘은 패턴인식 분야의 한계를 극복하는 새로운 패러다임을 보여주고 있다. 본 논문은 딥 러닝 알고리즘인 ConvNet기반으로 항공영상의 영역분할 및 분류 결과를 통한 더욱더 넓은 범위와 다양한 분야에 적용할 수 있는 가능성을 제시한다. 학습데이터는 도로, 건물, 평지, 숲 총 3000개 4-클래스로 구축하였고 클래스 별로 일정한 패턴을 가지고 있어 특징 벡터맵을 통한 결과가 서로 다르게 나옴을 확인할 수 있다. 본 연구의 알고리즘은 크게 두 가지로 구성 되어 있는데 특징추출은 ConvNet기반으로 2개의 층을 쌓았고, 분류 및 학습과정으로 다층 퍼셉트론과 로지스틱회귀 알고리즘을 활용하여 특징들을 분류 및 학습시켰다.

딥러닝을 위한 경사하강법 비교 (Comparison of Gradient Descent for Deep Learning)

  • 강민제
    • 한국산학기술학회논문지
    • /
    • 제21권2호
    • /
    • pp.189-194
    • /
    • 2020
  • 본 논문에서는 신경망을 학습하는 데 가장 많이 사용되고 있는 경사하강법에 대해 분석하였다. 학습이란 손실함수가 최소값이 되도록 매개변수를 갱신하는 것이다. 손실함수는 실제값과 예측값의 차이를 수치화 해주는 함수이다. 경사하강법은 오차가 최소화되도록 매개변수를 갱신하는데 손실함수의 기울기를 사용하는 것으로 현재 최고의 딥러닝 학습알고리즘을 제공하는 라이브러리에서 사용되고 있다. 그러나 이 알고리즘들은 블랙박스형태로 제공되고 있어서 다양한 경사하강법들의 장단점을 파악하는 것이 쉽지 않다. 경사하강법에서 현재 대표적으로 사용되고 있는 확률적 경사하강법(Stochastic Gradient Descent method), 모멘텀법(Momentum method), AdaGrad법 그리고 Adadelta법의 특성에 대하여 분석하였다. 실험 데이터는 신경망을 검증하는 데 널리 사용되는 MNIST 데이터 셋을 사용하였다. 은닉층은 2개의 층으로 첫 번째 층은 500개 그리고 두 번째 층은 300개의 뉴런으로 구성하였다. 출력 층의 활성화함수는 소프트 맥스함수이고 나머지 입력 층과 은닉 층의 활성화함수는 ReLu함수를 사용하였다. 그리고 손실함수는 교차 엔트로피 오차를 사용하였다.

딥 컨볼루션 신경망을 이용한 고용 소득 예측 (Predicting Employment Earning using Deep Convolutional Neural Networks)

  • 마렌드라;김나랑;최형림
    • 디지털융복합연구
    • /
    • 제16권6호
    • /
    • pp.151-161
    • /
    • 2018
  • 소득은 경제생활에서 중요하다. 소득을 예측할 수 있으면, 사람들은 음식, 집세와 같은 생활비를 지불 할 수 있는 예산을 세울 수 있을 뿐 아니라, 다른 재화 또는 비상사태를 위한 돈을 별도로 저축 할 수 있다. 또한 소득수준은 은행, 상점 및 서비스 회사에서 마케팅 목적 및 충성도가 높은 고객을 유치하는 데 활용 된다. 이는 소득이 다양한 고객 접점에서 사용되는 중요한 인구 통계 요소이기 때문이다. 따라서 기존 고객 및 잠재 고객에 대한 수입 예측이 필요하다. 이 연구에서는 소득을 예측하기 위해 SVM (Support Vector Machines), Gaussian, 의사 결정 트리, DCNN (Deep Convolutional Neural Networks)과 같은 기계 학습 기법을 사용하였다. 분석 결과 DCNN 방법이 본 연구에서 사용 된 다른 기계 학습 기법에 비해 최적의 결과(88%)를 제공하는 것으로 나타났다. 향후 PCA 같이 데이터 크기를 향상 시킨다면 더 좋은 연구 결과를 제시할 수 있을 것이다.

기계학습과 GloSea5를 이용한 장기 농업기상 예측 : 고랭지배추 재배 지역을 중심으로 (The long-term agricultural weather forcast methods using machine learning and GloSea5 : on the cultivation zone of Chinese cabbage.)

  • 김준석;양미연;윤상후
    • 디지털융복합연구
    • /
    • 제18권4호
    • /
    • pp.243-250
    • /
    • 2020
  • 농작물 재배에 있어 가장 큰 위험 요소는 날씨이므로 재배지의 장기 농업 기상정보를 얻을 수 있다면 정식과 수확 시기 등을 예측할 수 있다. 따라서 체계적인 농작업을 기획하여 관리할 수 있으며 이는 농가의 안정적인 수확으로 이어질 것으로 기대한다. 본 연구는 GloSea5와 기계학습을 이용하여 효과적인 고랭지배추의 재배를 위한 장기 농업기상정보 예측 방법을 제시하였다. GloSea5는 계절예측시스템으로 최대 240일까지의 기상을 예측한다. 심층신경망과 공간랜덤포레스트를 이용하여 장기 일 평균기온을 예측한 결과 심층신경망이 공간랜덤포레스트에 비해 장기예측성능이 우수하였다. 하지만 공간랜덤포레스트는 강원도 전역의 기온을 짧은 시간에 예측하는 장점이 있다. 공간랜덤포레스트로 분석한 결과 여름철과 해발고도가 낮은 지역의 장기 일 평균기온이 잘 예측되었다.