• 제목/요약/키워드: Fully connected network

검색결과 145건 처리시간 0.021초

훈련자료 내 재배지역의 비율에 따른 딥러닝 모델의 성능 평가 (Performance Evaluation of Deep Learning Model according to the Ratio of Cultivation Area in Training Data)

  • 성선경;최재완
    • 대한원격탐사학회지
    • /
    • 제38권6_1호
    • /
    • pp.1007-1014
    • /
    • 2022
  • 차세대중형위성(Compact Advanced Satellite 500, CAS500)은 식생, 산림, 농업 등의 분야를 포함한 다양한 목적을 위하여 사용될 수 있으며, 다양한 영역에 대한 빠른 위성영상의 취득이 가능할 것으로 기대되고 있다. 차세대중형위성을 통하여 취득된 위성영상을 농업분야에서 활용하기 위해서는 위성영상 기반 작물재배지역 추출 기법에 대한 개발이 필요하다. 특히, 최근 들어 딥러닝 분야에 대한 연구가 활발해짐에 따라서, 작물재배지역 추출을 위한 딥러닝 모델의 개발 및 훈련자료 생성에 관한 연구가 필요한 실정이다. 본 연구에서는 PlanetScope 위성영상과 팜맵을 이용하여 합천군 지역의 양파 및 마늘 재배지역을 분류하고자 하였다. 특히, 효과적인 모델의 학습을 위하여 작물재배지역의 비율에 따른 모델 성능을 분석하고자 하였다. 실험에 사용한 딥러닝 모델은 Fully Convolutional Densely Connected Convolutional Network (FC-DenseNet)을 작물재배지역 분류의 목적에 맞도록 재구성하여 활용하였다. 실험결과, 훈련자료 내 작물재배지역의 비율이 딥러닝 모델의 성능에 영향을 미치는 것을 확인하였다.

Human Activity Recognition Based on 3D Residual Dense Network

  • Park, Jin-Ho;Lee, Eung-Joo
    • 한국멀티미디어학회논문지
    • /
    • 제23권12호
    • /
    • pp.1540-1551
    • /
    • 2020
  • Aiming at the problem that the existing human behavior recognition algorithm cannot fully utilize the multi-level spatio-temporal information of the network, a human behavior recognition algorithm based on a dense three-dimensional residual network is proposed. First, the proposed algorithm uses a dense block of three-dimensional residuals as the basic module of the network. The module extracts the hierarchical features of human behavior through densely connected convolutional layers; Secondly, the local feature aggregation adaptive method is used to learn the local dense features of human behavior; Then, the residual connection module is applied to promote the flow of feature information and reduced the difficulty of training; Finally, the multi-layer local feature extraction of the network is realized by cascading multiple three-dimensional residual dense blocks, and use the global feature aggregation adaptive method to learn the features of all network layers to realize human behavior recognition. A large number of experimental results on benchmark datasets KTH show that the recognition rate (top-l accuracy) of the proposed algorithm reaches 93.52%. Compared with the three-dimensional convolutional neural network (C3D) algorithm, it has improved by 3.93 percentage points. The proposed algorithm framework has good robustness and transfer learning ability, and can effectively handle a variety of video behavior recognition tasks.

이산 Wavelet 변환을 이용한 딥러닝 기반 잡음제거기 (Noise Canceler Based on Deep Learning Using Discrete Wavelet Transform)

  • 이행우
    • 한국전자통신학회논문지
    • /
    • 제18권6호
    • /
    • pp.1103-1108
    • /
    • 2023
  • 본 논문에서는 음향신호의 배경잡음을 감쇠하기 위한 새로운 알고리즘을 제안한다. 이 알고리즘은 이산 웨이블릿 변환(DWT: Discrete Wavelet Transform) 후 기존의 적응필터를 대신 FNN(: Full-connected Neural Network) 심층학습 알고리즘을 이용하여 잡음감쇠 성능을 개선하였다. 입력신호를 단시간 구간별로 웨이블릿 변환한 다음 1024-1024-512-neuron FNN 딥러닝 모델을 이용하여 잡음이 포함된 단일입력 음성신호로부터 잡음을 제거한다. 이는 시간영역 음성신호를 잡음특성이 잘 표현되도록 시간-주파수영역으로 변환하고 변환 파라미터에 대해 순수 음성신호의 변환 파라미터를 이용한 지도학습을 통하여 잡음환경에서 효과적으로 음성을 예측한다. 본 연구에서 제안한 잡음감쇠시스템의 성능을 검증하기 위하여 Tensorflow와 Keras 라이브러리를 사용한 시뮬레이션 프로그램을 작성하고 모의실험을 수행하였다. 실험 결과, 제안한 심층학습 알고리즘을 사용하면 기존의 적응필터를 사용하는 경우보다 30%, STFT(: Short-Time Fourier Transform) 변환을 사용하는 경우보다는 20%의 평균자승오차(MSE: Mean Square Error) 개선효과를 얻을 수 있었다.

심층신경망 구조에 따른 구개인두부전증 환자 음성 인식 향상 연구 (A study on recognition improvement of velopharyngeal insufficiency patient's speech using various types of deep neural network)

  • 김민석;정재희;정보경;윤기무;배아라;김우일
    • 한국음향학회지
    • /
    • 제38권6호
    • /
    • pp.703-709
    • /
    • 2019
  • 본 논문에서는 구개인두부전증(VeloPharyngeal Insufficiency, VPI) 환자의 음성을 효과적으로 인식하기 위해 컨볼루션 신경망 (Convolutional Neural Network, CNN), 장단기 모델(Long Short Term Memory, LSTM) 구조 신경망을 은닉 마르코프 모델(Hidden Markov Model, HMM)과 결합한 하이브리드 구조의 음성 인식 시스템을 구축하고 모델 적응 기법을 적용하여, 기존 Gaussian Mixture Model(GMM-HMM), 완전 연결형 Deep Neural Network(DNN-HMM) 기반의 음성 인식 시스템과 성능을 비교한다. 정상인 화자가 PBW452단어를 발화한 데이터를 이용하여 초기 모델을 학습하고 정상인 화자의 VPI 모의 음성을 이용하여 화자 적응의 사전 모델을 생성한 후에 VPI 환자들의 음성으로 추가 적응 학습을 진행한다. VPI환자의 화자 적응 시에 CNN-HMM 기반 모델에서는 일부층만 적응 학습하고, LSTM-HMM 기반 모델의 경우에는 드롭 아웃 규제기법을 적용하여 성능을 관찰한 결과 기존 완전 연결형 DNN-HMM 인식기보다 3.68 % 향상된 음성 인식 성능을 나타낸다. 이러한 결과는 본 논문에서 제안하는 LSTM-HMM 기반의 하이브리드 음성 인식 기법이 많은 데이터를 확보하기 어려운 VPI 환자 음성에 대해 보다 향상된 인식률의 음성 인식 시스템을 구축하는데 효과적임을 입증한다.

계층구조 신경망을 이용한 한글 인식 (Hangul Recognition Using a Hierarchical Neural Network)

  • 최동혁;류성원;강현철;박규태
    • 전자공학회논문지B
    • /
    • 제28B권11호
    • /
    • pp.852-858
    • /
    • 1991
  • An adaptive hierarchical classifier(AHCL) for Korean character recognition using a neural net is designed. This classifier has two neural nets: USACL (Unsupervised Adaptive Classifier) and SACL (Supervised Adaptive Classifier). USACL has the input layer and the output layer. The input layer and the output layer are fully connected. The nodes in the output layer are generated by the unsupervised and nearest neighbor learning rule during learning. SACL has the input layer, the hidden layer and the output layer. The input layer and the hidden layer arefully connected, and the hidden layer and the output layer are partially connected. The nodes in the SACL are generated by the supervised and nearest neighbor learning rule during learning. USACL has pre-attentive effect, which perform partial search instead of full search during SACL classification to enhance processing speed. The input of USACL and SACL is a directional edge feature with a directional receptive field. In order to test the performance of the AHCL, various multi-font printed Hangul characters are used in learning and testing, and its processing its speed and and classification rate are compared with the conventional LVQ(Learning Vector Quantizer) which has the nearest neighbor learning rule.

  • PDF

분산 딥러닝에서 통신 오버헤드를 줄이기 위해 레이어를 오버래핑하는 하이브리드 올-리듀스 기법 (Hybrid All-Reduce Strategy with Layer Overlapping for Reducing Communication Overhead in Distributed Deep Learning)

  • 김대현;여상호;오상윤
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제10권7호
    • /
    • pp.191-198
    • /
    • 2021
  • 분산 딥러닝은 각 노드에서 지역적으로 업데이트한 지역 파라미터를 동기화는 과정이 요구된다. 본 연구에서는 분산 딥러닝의 효과적인 파라미터 동기화 과정을 위해, 레이어 별 특성을 고려한 allreduce 통신과 연산 오버래핑(overlapping) 기법을 제안한다. 상위 레이어의 파라미터 동기화는 하위 레이어의 다음 전파과정 이전까지 통신/계산(학습) 시간을 오버랩하여 진행할 수 있다. 또한 이미지 분류를 위한 일반적인 딥러닝 모델의 상위 레이어는 convolution 레이어, 하위 레이어는 fully-connected 레이어로 구성되어 있다. Convolution 레이어는 fully-connected 레이어 대비적은 수의 파라미터를 가지고 있고 상위에 레이어가 위치하므로 네트워크 오버랩 허용시간이 짧고, 이를 고려하여 네트워크 지연시간을 단축할 수 있는 butterfly all-reduce를 사용하는 것이 효과적이다. 반면 오버랩 허용시간이 보다 긴 경우, 네트워크 대역폭을 고려한 ring all-reduce를 사용한다. 본 논문의 제안 방법의 효과를 검증하기 위해 제안 방법을 PyTorch 플랫폼에 적용하여 이를 기반으로 실험 환경을 구성하여 배치크기에 대한 성능 평가를 진행하였다. 실험을 통해 제안 기법의 학습시간은 기존 PyTorch 방식 대비 최고 33% 단축된 모습을 확인하였다.

Enhanced technique for Arabic handwriting recognition using deep belief network and a morphological algorithm for solving ligature segmentation

  • Essa, Nada;El-Daydamony, Eman;Mohamed, Ahmed Atwan
    • ETRI Journal
    • /
    • 제40권6호
    • /
    • pp.774-787
    • /
    • 2018
  • Arabic handwriting segmentation and recognition is an area of research that has not yet been fully understood. Dealing with Arabic ligature segmentation, where the Arabic characters are connected and unconstrained naturally, is one of the fundamental problems when dealing with the Arabic script. Arabic character-recognition techniques consider ligatures as new classes in addition to the classes of the Arabic characters. This paper introduces an enhanced technique for Arabic handwriting recognition using the deep belief network (DBN) and a new morphological algorithm for ligature segmentation. There are two main stages for the implementation of this technique. The first stage involves an enhanced technique of the Sari segmentation algorithm, where a new ligature segmentation algorithm is developed. The second stage involves the Arabic character recognition using DBNs and support vector machines (SVMs). The two stages are tested on the IFN/ENIT and HACDB databases, and the results obtained proved the effectiveness of the proposed algorithm compared with other existing systems.

동물 이미지를 위한 향상된 딥러닝 학습 (An Improved Deep Learning Method for Animal Images)

  • 왕광싱;신성윤;신광성;이현창
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2019년도 제59차 동계학술대회논문집 27권1호
    • /
    • pp.123-124
    • /
    • 2019
  • This paper proposes an improved deep learning method based on small data sets for animal image classification. Firstly, we use a CNN to build a training model for small data sets, and use data augmentation to expand the data samples of the training set. Secondly, using the pre-trained network on large-scale datasets, such as VGG16, the bottleneck features in the small dataset are extracted and to be stored in two NumPy files as new training datasets and test datasets. Finally, training a fully connected network with the new datasets. In this paper, we use Kaggle famous Dogs vs Cats dataset as the experimental dataset, which is a two-category classification dataset.

  • PDF

Cybersecurity Framework for IIoT-Based Power System Connected to Microgrid

  • Jang, Ji Woong;Kwon, Sungmoon;Kim, SungJin;Seo, Jungtaek;Oh, Junhyoung;Lee, Kyung-ho
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권5호
    • /
    • pp.2221-2235
    • /
    • 2020
  • Compared to the past infrastructure networks, the current smart grid network can improve productivity and management efficiency. However, as the Industrial Internet of Things (IIoT) and Internet-based standard communication protocol is used, external network contacts are created, which is accompanied by security vulnerabilities from various perspectives. Accordingly, it is necessary to develop an appropriate cybersecurity guideline that enables effective reactions to cybersecurity threats caused by the abuse of such defects. Unfortunately, it is not easy for each organization to develop an adequate cybersecurity guideline. Thus, the cybersecurity checklist proposed by a government organization is used. The checklist does not fully reflect the characteristics of each infrastructure network. In this study, we proposed a cybersecurity framework that reflects the characteristics of a microgrid network in the IIoT environment, and performed an analysis to validate the proposed framework.

환자모니터링시스템의 개발 : 전체구조 및 기본사양 (Development of a Patient Monitoring System Overall Architecture and Specifications)

  • 우응제;박승훈
    • 대한의용생체공학회:의공학회지
    • /
    • 제18권1호
    • /
    • pp.17-24
    • /
    • 1997
  • We have developed a patient monitoring system including module-based bedside monitors, interbed network, central stations, clinical workstations, and DB servers. A bedside monitor with a color LCD can accommodate up to 3 module cases and 21 different modules. Six different physiological parameters of ECG, respiration, invasive blood pressure, noninvasive blood pressure, body temperature, and arterial pulse oximetry with plethysmoyaph are provided as parameter modules. In a single bedside monitor, modules and a module controller communicate with IMbps data rate through an intrabed network based on RS-485 and HDU protocol. At the same time, it communicates with other bedside monitors and central stations through interbed network based on 1 OMbps Ethernet and TCP/IP protocol. Central stations using 20" color CRT monitors can be connected with many bedside monitors and they display 18 channels of waveforms simultaneously. Clinical workstations are used mainly for the review of patient datE In order to accommodate more advanced data management capabilities such as 24-hour full disclosure, we have developed a relational database server dedicated to the patient monitoring system. Software for bedside monitor, central station, and clinical workstation fully utilizes graphical user interface techniques and all functions are controlled by a rotate/push button on the bedside monitor arid a mouse on the central station and clinical workstation. The entire system satisfies the requirements of AAMI and ANSI standards in terms of electrical safety and performances.nces.

  • PDF