• 제목/요약/키워드: ReLU layer

검색결과 20건 처리시간 0.026초

몰포러지 신경망 기반 딥러닝 시스템 (Deep Learning System based on Morphological Neural Network)

  • 최종호
    • 한국정보전자통신기술학회논문지
    • /
    • 제12권1호
    • /
    • pp.92-98
    • /
    • 2019
  • 본 논문에서는 몰포러지 연산을 기본으로 하는 몰포러지 신경망(MNN: Morphological Neural Network) 기반 딥러닝 시스템을 제안하였다. 딥러닝에 사용되는 레이어는 몰포러지 레이어, 풀링 레이어, ReLU 레이어, Fully connected 레이어 등이다. 몰포러지 레이어에서 사용되는 연산은 에로전, 다이레이션, 에지검출 등이다. 본 논문에서 새롭게 제안한 MNN은 기존의 CNN(Convolutional Neural Network)을 이용한 딥러닝 시스템과는 달리 히든 레이어의 수와 각 레이어에 적용되는 커널 수가 제한적이다. 레이어 단위 처리시간이 감소하고, VLSI 칩 설계가 용이하다는 장점이 있으므로 모바일 임베디드 시스템에 딥러닝을 다양하게 적용할 수 있다. MNN에서는 제한된 수의 커널로 에지와 형상검출 등의 연산을 수행하기 때문이다. 데이터베이스 영상을 대상으로 행한 실험을 통해 MNN의 성능 및 딥러닝 시스템으로의 활용 가능성을 확인하였다.

내부 FC층을 갖는 새로운 CNN 구조의 설계 (Design of new CNN structure with internal FC layer)

  • 박희문;박성찬;황광복;최영규;박진현
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2018년도 춘계학술대회
    • /
    • pp.466-467
    • /
    • 2018
  • 최근 이미지 인식, 영상 인식, 음성 인식, 자연어 처리 등 다양한 분야에 인공지능이 적용되면서 딥러닝(Deep learning) 기술에 관한 관심이 높아지고 있다. 딥러닝 중에서도 가장 대표적인 알고리즘으로 이미지 인식 및 분류에 강점이 있고 각 분야에 많이 쓰이고 있는 CNN(Convolutional Neural Network)에 대한 많은 연구가 진행되고 있다. 본 논문에서는 일반적인 CNN 구조를 변형한 새로운 네트워크 구조를 제안하고자 한다. 일반적인 CNN 구조는 convolution layer, pooling layer, fully-connected layer로 구성된다. 그러므로 본 연구에서는 일반적인 CNN 구조 내부에 FC를 첨가한 새로운 네트워크를 구성하고자 한다. 이러한 변형은 컨볼루션된 이미지에 신경회로망이 갖는 장점인 일반화 기능을 포함시켜 정확도를 올리고자 한다.

  • PDF

다각형 용기의 품질 향상을 위한 딥러닝 구조 개발 (Development of Deep Learning Structure to Improve Quality of Polygonal Containers)

  • 윤석문;이승호
    • 전기전자학회논문지
    • /
    • 제25권3호
    • /
    • pp.493-500
    • /
    • 2021
  • 본 논문에서는 다각형 용기의 품질 향상을 위한 딥러닝 구조 개발을 제안한다. 딥러닝 구조는 convolution 층, bottleneck 층, fully connect 층, softmax 층 등으로 구성된다. Convolution 층은 입력 이미지 또는 이전 층의 특징 이미지를 여러 특징 필터와 convolution 3x3 연산하여 특징 이미지를 얻어 내는 층이다. Bottleneck 층은 convolution 층을 통해 추출된 특징 이미지상의 특징들 중에서 최적의 특징들만 선별하여 convolution 1x1 ReLU로 채널을 감소시키고convolution 3x3 ReLU를 실시한다. Bottleneck 층을 거친 후에 수행되는 global average pooling 연산과정은 convolution 층을 통해 추출된 특징 이미지의 특징들 중에서 최적의 특징들만 선별하여 특징 이미지의 크기를 감소시킨다. Fully connect 층은 6개의 fully connect layer를 거쳐 출력 데이터가 산출된다. Softmax 층은 입력층 노드의 값과 연산을 진행하려는 목표 노드 사이의 가중치와 곱을 하여 합하고 활성화 함수를 통해 0~1 사이의 값으로 변환한다. 학습이 완료된 후에 인식 과정에서는 학습 과정과 마찬가지로 카메라를 이용한 이미지 획득, 측정 위치 검출, 딥러닝을 활용한 비원형 유리병 분류 등을 수행하여 비원형 유리병을 분류한다. 제안된 다각형 용기의 품질 향상을 위한 딥러닝 구조의 성능을 평가하기 위하여 공인시험기관에서 실험한 결과, 양품/불량 판별 정확도 99%로 세계최고 수준과 동일한 수준으로 산출되었다. 검사 소요 시간은 평균 1.7초로 비원형 머신비전 시스템을 사용하는 생산 공정의 가동 시간 기준 내로 산출되었다. 따라서 본 본문에서 제안한 다각형 용기의 품질 향상을 위한 딥러닝 구조의 성능의 그 효용성이 입증되었다.

활성화 함수에 따른 유출량 산정 인공신경망 모형의 성능 비교 (Comparison of Artificial Neural Network Model Capability for Runoff Estimation about Activation Functions)

  • 김마가;최진용;방재홍;윤푸른;김귀훈
    • 한국농공학회논문집
    • /
    • 제63권1호
    • /
    • pp.103-116
    • /
    • 2021
  • Analysis of runoff is substantial for effective water management in the watershed. Runoff occurs by reaction of a watershed to the rainfall and has non-linearity and uncertainty due to the complex relation of weather and watershed factors. ANN (Artificial Neural Network), which learns from the data, is one of the machine learning technique known as a proper model to interpret non-linear data. The performance of ANN is affected by the ANN's structure, the number of hidden layer nodes, learning rate, and activation function. Especially, the activation function has a role to deliver the information entered and decides the way of making output. Therefore, It is important to apply appropriate activation functions according to the problem to solve. In this paper, ANN models were constructed to estimate runoff with different activation functions and each model was compared and evaluated. Sigmoid, Hyperbolic tangent, ReLU (Rectified Linear Unit), ELU (Exponential Linear Unit) functions were applied to the hidden layer, and Identity, ReLU, Softplus functions applied to the output layer. The statistical parameters including coefficient of determination, NSE (Nash and Sutcliffe Efficiency), NSEln (modified NSE), and PBIAS (Percent BIAS) were utilized to evaluate the ANN models. From the result, applications of Hyperbolic tangent function and ELU function to the hidden layer and Identity function to the output layer show competent performance rather than other functions which demonstrated the function selection in the ANN structure can affect the performance of ANN.

Discernment of Android User Interaction Data Distribution Using Deep Learning

  • Ho, Jun-Won
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제14권3호
    • /
    • pp.143-148
    • /
    • 2022
  • In this paper, we employ deep neural network (DNN) to discern Android user interaction data distribution from artificial data distribution. We utilize real Android user interaction trace dataset collected from [1] to evaluate our DNN design. In particular, we use sequential model with 4 dense hidden layers and 1 dense output layer in TensorFlow and Keras. We also deploy sigmoid activation function for a dense output layer with 1 neuron and ReLU activation function for each dense hidden layer with 32 neurons. Our evaluation shows that our DNN design fulfills high test accuracy of at least 0.9955 and low test loss of at most 0.0116 in all cases of artificial data distributions.

딥러닝 학습에서 최적의 알고리즘과 뉴론수 탐색 (Optimal Algorithm and Number of Neurons in Deep Learning)

  • 장하영;유은경;김혁진
    • 디지털융복합연구
    • /
    • 제20권4호
    • /
    • pp.389-396
    • /
    • 2022
  • 딥러닝(Deep Learning)은 퍼셉트론을 기반으로 하고 있으며 현재에는 이미지 인식, 음성 인식, 객체 검출 및 약물 개발 등과 같은 다양한 영역에서 사용되고 있다. 이에 따라 학습 알고리즘이 다양하게 제안되었고 신경망을 구성하는 뉴런수도 연구자마다 많은 차이를 보이고 있다. 본 연구는 현재 대표적으로 사용되고 있는 확률적 경사하강법(SGD), 모멘텀법(Momentum), AdaGrad, RMSProp 및 Adam법의 뉴런수에 따른 학습 특성을 분석하였다. 이를 위하여 1개의 입력층, 3개의 은닉층, 1개의 출력층으로 신경망을 구성하였고 활성화함수는 ReLU, 손실 함수는 교차 엔트로피 오차(CEE)를 적용하였고 실험 데이터셋은 MNIST를 사용하였다. 그 결과 뉴런수는 100~300개, 알고리즘은 Adam, 학습횟수(iteraction)는 200회가 딥러닝 학습에서 가장 효율적일 것으로 결론을 내렸다. 이러한 연구는 향후 새로운 학습 데이터가 주어졌을 경우 개발될 알고리즘과 뉴런수의 기준치에 함의를 제공할 것이다.

Efficiency of an SCM415 Alloy Surface Layer Implanted with Nitrogen Ions by Plasma Source Ion Implantation

  • Lyu, Sung-Ki;He, Hui-Bo;Lu, Long;Youn, Il-Joong
    • International Journal of Precision Engineering and Manufacturing
    • /
    • 제7권4호
    • /
    • pp.47-50
    • /
    • 2006
  • SCM415 alloy was implanted with nitrogen ions using plasma source ion implantation (PSII), at a dose range of $1{\times}10^{17}\;to\;6{\times}10^{17}\;N^+cm^{-2}$ Auger electron spectrometry (AES) was used to investigate the depth profile of the implanted layer. Friction and wear tests were carried out on a block-on-ring wear tester. Scanning electron microscopy (SEM) was used to observe the micro-morphology of the worn surface. The results revealed that after being implanted with nitrogen ions, the frictional coefficient of the surface layer decreased, and the wear resistance increased with the nitrogen dose. The tribological mechanism was mainly adhesive, and the adhesive wear tended to become weaker oxidative wear with the increase in the nitrogen dose. The effects were mainly attributed to the formation of a hard nitride precipitate and a supersaturated solid solution of nitrogen in the surface layer.

C-N 코팅 스퍼기어의 마찰${\cdot}$마모 특성에 관한 연구 (A Study on the Friction and Wear Characteristics of C-N Coated Spur Gear)

  • 노용;류성기
    • 한국윤활학회:학술대회논문집
    • /
    • 한국윤활학회 2004년도 학술대회지
    • /
    • pp.41-46
    • /
    • 2004
  • This study deals with the friction and wear characteristics of C-N coated spur gear. The PSII apparatus was built and a SCM415 test piece and test gear with steel substrate was treated with carbon nitrogen by this apparatus. The composition and structure of the surface layer were analyzed and compared with that of PVD coated TiN layer. It was found that both of friction coefficients of C-N coating and TiN coaling decreased with increasing load, however, C-N coating showed relatively lower friction coefficient than that of TiN coating. We was investigated the effect of C-N coating on hardness, friction and wear. The TiN coated gear showed more serious friction phenomena than that of C-N coated gear. It was considered that coating of TiN, which was conducted at a vacuum chamber at about $500^{\circ}C$ results in a tempering of base material that causes microstructure change, which in turn resulted in decreasing of hardness. The C-N coated gear and pinion had higher wear resistance that of TiN coated gear and pinion. C-N coating significantly improved the friction and wear resistance of the gear.

  • PDF

치주질환 예측을 위한 치과 X-선 영상에서의 초해상화 알고리즘 적용 가능성 연구 (Investigation of the Super-resolution Algorithm for the Prediction of Periodontal Disease in Dental X-ray Radiography)

  • 김한나
    • 한국방사선학회논문지
    • /
    • 제15권2호
    • /
    • pp.153-158
    • /
    • 2021
  • 치주질환의 조기 진단률 및 예측 정확도 향상을 위한 X-선 영상 분석은 매우 중요한 분야이다. 이러한 치과 X-선 영상의 화질 개선을 위한 인공 지능 기반의 알고리즘 개발 및 적용에 관한 연구는 전 세계적으로 널리 수행 중이다. 따라서 본 연구의 목표는 치주질환 예측을 위한 치과 X-선 영상에서의 초해상화 알고리즘의 모델링 및 적용 가능성에 관하여 평가하는 것이다. 초해상화 알고리즘은 convolution layer와 ReLU를 기반으로 구성하였고, 저해상도 영상을 2배로 업샘플링 한 영상을 입력으로 사용하였다. 딥러닝 훈련을 위해 사용한 치과 X-선 데이터는 1,500장을 사용하였다. 영상의 정량적 평가는 2가지 영상의 비교를 통해 유사도를 측정할 수 있는 인자인 root mean square error와 structural similarity를 사용하였다. 이와 더불어 최근에 개발된 no-reference 기반으로 사용되는 natural image quality evaluator 와 blind/referenceless image spatial quality evaluator를 추가적으로 분석하였다. 결과적으로 기존에 사용되던 bicubic 기반의 업샘플링 기법을 사용하였을 때에 비하여 제안하는 방법이 치과 X-선 영상에서 평균적으로 유사도와 no-reference 기반의 평가 인자가 각각 1.86 그리고 2.14배 향상됨을 확인하였다. 결론적으로 치주질환의 예측을 위한 초해상화 알고리즘의 치과 X-선 영상에서의 유용성을 증명하였고 향후 다양한 분야에서의 적용 가능성이 높을 것으로 기대된다.

Full-scale tests and analytical model of the Teflon-based lead rubber isolation bearings

  • Wang, Lu;Oua, Jin;Liu, Weiqing;Wang, Shuguang
    • Structural Engineering and Mechanics
    • /
    • 제48권6호
    • /
    • pp.809-822
    • /
    • 2013
  • Base isolation is widely used in seismic resisting buildings due to its low construction cost, high reliability, mature theory and convenient usage. However, it is difficult to design the isolation layer in high-rise buildings using the available bearings because high-rise buildings are characterized with long period, low horizontal stiffness, and complex re-distribution of the internal forces under earthquake loads etc. In this paper, a simple and innovative isolation bearing, named Teflon-based lead rubber isolation bearing, is developed to address the mentioned problems. The Teflon-based lead rubber isolation bearing consists of friction material and lead rubber isolation bearing. Hence, it integrates advantages of friction bearings and lead rubber isolation bearings so that improves the stability of base isolation system. An experimental study was conducted to validate the effectiveness of this new bearing. The effects of vertical loading, displacement amplitude and loading frequency on the force-displacement relationship and energy dissipation capacity of the Teflon-based lead rubber isolation bearing were studied. An analytical model was also proposed to predict the force-displacement relationship of the new bearing. Comparison of analytical and experimental results showed that the analytical model can accurately predict the force-displacement relationship and elastic shear deflection of the Teflon-based lead rubber isolation bearings.