• The Journal of the Convergence on Culture Technology
• /
• v.9 no.1
• /
• pp.649-654
• /
• 2023

This paper proposes the design of a neural network structure search model using graph convolutional neural networks. Deep learning has a problem of not being able to verify whether the designed model has a structure with optimized performance due to the nature of learning as a black box. The neural network structure search model is composed of a recurrent neural network that creates a model and a convolutional neural network that is the generated network. Conventional neural network structure search models use recurrent neural networks, but in this paper, we propose GC-NAS, which uses graph convolutional neural networks instead of recurrent neural networks to create convolutional neural network models. The proposed GC-NAS uses the Layer Extraction Block to explore depth, and the Hyper Parameter Prediction Block to explore spatial and temporal information (hyper parameters) based on depth information in parallel. Therefore, since the depth information is reflected, the search area is wider, and the purpose of the search area of the model is clear by conducting a parallel search with depth information, so it is judged to be superior in theoretical structure compared to GC-NAS. GC-NAS is expected to solve the problem of the high-dimensional time axis and the range of spatial search of recurrent neural networks in the existing neural network structure search model through the graph convolutional neural network block and graph generation algorithm. In addition, we hope that the GC-NAS proposed in this paper will serve as an opportunity for active research on the application of graph convolutional neural networks to neural network structure search.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.16 no.1
• /
• pp.75-80
• /
• 2021

Artificial intelligence is becoming an important part of our lives providing incredible benefits. In this respect, facial expression recognition has been one of the hot topics among computer vision researchers in recent decades. Classifying small dataset of low resolution images requires the development of a new small scale deep CNN model. To do this, we propose a method suitable for small datasets. Compared to the traditional deep CNN models, this model uses only a fraction of the memory in terms of total learnable weights, but it shows very similar results for the FER2013 and FERPlus datasets.

• Journal of Convergence for Information Technology
• /
• v.8 no.6
• /
• pp.375-380
• /
• 2018

This paper proposes a classification method using the Convolutional Neural Network(CNN) which can obtain the type of trucks from the input image without the feature extraction step. To automatically classify vehicle images according to the type of truck cargo box, the top view images of the vehicle are used as input image and we design the structure of the CNN suitable for the input images. Learning images and correct output results is generated and the weights of neural network are obtained through the learning process. The actual image is input to the CNN and the output of the CNN is calculated. The classification performance is evaluated through comparison CNN output with actual vehicle types. Experimental results show that vehicle images could be classified with more than 90 percent accuracy according to the type of cargo box and this method can be used for pre-classification for inspecting loading defect.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2021.06a
• /
• pp.246-246
• /
• 2021

본 연구는 강우 발생시 유량을 추정하는 것에 목적이 있다. 이를 위해 본 연구는 선행연구의 모형 개발방법론에서 벗어나 딥러닝 알고리즘 중 하나인 합성곱 신경망 (convolution neural network)과 수문학적 이미지 (hydrological image)를 이용하여 강우 발생시 유량을 추정하였다. 합성곱 신경망은 일반적으로 분류 문제 (classification)을 해결하기 위한 목적으로 개발되었기 때문에 불특정 연속변수인 유량을 모의하기에는 적합하지 않다. 이를 위해 본 연구에서는 합성곱 신경망의 완전 연결층 (Fully connected layer)를 개선하여 연속변수를 모의할 수 있도록 개선하였다. 대부분 합성곱 신경망은 RGB (red, green, blue) 사진 (photograph)을 이용하여 해당 사진이 나타내는 것을 예측하는 목적으로 사용하지만, 본 연구의 경우 일반 RGB 사진을 이용하여 유출량을 예측하는 것은 경험적 모형의 전제(독립변수와 종속변수의 관계)를 무너뜨리는 결과를 초래할 수 있다. 이를 위해 본 연구에서는 임의의 유역에 대해 2차원 공간에서 무차원의 수문학적 속성을 갖는 grid의 집합으로 정의되는 수문학적 이미지는 입력자료로 활용했다. 합성곱 신경망의 구조는 Convolution Layer와 Pulling Layer가 5회 반복하는 구조로 설정하고, 이후 Flatten Layer, 2개의 Dense Layer, 1개의 Batch Normalization Layer를 배열하고, 다시 1개의 Dense Layer가 이어지는 구조로 설계하였다. 마지막 Dense Layer의 활성화 함수는 분류모형에 이용되는 softmax 또는 sigmoid 함수를 대신하여 회귀모형에서 자주 사용되는 Linear 함수로 설정하였다. 이와 함께 각 층의 활성화 함수는 정규화 선형함수 (ReLu)를 이용하였으며, 모형의 학습 평가 및 검정을 판단하기 위해 MSE 및 MAE를 사용했다. 또한, 모형평가는 NSE와 RMSE를 이용하였다. 그 결과, 모형의 학습 평가에 대한 MSE는 11.629.8 m3/s에서 118.6 m3/s로, MAE는 25.4 m3/s에서 4.7 m3/s로 감소하였으며, 모형의 검정에 대한 MSE는 1,997.9 m3/s에서 527.9 m3/s로, MAE는 21.5 m3/s에서 9.4 m3/s로 감소한 것으로 나타났다. 또한, 모형평가를 위한 NSE는 0.7, RMSE는 27.0 m3/s로 나타나, 본 연구의 모형은 양호(moderate)한 것으로 판단하였다. 이에, 본 연구를 통해 제시된 방법론에 기반을 두어 CNN 모형 구조의 확장과 수문학적 이미지의 개선 또는 새로운 이미지 개발 등을 추진할 경우 모형의 예측 성능이 향상될 수 있는 여지가 있으며, 원격탐사 분야나, 위성 영상을 이용한 전 지구적 또는 광역 단위의 실시간 유량 모의 분야 등으로의 응용이 가능할 것으로 기대된다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2021.06a
• /
• pp.444-444
• /
• 2021

하천의 오염부하량 관리 계획은 지속적인 모니터링을 통한 자료 구축과 모형을 이용한 예측결과를 기반으로 수립된다. 하천의 모니터링과 예측 분석은 많은 예산과 인력 등이 필요하나, 정부의 담당 공무원 수는 극히 부족한 상황이 일반적이다. 이에 정부는 전문가에게 관련 용역을 의뢰하지만, 한국과 같이 지형이 복잡한 지역에서의 오염부하량 배출 특성은 각각 다르게 나타나기 때문에 많은 예산 소모가 발생 된다. 이를 개선하고자, 본 연구는 합성곱 신경망 (convolution neural network)과 수문학적 이미지 (hydrological image)를 이용하여 강우 발생시 BOD 및 총인의 부하량 예측 모형을 개발하였다. 합성곱 신경망의 입력자료는 일반적으로 RGB (red, green, bule) 사진을 이용하는데, 이를 그래도 오염부하량 예측에 활용하는 것은 경험적 모형의 전제(독립변수와 종속변수의 관계)를 무너뜨리는 결과를 초래할 수 있다. 이에, 본 연구에서는 오염부하량이 수문학적 조건과 토지이용 등의 변수에 의해 결정된다는 인과관계를 만족시키고자 수문학적 속성이 내재된 수문학적 이미지를 합성곱 신경망의 훈련자료로 사용하였다. 수문학적 이미지는 임의의 유역에 대해 2차원 공간에서 무차원의 수문학적 속성을 갖는 grid의 집합으로 정의되는데, 여기서 각 grid의 수문학적 속성은 SCS 토양보존국(soil conservation service, SCS)에서 발표한 수문학적 토양피복형수 (curve number, CN)를 이용하여 산출한다. 합성곱 신경망의 구조는 2개의 Convolution Layer와 1개의 Pulling Layer가 5회 반복하는 구조로 설정하고, 1개의 Flatten Layer, 3개의 Dense Layer, 1개의 Batch Normalization Layer를 배열하고, 마지막으로 1개의 Dense Layer가 연결되는 구조로 설계하였다. 이와 함께, 각 층의 활성화 함수는 정규화 선형함수 (ReLu)로, 마지막 Dense Layer의 활성화 함수는 연속변수가 도출될 수 있도록 회귀모형에서 자주 사용되는 Linear 함수로 설정하였다. 연구의 대상지역은 경기도 가평군 조종천 유역으로 선정하였고, 연구기간은 2010년 1월 1일부터 2019년 12월 31일까지로, 2010년부터 2016년까지의 자료는 모형의 학습에, 2017년부터 2019년까지의 자료는 모형의 성능평가에 활용하였다. 모형의 예측 성능은 모형효율계수 (NSE), 평균제곱근오차(RMSE) 및 평균절대백분율오차(MAPE)를 이용하여 평가하였다. 그 결과, BOD 부하량에 대한 NSE는 0.9, RMSE는 1031.1 kg/day, MAPE는 11.5%로 나타났으며, 총인 부하량에 대한 NSE는 0.9, RMSE는 53.6 kg/day, MAPE는 17.9%로 나타나 본 연구의 모형은 우수(good)한 것으로 판단하였다. 이에, 본 연구의 모형은 일반 ANN 모형을 이용한 선행연구와는 달리 2차원 공간정보를 반영하여 오염부하량 모의가 가능했으며, 제한적인 입력자료를 이용하여 간편한 모델링이 가능하다는 장점을 나타냈다. 이를 통해 정부의 물관리 정책을 위한 의사결정 및 부족한 물관리 분야의 행정력에 도움이 될 것으로 생각된다.

• Composites Research
• /
• v.36 no.1
• /
• pp.48-52
• /
• 2023

Fiber-reinforced composites have anisotropic material properties, so the mechanical properties of composite structures can vary depending on the stacking sequence. Therefore, it is essential to design the proper stacking sequence of composite structures according to the functional requirements. However, depending on the manufacturing condition or the shape of the structure, there are many cases where the designed stacking angle is out of range, which can affect structural performance. Accordingly, it is important to analyze the stacking angle in order to confirm that the composite structure is correctly fabricated as designed. In this study, the stacking angle was predicted from real cross-sectional images of fiber-reinforced composites using convolutional neural network (CNN)-based deep learning. Carbon fiber-reinforced composite specimens with several stacking angles were fabricated and their cross-sections were photographed on a micro-scale using an optical microscope. The training was performed for a CNN-based deep learning model using the cross-sectional image data of the composite specimens. As a result, the stacking angle can be predicted from the actual cross-sectional image of the fiber-reinforced composite with high accuracy.

• Journal of IKEEE
• /
• v.25 no.4
• /
• pp.664-671
• /
• 2021

This paper proposes a GPGPU structure that can reduce the number of operations and memory access by effectively applying a data reuse method to a convolutional neural network(CNN). Convolution is a two-dimensional operation using kernel and input data, and the operation is performed by sliding the kernel. In this case, a reuse method using an internal register is proposed instead of loading kernel from a cache memory until the convolution operation is completed. The serial operation method was applied to the convolution to increase the effect of data reuse by using the principle of GPGPU in which instructions are executed by the SIMT method. In this paper, for register-based data reuse, the kernel was fixed at 4×4 and GPGPU was designed considering the warp size and register bank to effectively support it. To verify the performance of the designed GPGPU on the CNN, we implemented it as an FPGA and then ran LeNet and measured the performance on AlexNet by comparison using TensorFlow. As a result of the measurement, 1-iteration learning speed based on AlexNet is 0.468sec and the inference speed is 0.135sec.

• Journal of the Computational Structural Engineering Institute of Korea
• /
• v.36 no.4
• /
• pp.221-232
• /
• 2023

This paper presents a novel convolutional neural network (CNN)-based approach for predicting bolt clamping force in the early bolt loosening state of bolted structures. The approach entails tightening eight bolts with different clamping forces and generating frequency responses, which are then used to create a similarity map. This map quantifies the magnitude and shape similarity between the frequency responses and the initial model in a fully fastened state. Krylov subspace-based model order reduction is employed to efficiently handle the large amount of frequency response data. The CNN model incorporates a regression output layer to predict the clamping forces of the bolts. Its performance is evaluated by training the network by using various amounts of training data and convolutional layers. The input data for the model are derived from the magnitude and shape similarity map obtained from the frequency responses. The results demonstrate the diagnostic potential and effectiveness of the proposed approach in detecting early bolt loosening. Accurate bolt clamping force predictions in the early loosening state can thus be achieved by utilizing the frequency response data and CNN model. The findings afford valuable insights into the application of CNNs for assessing the integrity of bolted structures.

• Journal of Broadcast Engineering
• /
• v.26 no.2
• /
• pp.167-174
• /
• 2021

Recently, deep learning technology is widely used in various computer vision applications, such as object recognition, classification, and image generation. In particular, the deep learning-based super-resolution has been gaining significant performance improvement. Fast super-resolution convolutional neural network (FSRCNN) is a well-known model as a deep learning-based super-resolution algorithm that output image is generated by a deconvolutional layer. In this paper, we propose an FPGA-based convolutional neural networks accelerator that considers parallel computing efficiency. In addition, the proposed method proposes Optimal-FSRCNN, which is modified the structure of FSRCNN. The number of multipliers is compressed by 3.47 times compared to FSRCNN. Moreover, PSNR has similar performance to FSRCNN. We developed a real-time image processing technology that implements on FPGA.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.07a
• /
• pp.667-669
• /
• 2021

본 논문에서는 벡터 기반 데이터 증강 기법(Data augmentation)을 제안하여 학습 데이터를 구축한 뒤, 이를 합성곱 신경망(Convolutional Neural Networks, CNN)으로 실제 균열과 가까운 패턴을 표현할 수 있는 프레임워크를 제안한다. 건축물의 균열은 인명 피해를 가져오는 건물 붕괴와 낙하 사고를 비롯한 큰 사고의 원인이다. 이를 인공지능으로 해결하기 위해서는 대량의 데이터 확보가 필수적이다. 하지만, 실제 균열 이미지는 복잡한 패턴을 가지고 있을 뿐만 아니라, 위험한 상황에 노출되기 때문에 대량의 데이터를 확보하기 어렵다. 이러한 데이터베이스 구축의 문제점은 인위적으로 특정 부분에 변형을 주어 데이터양을 늘리는 탄성왜곡(Elastic distortion) 기법으로 해결할 수 있지만, 본 논문에서는 이보다 향상된 균열 패턴 결과를 CNN을 활용하여 보여준다. 탄성왜곡 기법보다 CNN을 이용했을 때, 실제 균열 패턴과 유사하게 추출된 결과를 얻을 수 있었고, 일반적으로 사용되는 픽셀 기반 데이터가 아닌 벡터 기반으로 데이터 증강을 설계함으로써 균열의 변화량 측면에서 우수함을 보였다. 본 논문에서는 적은 개수의 균열 데이터를 입력으로 사용했음에도 불구하고 균열의 방향 및 패턴을 다양하게 생성하여 쉽게 균열 데이터베이스를 구축할 수 있었다. 이는 장기적으로 구조물의 안정성 평가에 이바지하여 안전사고에 대한 불안감에서 벗어나 더욱 안전하고 쾌적한 주거 환경을 조성할 것으로 기대된다.