• Journal of Digital Contents Society
• /
• v.18 no.5
• /
• pp.969-976
• /
• 2017

This paper proposes the learning method of an artificial neural network and a convolutional neural network using the WFSO algorithm developed as an optimization algorithm. Since the optimization algorithm searches based on a number of candidate solutions, it has a drawback in that it is generally slow, but it rarely falls into the local optimal solution and it is easy to parallelize. In addition, the artificial neural networks with non-differentiable activation functions can be trained and the structure and weights can be optimized at the same time. In this paper, we describe how to apply WFSO algorithm to artificial neural network learning and compare its performances with error back-propagation algorithm in multilayer artificial neural networks and convolutional neural networks.

• Journal of Practical Engineering Education
• /
• v.13 no.2
• /
• pp.233-242
• /
• 2021

In this paper, as a liberal arts course for non-majors, we proposed a supervised learning artificial neural network parameter optimization method and a basic education method for activation function to design a basic artificial neural network subject curriculum. For this, a method of finding a parameter optimization solution in a spreadsheet without programming was applied. Through this training method, you can focus on the basic principles of artificial neural network operation and implementation. And, it is possible to increase the interest and educational effect of non-majors through the visualized data of the spreadsheet. The proposed contents consisted of artificial neurons with sigmoid and ReLU activation functions, supervised learning data generation, supervised learning artificial neural network configuration and parameter optimization, supervised learning artificial neural network implementation and performance analysis using spreadsheets, and education satisfaction analysis. In this paper, considering the optimization of negative parameters for the sigmoid neural network and the ReLU neuron artificial neural network, we propose a training method for the four performance analysis results on the parameter optimization of the artificial neural network, and conduct a training satisfaction analysis.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.10a
• /
• pp.699-701
• /
• 2018

본 연구는 인공 신경망 '추론'과정에서 연산량을 줄이는 아이디어를 고안했고, 이를 구현하여 기존 알고리즘과 성능을 비교 분석하였다. 특정 데이터 셋에 대한 실험을 통해 ReLU(Rectified Linear Unit) 함수의 결과를 분석했고, 그 결과를 통해 ReLU 함수의 결과가 예측가능함을 확인했다. 또한 인공 신경망 알고리즘에 ReLU 함수의 결과 예측 기법을 적용하여 인공 신경망 추론과정을 최적화했다. 이 아이디어를 기반으로 구현된 인공 신경망은 기존 아이디어로 구현된 인공 신경망에 비해 약 3배 빠른 성능을 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.05a
• /
• pp.479-481
• /
• 2019

본 연구에서는 이미지를 분류하는 인공 신경망 가속기를 최적화했고, 이를 구현하여 기존 인공 신경망 가속기와 성능을 비교 분석했다. FPGA(Field Programmable Fate Array) 보드를 이용하여 가속기를 구현했으며, 해당 보드의 내부 메모리인 BRAM 을 FIFO(First In First Out)구조로 설계하여 메모리 시스템을 구현했다. Approximate computing 기법을 효율적으로 적용하기 위해 FWL(Fractional Word Length)최적점을 분석했고, 이를 기반으로 인공 신경망 가속기의 부동 소수점 연산을 고정 소수점 연산으로 변환했다. 구현된 인공 신경망 가속기는 기존의 인공 신경망에 비해, 약 7.4%더 효율적인 전력소모량을 보였다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2010.05a
• /
• pp.1159-1163
• /
• 2010

최근의 극심한 기상이변으로 인하여 발생되는 유출량의 예측에 관한 사항은 치수 이수는 물론 방재의 측면에서도 역시 매우 중요한 관심사로 부각되고 있다. 강우-유출 관계는 유역의 수많은 시 공간적 변수들에 의해 영향을 받기 때문에 매우 복잡하여 예측하기 힘든 요소이다. 과거에는 추계학적 예측모형이나 확정론적 예측모형 혹은 경험적 모형 등을 사용하여 유출량을 예측하였으나 최근에는 인공신경망과 퍼지모형 그리고 유전자 알고리즘과 같은 인공지능기반의 모형들이 많이 사용되고 있다. 하지만 유출량을 예측하고자 할 때 학습자료 및 검정자료로써 사용되는 유출량은 수위-유량 관계곡선식으로부터 구하는 경우가 대부분으로 이렇게 유도된 유출량의 경우 오차가 크기 때문에 그 신뢰성에 문제가 있을 것으로 판단된다. 따라서 본 논문에서는 선행우량 및 수위자료로부터 단시간 수위예측에 관해 연구하였다. 신경망은 과거자료의 입 출력 패턴에서 정보를 추출하여 지식으로 보유하고, 이를 근거로 새로운 상황에 대한 해답을 제시하도록 하는 인공지능분야의 학습기법으로 인간이 과거의 경험과 훈련으로 지식을 축적하듯이 시스템의 입 출력에 의하여 연결강도를 최적화함으로서 모형의 구조를 스스로 조직화하기 때문에 모형의 구조에 적합한 최적 매개변수를 추정할 수 있다. 따라서 정확한 예측이 어려운 하천수위를 과거의 자료로 부터 학습된 신경망의 수학적 알고리즘을 통해 유출량의 예측에 적용할 수 있을 것이다. 유전자 알고리즘은 적자생존의 생물학 원리에 바탕을 둔 최적화 기법중의 하나로 자연계의 생명체 중 환경에 잘 적응한 개체가 좀 더 많은 자손을 남길 수 있다는 자연선택 과정과 유전자의 변화를 통해서 좋은 방향으로 발전해 나간다는 자연 진화의 과정인 자연계의 유전자 메커니즘에 바탕을 둔 탐색 알고리즘이다. 즉, 자연계의 유전과 진화 메커니즘을 공학적으로 모델화함으로써 잠재적인 해의 후보들을 모아 군집을 형성한 뒤 서로간의 교배 혹은 변이를 통해서 최적 해를 찾는 계산 모델이다. 따라서 본 연구에서는 인공신경망의 가중치를 유전자 알고리즘에 의해 최적화시킨후 오류역전파알고리즘에 의해 신경망의 학습을 진행하는 모형으로 감천유역의 선산수위표지점의 수위를 1시간~6시간까지 예측하였다.

• Bulletin of the Society of Naval Architects of Korea
• /
• v.31 no.1
• /
• pp.39-42
• /
• 1994

인공 신경망은 빠른 속도와 안정성 등의 많은 장점을 갖고 있기 때문에 최근 들어서 여러 분야 에서 그 응용이 활발히 연구되고 있다. 인공 신경망의 한 모델인 홉필드 네트워크는 네트워크의 에너지를 최소화시키는 방향으로 네트워크의 상태를 바꾸며, 최소 에너지 상태에서 안정 상태를 유지하는 특징을 갖고 있다. 이러한 흡필드 네트워크의 특징은 흡필드 네트워크를 최적화 문 제에 적용시킬 수 있는 가능성을 제시하고 있다. 기존의 최적화 기법은 기본적으로 국부적인 탐색 기법을 사용하기 때문에, 전역적 최적해를 구하기 위해 초기점을 달리하여 여러번 계산을 수행하여 그 중 가장 좋은 결과를 취하는 방법을 사용하여야 한다. 따라서 이러한 방법은 초 기점의 선택이 결과에 큰 영향을 미치게 되는데, 설계 변수가 많고 제한 조건이 복잡할 경우 초기점 선택에 어려움이 따른다. 본 연구에서는 흡필드 네트워크와 시뮬레이티드 어닐링을 결 합하여 전역적 최적해를 찾는 기법으로서 뉴드-옵티마이저 모델을 제시하고 있다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2017.05a
• /
• pp.170-170
• /
• 2017

본 연구의 목표는 극한 지역의 대비 시스템을 구축하기 위하여 인공 신경망(Artificial Neural Networks)을 이용하여 보다 관측하기 쉬운 기상 인자들로부터 적설량을 실시간 측정 가능성을 제시하는 것이다. 본 연구에서 사용한 데이터베이스는 기상청의 기상자료개방포털에서 사람이 직접 측정한 종관기상관측의 자료다. 이 중에서 일최대 기온, 일최저 기온, 일평균 기온, 강수량을 사용하여 오차를 줄여나가는 최적화방법으로 인공 신경망 시스템을 설계하였다. 설계된 시스템으로 500회 시뮬레이션한 연구 결과는 상관계수가 적설량 측정에 대한 인공 신경망의 크기(노드의 개수)와 관계없이 평균적으로 0.8627인 것을 보여준다. 추가적으로 보조 입력 값인 고도를 사용한 결과, 성능은 좋아졌지만 상관계수의 차이는 평균 0.0044로 미세했다. 또한 Cross-Validation을 통해 기존의 보간법인 Kriging기법과 비교하여 미 관측 지역에서 인공 신경망(ANNs) 사용이 Kriging기법 보다 우수하다는 것을 2차원 Regression's map을 통해 나타냈다. 마지막으로 오차가 크게 발생했을 경우 보안할 수 있는 확률적인 방안을 제시하였다.

• Journal of The Korean Association of Information Education
• /
• v.25 no.5
• /
• pp.791-801
• /
• 2021

In this paper, an educational case that can be applied as artificial intelligence literacy education for preservice teachers and incumbent teachers was studied. To this end, a case of educating the operating principle of an artificial neural network that recognizes images is proposed. This training case focuses on the basic principles of artificial neural network operation and implementation, and applies the method of finding parameter optimization solutions required for artificial neural network implementation in a spreadsheet. In this paper, we focused on the artificial neural network of supervised learning method. First, as an artificial neural network principle education case, an artificial neural network education case for recognizing two types of images was proposed. Second, as an artificial neural network extension education case, an artificial neural network education case for recognizing three types of images was proposed. Finally, the results of analyzing artificial neural network training cases and training satisfaction analysis results are presented. Through the proposed training case, it is possible to learn about the operation principle of artificial neural networks, the method of writing training data, the number of parameter calculations executed according to the amount of training data, and parameter optimization. The results of the education satisfaction survey for preservice teachers and incumbent teachers showed a positive response result of over 70% for each survey item, indicating high class application suitability.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1258-1260
• /
• 2022

재료공학에서 머신러닝을 이용해 목적 성능에 부합하는 물질의 조성을 탐색하는 연구가 있다. 물질의 성능은밀도 범함수 계산을 통해 시뮬레이션 할 수 있지만, 계산량이 많은 문제가 있다. 본 연구를 통해 우리는 고효율 페로브스카이트 태양광전지를 만들기 위한 페로브스카이트 조성을 추천하는 심층신경망과 베이지안 최적화 모델을 제안했다. 본 연구에서 높은 전력효율이 예상되는 페로브스카이트 조성을 심층신경망과 베이지안 최적화 방법을 통해 추천하는 모델을 구현하였다. 심층신경망 모델은 주어진 조성과 실험조건에서 예상되는 전력효율을 예측해 베이지안 최적화를 통한 탐색과정에서 소요되는 실험비용을 줄인다. 베이지안 최적화 모델은 실험공간을 입력으로 받아 고효율이 예상되는 실험조건을 출력하는데, 미리 설정한 실험공간만을 탐색하기 때문에 실험적으로 가능한 출력값만을 제시 할 수 있다. 본 연구는 심층신경망과 베이지안 최적화 방법을 조합해 주어진 실험공간을 탐색하는 시간과 비용을 최소화하는 방법을 제시한다

• KSCE Journal of Civil and Environmental Engineering Research
• /
• v.29 no.3C
• /
• pp.115-125
• /
• 2009

The preconsolidation pressure has been commonly determined by oedometer test. However, it can also be determined by insitu test, such as piezocone test with theoretical and(or) empirical correlations. Recently, Neural Network (NN) theory was applied and some models were proposed to estimate the preconsolidation pressure or OCR. It was already found that NN model can come over the site dependency and prediction accuracy is greatly improved when compared with present theoretical and empirical models. However, since the optimization process of synaptic weights of NN model is dependent on the initial synaptic weights, NN models which are trained with different initial weights can't avoid the variability on prediction result for new database even though they have same structure and use same transfer function. In this study, Committee Neural Network (CNN) model is proposed to improve the initial weight dependency of multi-layered neural network model on the prediction of preconsolidation pressure of soft clay from piezocone test result. Prediction results of CNN model are compared with those of conventional empirical and theoretical models and multi-layered neural network model, which has the optimized structure. It was found that even though the NN model has the optimized structure for given training data set, it still has the initial weight dependency, while the proposed CNN model can improve the initial weight dependency of the NN model and provide a consistent and precise inference result than existing NN models.