• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.125-130
• /
• 2023

최근 심층 신경망을 활용한 한국어 자연어 처리에 대한 관심이 높아지고 있지만, 한국어 자연어 처리에 적합한 신경망 구조 탐색에 대한 연구는 이뤄지지 않았다. 본 논문에서는 문서 분류 정확도를 보상으로 하는 강화 학습 알고리즘을 이용하여 장단기 기억 신경망으로 한국어 문서 분류에 적합한 심층 신경망 구조를 탐색하였으며, 탐색을 위해 사전 학습한 한국어 임베딩 성능과 탐색한 신경망 구조를 분석하였다. 탐색을 통해 찾아낸 신경망 구조는 기존 한국어 자연어 처리 모델에 대해 4 가지 한국어 문서 분류 과제로 비교하였을 때 일반적으로 성능이 우수하고 모델의 크기가 작아 효율적이었다.

• The Journal of the Convergence on Culture Technology
• /
• v.9 no.1
• /
• pp.649-654
• /
• 2023

This paper proposes the design of a neural network structure search model using graph convolutional neural networks. Deep learning has a problem of not being able to verify whether the designed model has a structure with optimized performance due to the nature of learning as a black box. The neural network structure search model is composed of a recurrent neural network that creates a model and a convolutional neural network that is the generated network. Conventional neural network structure search models use recurrent neural networks, but in this paper, we propose GC-NAS, which uses graph convolutional neural networks instead of recurrent neural networks to create convolutional neural network models. The proposed GC-NAS uses the Layer Extraction Block to explore depth, and the Hyper Parameter Prediction Block to explore spatial and temporal information (hyper parameters) based on depth information in parallel. Therefore, since the depth information is reflected, the search area is wider, and the purpose of the search area of the model is clear by conducting a parallel search with depth information, so it is judged to be superior in theoretical structure compared to GC-NAS. GC-NAS is expected to solve the problem of the high-dimensional time axis and the range of spatial search of recurrent neural networks in the existing neural network structure search model through the graph convolutional neural network block and graph generation algorithm. In addition, we hope that the GC-NAS proposed in this paper will serve as an opportunity for active research on the application of graph convolutional neural networks to neural network structure search.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1258-1260
• /
• 2022

재료공학에서 머신러닝을 이용해 목적 성능에 부합하는 물질의 조성을 탐색하는 연구가 있다. 물질의 성능은밀도 범함수 계산을 통해 시뮬레이션 할 수 있지만, 계산량이 많은 문제가 있다. 본 연구를 통해 우리는 고효율 페로브스카이트 태양광전지를 만들기 위한 페로브스카이트 조성을 추천하는 심층신경망과 베이지안 최적화 모델을 제안했다. 본 연구에서 높은 전력효율이 예상되는 페로브스카이트 조성을 심층신경망과 베이지안 최적화 방법을 통해 추천하는 모델을 구현하였다. 심층신경망 모델은 주어진 조성과 실험조건에서 예상되는 전력효율을 예측해 베이지안 최적화를 통한 탐색과정에서 소요되는 실험비용을 줄인다. 베이지안 최적화 모델은 실험공간을 입력으로 받아 고효율이 예상되는 실험조건을 출력하는데, 미리 설정한 실험공간만을 탐색하기 때문에 실험적으로 가능한 출력값만을 제시 할 수 있다. 본 연구는 심층신경망과 베이지안 최적화 방법을 조합해 주어진 실험공간을 탐색하는 시간과 비용을 최소화하는 방법을 제시한다

• Journal of the Korean Institute of Intelligent Systems
• /
• v.7 no.4
• /
• pp.65-73
• /
• 1997

This paper proposes a new method of the structure pruning of dynamic recurrent neural networks (DRNN) using evolutionary computations. In general, evolutionary computations are population-based search methods, therefore it is very useful when several different properties of neural networks need to be optimized. In order to prune the structure of the DRNN in this paper, we used the evolutionary programming that searches the structure and weight of the DRNN and evolution strategies which train the weight of neuron and pruned the net structure. An addition or elimination of the hidden-layer's node of the DRNN is decided by mutation probability. Its strategy is as follows, the node which has mhnimum sum of input weights is eliminated and a node is added by predesignated probability function. In this case, the weight is connected to the other nodes according to the probability in all cases which can in- 11:ract to the other nodes. The proposed pruning scheme is exemplified on the stabilization and position control of the inverted-pendulum system and visual servoing of a robot manipulator and the effc: ctiveness of the proposed method is demonstrated by numerical simulations.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.18-21
• /
• 2020

심층 신경망은 영상 분류, 음성 인식, 그리고 문자 번역 등 다양한 분야에서 효과적인 성능을 보여주고 있다. 신경망의 구조 변화, 신경망 간의 정보 전달, 그리고 학습에 사용되는 데이터 증대 등의 확장된 연구를 통해 성능은 더욱 발전하고 있다. 그 중에서도 데이터 증대는 기존에 수집한 데이터의 변형을 통해 심층 신경망에 더 다양한 데이터를 제공함으로써 더욱 일반화된 신경망을 학습시기키는 것을 목표로 한다. 하지만 기존의 음향 관련 신경망 연구에서는 모델의 학습에 사용되는 데이터 증대 방법의 연구가 영상 처리 분야만큼 다양하게 이루어지지 않았다. 최근 영상 처리 분야의 데이터 증대 연구는 학습에 사용되는 데이터와 모델에 따라 최적의 데이터 증대 방법이 다르다는 것을 실험적으로 보여주었다. 이에 영감을 받아 본 논문은 자연에서 발생하는 음향을 분류하는데 있어서 최적의 데이터 증대 방법을 실험적으로 찾으며, 그 과정을 소개한다. 음향에 잡음 추가, 피치 변경 혹은 스펙트로그램의 일부 제한 등의 데이터 증대 방법을 다양하게 조합하는 실험을 통해 경험적으로 어떤 증대 방법이 효과적인지 탐색했다. 결과적으로 ESC-50 자연 음향 데이터 셋에 최적화된 데이터 증대 방법을 적용함으로써 분류 정확도를 89%로 향상시킬 수 있었다.

• Proceedings of the Computational Structural Engineering Institute Conference
• /
• 2010.04a
• /
• pp.658-661
• /
• 2010

본 논문에서는 교량의 볼트 체결부, 응력집중부 등 손상의 발생이 유력한 위치에 부착된 압전센서-무선 임피던스 센서노드를 통해 구조물의 건전성을 지속적으로 모니터링 하는 시스템을 소개하였다. 임피던스 기반 건전성 모니터링에 있어서 구조물에 발생하는 손상에 따라 민감하게 반응하는 주파수 성분이 달라지기 때문에, 이러한 주파수 영역을 자동으로 결정함과 동시에 손상에 관한 정보를 획득하기 위하여 인공신경망 기법을 적용하였다. 제안된 기법은 기존에 구축되어 있는 데이터베이스를 기반으로 구조물에 발생한 손상의 종류 및 손상의 정도를 판단하는 것을 목적으로 한다. 무선 임피던스 센서노드-인공신경망 기반 손상탐색 통합 시스템은 실제 강교량에서 발생한 볼트풀림, 균열 등 국부적인 손상의 진단을 위하여 적용되었으며, 그 유효성을 입증하였다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2022.05a
• /
• pp.186-186
• /
• 2022

강수 및 침투 등으로 발생하는 지하수위의 변동을 예측하는 것은 지하수 자원의 활용 및 관리에 필수적이다. 지하수위의 변동은 지하수 자원의 활용 및 관리뿐만이 아닌 홍수 발생과 지반의 응력상태 등에 직접적인 영향을 미치기 때문에 정확한 예측이 필요하다. 본 연구는 인공신경망 중 다층퍼셉트론(Multi Layer Perceptron, MLP)을 이용한 지하수위 예측성능 향상을 위해 MLP의 구조 중 Optimizer를 개량하였다. MLP는 입력자료와 출력자료간 최적의 상관관계(가중치 및 편향)를 찾는 Optimizer와 출력되는 값을 결정하는 활성화 함수의 연산을 반복하여 학습한다. 특히 Optimizer는 신경망의 출력값과 관측값의 오차가 최소가 되는 상관관계를 찾는 연산자로써 MLP의 학습 및 예측성능에 직접적인 영향을 미친다. 기존의 Optimizer는 경사하강법(Gradient Descent, GD)을 기반으로 하는 Optimizer를 사용했다. 하지만 기존의 Optimizer는 미분을 이용하여 상관관계를 찾기 때문에 지역탐색 위주로 진행되며 기존에 생성된 상관관계를 저장하는 구조가 없어 지역 최적해로 수렴할 가능성이 있다는 단점이 있다. 본 연구에서는 기존 Optimizer의 단점을 개선하기 위해 지역탐색과 전역탐색을 동시에 고려할 수 있으며 기존의 해를 저장하는 구조가 있는 메타휴리스틱 최적화 알고리즘을 이용하였다. 메타휴리스틱 최적화 알고리즘 중 구조가 간단한 화음탐색법(Harmony Search, HS)과 GD의 결합모형(HS-GD)을 MLP의 Optimizer로 사용하여 기존 Optimizer의 단점을 개선하였다. HS-GD를 이용한 MLP의 성능검토를 위해 이천시 지하수위 예측을 실시하였으며 예측 결과를 기존의 Optimizer를 이용한 MLP 및 HS를 이용한 MLP의 예측결과와 비교하였다.

• Journal of Broadcast Engineering
• /
• v.25 no.6
• /
• pp.854-860
• /
• 2020

Deep neural networks have shown remarkable performance in various areas, including image classification and speech recognition. The variety of data generated by augmentation plays an important role in improving the performance of the neural network. The transformation of data in the augmentation process makes it possible for neural networks to be learned more generally through more diverse forms. In the traditional field of image process, not only new augmentation methods have been proposed for improving the performance, but also exploring methods for an optimal augmentation policy that can be changed according to the dataset and structure of networks. Inspired by the prior work, this paper aims to explore to search for an optimal augmentation policy in the field of sound data. We carried out many experiments randomly combining various augmentation methods such as adding noise, pitch shift, or time stretch to empirically search which combination is most effective. As a result, by applying the optimal data augmentation policy we achieve the improved classification accuracy on the environmental sound classification dataset (ESC-50).

• Journal of the Korean Institute of Intelligent Systems
• /
• v.10 no.4
• /
• pp.315-323
• /
• 2000

In this paper, we propose a method of constructing neural networks using bio-inpired emergent and evolutionary concepts. This method is algorithm that is based on the characteristics of the biological DNA and growth of plants, Here is, we propose a constructing method to make a DNA coding method for production rule of L-system. L-system is based on so-called the parallel rewriting nechanism. The DNA coding method has no limitation in expressing the produlation the rule of L-system. Evolutionary algotithms motivated by Darwinaian natural selection are population based searching methods and the high performance of which is highly dependent on the representation of solution space. In order to verify the effectiveness of our scheme, we apply it one step ahead prediction of Mackey-Glass time series, Sunspot data and KOSPI data.

• Journal of KIISE:Software and Applications
• /
• v.33 no.4
• /
• pp.440-448
• /
• 2006

Self-Organizing Map (SOM) is an unsupervised learning neural network and it is used for preserving the structural relationships in the data without prior knowledge. SOM has been applied in the study of complex problems such as vector quantization, combinatorial optimization, and pattern recognition. This paper proposes a new usage of SOM as a tool for schema transformation hoping to achieve more efficient genetic process. Every offspring is transformed into an isomorphic neural network with more desirable shape for genetic search. This helps genes with strong epistasis to stay close together in the chromosome. Experimental results showed considerable improvement over previous results.