• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.125-130
• /
• 2023

최근 심층 신경망을 활용한 한국어 자연어 처리에 대한 관심이 높아지고 있지만, 한국어 자연어 처리에 적합한 신경망 구조 탐색에 대한 연구는 이뤄지지 않았다. 본 논문에서는 문서 분류 정확도를 보상으로 하는 강화 학습 알고리즘을 이용하여 장단기 기억 신경망으로 한국어 문서 분류에 적합한 심층 신경망 구조를 탐색하였으며, 탐색을 위해 사전 학습한 한국어 임베딩 성능과 탐색한 신경망 구조를 분석하였다. 탐색을 통해 찾아낸 신경망 구조는 기존 한국어 자연어 처리 모델에 대해 4 가지 한국어 문서 분류 과제로 비교하였을 때 일반적으로 성능이 우수하고 모델의 크기가 작아 효율적이었다.

• The Journal of the Convergence on Culture Technology
• /
• v.9 no.1
• /
• pp.649-654
• /
• 2023

This paper proposes the design of a neural network structure search model using graph convolutional neural networks. Deep learning has a problem of not being able to verify whether the designed model has a structure with optimized performance due to the nature of learning as a black box. The neural network structure search model is composed of a recurrent neural network that creates a model and a convolutional neural network that is the generated network. Conventional neural network structure search models use recurrent neural networks, but in this paper, we propose GC-NAS, which uses graph convolutional neural networks instead of recurrent neural networks to create convolutional neural network models. The proposed GC-NAS uses the Layer Extraction Block to explore depth, and the Hyper Parameter Prediction Block to explore spatial and temporal information (hyper parameters) based on depth information in parallel. Therefore, since the depth information is reflected, the search area is wider, and the purpose of the search area of the model is clear by conducting a parallel search with depth information, so it is judged to be superior in theoretical structure compared to GC-NAS. GC-NAS is expected to solve the problem of the high-dimensional time axis and the range of spatial search of recurrent neural networks in the existing neural network structure search model through the graph convolutional neural network block and graph generation algorithm. In addition, we hope that the GC-NAS proposed in this paper will serve as an opportunity for active research on the application of graph convolutional neural networks to neural network structure search.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.11a
• /
• pp.102-105
• /
• 2019

본 논문에서는 심층 신경망 검색 방법을 사용하여 이미지 고해상도화를 위한 심층 신경망을 설계하는 방법을 구현하였다. 일반적으로 이미지 고해상도화, 잡음 제거 및 번짐 제거를 위한 심층신경망 구조는 사람이 설계하였다. 최근에는 이미지 분류 등 다른 영상처리 기법에서 사용하는 심층 신경망 구조를 검색하기 위한 방법이 연구되었다. 본 논문에서는 강화학습을 사용하여 이미지 고해상도화를 위한 심층 신경망 구조를 검색하는 방법을 제안하였다. 제안된 방법은 policy gradient 방법의 일종인 REINFORCE 알고리즘을 사용하여 심층 신경망 구조를 출력하여 주는 제어용 RNN(recurrent neural network)을 학습하고, 최종적으로 이미지 고해상도화를 잘 실현할 수 있는 심층 신경망 구조를 검색하여 설계하였다. 제안된 심층 신경망 구조를 사용하여 이미지 고해상도화를 구현하였고, 약 36.54dB 의 피크 신호 대비 잡음 비율(PSNR)을 가지는 것을 확인할 수 있었다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.9 no.4
• /
• pp.396-403
• /
• 1999

본 논문에서는 새로운 블록기반 신경망을 제안하고 블록기반 신경망의 패턴류 성능을 확인하였다. 블록기반 신경망은 4개의 가변 입출력을 가지는 블록을 기본 구성요소로하고 있으며 블록들의 2차원배열 형태로 이루어진다. 블록기반 신경망은 재구성가능 하드웨어에 의하여 구현이 용이하고 구조 및 가중치의 최적화에 진화 알고리즘을 적용시킬수 있는 새로운 신경망 모델이다. 블록 기반 신경망의 구조와 가중치를 재고성 가능 하드웨어(FPGA)의 비트열에 대응시키고 유전자 알고리즘에 의하여 전역최적화를 하여 구조와 가중치를 최적화한다. 유전 알고리즘에 의하여 설계된 블록기반 신경망을 비선형 결정평면을 가지는 여러 학습패턴에 적용하여 패턴분류 성능을 확인하였다.

• Proceedings of the Korean Nuclear Society Conference
• /
• 1995.05b
• /
• pp.1011-1016
• /
• 1995

구조물의 미지구조계수를 추정하기 위한 방법으로 신경망이론을 사용하였다. 다층퍼셉트론과 Gaussian Basis function Network의 장점을 살리기 위해, 복합신경망을 제안하였으며, 제안된 신경망이 학습시 수렴속도가 향상되고, 적절한 분할확대의 수를 결정하면 일반화 성능도 유지할 수 있음을 확인하였다. 적단건물모형에 대하여 구조계수추정의 절차를 설명하였으며, 제안된 신경망의 효율성을 보였다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 1997.10a
• /
• pp.127-130
• /
• 1997

신경망은 입출력 관계가 명시적으로 표현되기 어려운 경우에 수집된 데이터를 이용하여 원래의 함수를 근사할 수 있느 특성이 있다. 최근에는 신경망의 모델링 성능을 향상시키기 위하여 여러개의 모듈을 기반으로 신경망을 구성하는 모듈형 신경망이 활발히 연구되고 있다. 본 논문에서는 린덴마이어 시스템(L-시스템)의 문법적 적용을 통하여 이러한 모듈형 신경망의 구조를 결정하는 방법을 제시하고자 한다. L-시스템은 본래 식물의 성장과정을 기술하기 위하여 제안된 방법인데, 본 논문에서는 신경망의 모듈형 구조가 L-시스템의 문법을 통하여 적절히 결정됨을 보인다.

• Proceedings of the Korea Inteligent Information System Society Conference
• /
• 2005.05a
• /
• pp.169-185
• /
• 2005

신경계의 뉴런 구조는 흥분 뉴런과 억제 뉴런으로 구성되며 각각의 흥분 뉴런과 억제 뉴런은 주동근 뉴런(agonistic neuron)에 의해 활성화되며 길항근 뉴런(antagonist neuron)에 의해 비활성화 된다. 본 논문에서는 인간 신경계의 생리학적 뉴런 구조를 분석하여 퍼지 논리를 이용한 생리학적 퍼지 신경망을 제안한다. 제안된 구조는 주동근 뉴런에 의해 흥분 뉴런이 될 수 있는 뉴런들을 선택하여 흥분시켜 출력층으로 전달하고 나머지 뉴런들을 억제시켜 출력층에 전달시키지 않는다. 신경계를 기반으로 한 제안된 생리학적 퍼지 신경망의 학습구조는 입력층, 학습 데이터의 특징을 분류하는 중간층, 그리고 출력층으로 구성된다. 제안된 퍼지 신경망의 학습 및 인식 성능을 평가하기 위해 정확성이 요구되는 의학의 한 분야인 기관지 편평암 영상인식과 영상 인식의 주요 응용 분야인 차량 번호판 인식에 적용하여 기존의 신경망과 성능을 비교 분석하였다. 실험 결과에서는 제안된 생리학적 퍼지 신경망이 기존의 신경망보다 학습 시간과 수렴성이 개선되었을 뿐만 아니라, 인식에 있어서도 우수한 성능이 있음을 확인하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1998.10c
• /
• pp.330-332
• /
• 1998

모듈형 신경망은 인간의 정보처리 시스템이 고유한 목적이나 기능을 가진 모듈로 되어있다는 신경과학의 연구에 기반하여 제안된 모델이다. 하지만 모듈의 크기와 기능모듈간의 연결구조를 결정하는데 큰 어려움이 있다. 본 논문에서는 간단한 규칙으로 복잡한 구조를 생성해 낼 수 있는 린덴마이어-시스템을 이용하여 모듈형 신경망의 크기 및 연결구조를 만들어내는 과정에 대하여 고찰해본다. 또한, 신경망의 생성규칙을 유전자형으로 표현하고 진화 알고리즘을 적용하여 주어진 문제를 해결할 수 있는 최적의 규칙을 찾아내는 방법을 제안한다. 본 논문에서 제안한 유전자형과 진화연산은 최적화된 문법규칙 및 신경망의 구조를 만들어 낼 수 있는 가능성을 보여준다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.10 no.6
• /
• pp.591-596
• /
• 2000

본 논문에서는, 퍼지 신경망 시스템에 대한 최적의 규칙 베이스의 생성과 초기화를 이루기 위하여 웨이브릿 이론을 기반으로 한 퍼지 신경망 구조를 제안한다. 제안한 웨이브릿 기반의 퍼지 신경망 구조(WFNN)에서는 퍼지-신경망에 대하여 웨이브렛 함수의 성질과 다운스트레칭 메카니즘에 의하여 초기의 최적 퍼지 규칙 베이스를 구성하고 은닉층의 노드 개수를 최적화시키며, 에러 역전파 알고리즘에 의하여 각 파라미터의 조절과 학습이 진행된다. 역진자 시스템에 대한 모의 실험을 통하여 제안한 웨이브릿 기반의 퍼지 신경망 제어 시스템의 우수성을 검증하였다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.8 no.3
• /
• pp.33-40
• /
• 1998

This paper presents an Modified Orthogonal Neural Network(MONN), new modified model of Orthogonal Neural Network(0NN) based on orthogonal functions, and applies it to nonlinear system approximator. ONN proposed by Yang and Tseng, doesn't have the problems of traditional multilayer feedforward neural networks such as the determination of initial weights and the numbers of layers and processing elements. And tranining of ONN converges rapidly. But ONN cannot adapt its orthogonal functions to a given system. The accuracy of ONN, in terms of the minimal possible deviation between system and approximator, is essentially dependent on the choice of basic orthogonal functions. In order to improve ability and effectiveness of approximate nonlinear systems, MONN has an input transformation layer to adapt its basic orthogonal functions to a given nonlinear system. The results show that MONN has the excellent performance of approximate nonlinear systems and the input transfnrmation makes the ability of MONN better than one of ONN.