• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.10a
• /
• pp.617-620
• /
• 2016

본 논문에서는 이미지 캡션 생성과 모델 전이에 효과적인 심층 신경망 모델을 제시한다. 본 모델은 멀티 모달 순환 신경망 모델의 하나로서, 이미지로부터 시각 정보를 추출하는 컨볼루션 신경망 층, 각 단어를 저차원의 특징으로 변환하는 임베딩 층, 캡션 문장 구조를 학습하는 순환 신경망 층, 시각 정보와 언어 정보를 결합하는 멀티 모달 층 등 총 5 개의 계층들로 구성된다. 특히 본 모델에서는 시퀀스 패턴 학습과 모델 전이에 우수한 LSTM 유닛을 이용하여 순환 신경망 층을 구성하고, 컨볼루션 신경망 층의 출력을 임베딩 층뿐만 아니라 멀티 모달 층에도 연결함으로써, 캡션 문장 생성을 위한 매 단계마다 이미지의 시각 정보를 이용할 수 있는 연결 구조를 가진다. Flickr8k, Flickr30k, MSCOCO 등의 공개 데이터 집합들을 이용한 다양한 비교 실험을 통해, 캡션의 정확도와 모델 전이의 효과 면에서 본 논문에서 제시한 멀티 모달 순환 신경망 모델의 우수성을 입증하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10b
• /
• pp.130-132
• /
• 2001

신경망을 이용한 추천 기술은 항목이나 사용자간의 가중치를 학습할 수 있고, 자료 유형에 상관없이 데이터 처리가 용이하다. 또한 최근 연구를 통해서 그 우수성이 입증되고 있다. 그러나 사용자간의 상관관계로 추천하는 사용자 신경망 모델과 항목간의 상관관계로 추천하는 항목 신경망 모델이 서로 다른 관점으로 다른 선호도를 제시한 경우에 선택한 모델의 선호도에 따라 시스템의 성능이 좌우된다. 그러므로 효율적이고 성능이 우수한 추천 시스템을 위해 사용자와 항목 신경망 모델의 통합 방법을 제안한다. 두 모델 사이에 우선 순위를 결정하여 통합하는 순차적 통합 방법과 두 모델을 동시에 고려하는 병렬적 통합방법을 제안한다. 그러나 두 통합 방법은 선호도 예측 기준에 있어서 정적이고, 문제에 대한 적응성이 없다. 그러므로 신경망(퍼셉트론, 다층 퍼셉트론)을 이용한 통합 방법을 제안한다. 또한 퍼지의 소속함수를 이용하여 퍼지 추론를 적용한 통합 방법을 제안하고, 패턴 인식 분야에서 사용하는 BKS 방법을 적응하여 두 신경망 모델을 통합하여 실험한다. 본 논문에서는 사용자와 항목 신경망 모델을 통합함으로써 기존의 추천 기술인 연관 규칙과 단일 신경망 모델을 이용한 추천보다 우수함을 보이고 있다.

• The Korean Journal of Applied Statistics
• /
• v.37 no.2
• /
• pp.139-155
• /
• 2024

This study performed a multi-classification task to classify mesial temporal lobe epilepsy with left hippocampal sclerosis patients (left mTLE), mesial temporal lobe epilepsy with right hippocampal sclerosis (right mTLE), and healthy controls (HC) using magnetoencephalography (MEG) data. We applied various artificial neural networks and compared the results. As a result of modeling with convolutional neural networks (CNN), recurrent neural networks (RNN), and graph neural networks (GNN), the average k-fold accuracy was excellent in the order of CNN-based model, GNN-based model, and RNN-based model. The wall time was excellent in the order of RNN-based model, GNN-based model, and CNN-based model. The graph neural network, which shows good figures in accuracy, performance, and time, and has excellent scalability of network data, is the most suitable model for brain research in the future.

• The Journal of the Convergence on Culture Technology
• /
• v.9 no.1
• /
• pp.649-654
• /
• 2023

This paper proposes the design of a neural network structure search model using graph convolutional neural networks. Deep learning has a problem of not being able to verify whether the designed model has a structure with optimized performance due to the nature of learning as a black box. The neural network structure search model is composed of a recurrent neural network that creates a model and a convolutional neural network that is the generated network. Conventional neural network structure search models use recurrent neural networks, but in this paper, we propose GC-NAS, which uses graph convolutional neural networks instead of recurrent neural networks to create convolutional neural network models. The proposed GC-NAS uses the Layer Extraction Block to explore depth, and the Hyper Parameter Prediction Block to explore spatial and temporal information (hyper parameters) based on depth information in parallel. Therefore, since the depth information is reflected, the search area is wider, and the purpose of the search area of the model is clear by conducting a parallel search with depth information, so it is judged to be superior in theoretical structure compared to GC-NAS. GC-NAS is expected to solve the problem of the high-dimensional time axis and the range of spatial search of recurrent neural networks in the existing neural network structure search model through the graph convolutional neural network block and graph generation algorithm. In addition, we hope that the GC-NAS proposed in this paper will serve as an opportunity for active research on the application of graph convolutional neural networks to neural network structure search.

• KSCE Journal of Civil and Environmental Engineering Research
• /
• v.29 no.3C
• /
• pp.115-125
• /
• 2009

The preconsolidation pressure has been commonly determined by oedometer test. However, it can also be determined by insitu test, such as piezocone test with theoretical and(or) empirical correlations. Recently, Neural Network (NN) theory was applied and some models were proposed to estimate the preconsolidation pressure or OCR. It was already found that NN model can come over the site dependency and prediction accuracy is greatly improved when compared with present theoretical and empirical models. However, since the optimization process of synaptic weights of NN model is dependent on the initial synaptic weights, NN models which are trained with different initial weights can't avoid the variability on prediction result for new database even though they have same structure and use same transfer function. In this study, Committee Neural Network (CNN) model is proposed to improve the initial weight dependency of multi-layered neural network model on the prediction of preconsolidation pressure of soft clay from piezocone test result. Prediction results of CNN model are compared with those of conventional empirical and theoretical models and multi-layered neural network model, which has the optimized structure. It was found that even though the NN model has the optimized structure for given training data set, it still has the initial weight dependency, while the proposed CNN model can improve the initial weight dependency of the NN model and provide a consistent and precise inference result than existing NN models.

• Proceedings of the Korea Association of Information Systems Conference
• /
• 2000.05a
• /
• pp.115-121
• /
• 2000

본 연구는 인공신경망 모형에서 최적 입력 변수를 선정하기 위하여 새로운 선처리 기법인 약체연결뉴런 제거법을 제안하고 그 예측력의 우월성을 순수 인공신경망과 의사결정트리로 선처리한 인공신경망 모델과 각각 비교했으며, 그 결과를 보면 본 연구에서 제안하고 있는 약체연결뉴런 제거법에 의해 입력변수 선정과정을 거친 모델의 성과가 순수 인공신경망이나 의사결정트리로 선처리한 인공신경망 모델에 비해 예측적중율이 우수한 것으로 나타났다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.05a
• /
• pp.467-469
• /
• 2019

딥러닝에서는 기본 층을 겹겹이 쌓아 올려 구성한 신경망이라는 모델을 사용하여 데이터를 학습한다. 신경망 모델에서 층(layer)은 신경망의 핵심 구성 요소로서 입력된 데이터로부터 주어진 문제에 더 의미 있는 표현을 추출하고 표현할 수 있다. 이러한 층의 개수와 층 내에 노드의 개수는 신경망 설계에서 가장 기본적인 문제 중에 하나이다. 본 논문에서는 층의 개수와 노드의 개수가 신경망 학습에 어떠한 영향을 미치는지 실험을 통하여 평가해본다.

• Smart Media Journal
• /
• v.11 no.3
• /
• pp.26-30
• /
• 2022

Spiking neural network is a neural network that applies the working principle of real brain neurons. Due to the biological mechanism of neurons, it consumes less power for training and reasoning than conventional neural networks. Recently, as deep learning models become huge and operating costs increase exponentially, the spiking neural network is attracting attention as a third-generation neural network that connects convolution neural networks and recurrent neural networks, and related research is being actively conducted. However, in order to apply the spiking neural network model to the industry, a lot of research still needs to be done, and the problem of model retraining to apply a new model must also be solved. In this paper, we propose a method to minimize the cost of model retraining by extracting the weights of the existing trained deep learning model and converting them into the weights of the spiking neural network model. In addition, it was found that weight conversion worked correctly by comparing the results of inference using the converted weights with the results of the existing model.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2022.05a
• /
• pp.247-247
• /
• 2022

제트류는 복잡한 흐름 중 하나로 다양한 크기의 에디가 다양한 운동량을 가지고 있다. 이러한 제트류를 구현하기 위해서는 난류 운동 에너지 등 제트류의 특성을 잘 반영하여야 한다. 제트를 구현하기 위해서는 수리학적 모델, 현장 실험 등 많은 방법이 있으며, 본 연구에서는 상대적으로 공간, 시간적 비용이 적게 드는 수치해석 방법을 사용하여 연구를 진행하였다. 대표적인 수치해석방법에는 DNS(Direct Numerical Simulation), LES(Large Eddy Simulation), RANS(Reynolds Averaged Navier Stokes) 등이 있다. RANS는 시간 평균 흐름 특성만 산출하며 제트의 복잡성을 재현하는 데 한계가 있어, 본 연구는 DNS와 LES 모델을 이용하여 제트류를 구현하는 것에 초점을 맞추었다. DNS는 해당 격자에서 발생하는 모든 에디를 직접 해석 때문에 난류 모델링이 필요하지 않지만, 많은 수의 그리드가 필요하여 수치해석 시 소요시간이 긴 편이다. LES는 대규모 에디는 직접 해석하지만 일정 크기 이하의 소용돌이를 해석하기 위해서 모델이 필요하다. 따라서 서브 그리드 모델에 따라 약간 다른 결과를 보인다. 이러한 문제점을 해결하기 위해 본 연구에서는 LES의 기존 서브 그리드 모델을 사용하지 않고 신경망 모델로 학습한 DNS 결과를 활용하는 방법을 제안한다. 우선 DNS와 LES 모델을 사용하여 에너지 스펙트럼을 비교하여 서브 그리드 모델이 시작하는 파수를 찾는다. 이후 특정 파수 아래의 작은 에디를 모사할 적절한 신경망 모델을 결정하여 DNS의 작은 에디를 신경망 알고리즘이 모사할 수 있도록 학습시킨다. 이후 기존 서브 그리드 모델을 사용하지 않고 학습된 신경망 알고리즘을 사용한 LES 모델이 모사한 제트류와 실제 DNS 모델을 사용한 제트류를 비교 및 평가한다.

• The Journal of the Acoustical Society of Korea
• /
• v.17 no.4
• /
• pp.3-13
• /
• 1998

본 논문은 음성 다이어링 시스템을 구현하기 위한 한국어 단독 숫자음 및 연속 숫 자음 인식에 관한 것이다. 단독 숫자음의 인식은 미지의 입력 음성을 재귀 신경망을 이용하 여 모델링된 각 모델에 인가하고, 신경 회로망의 출력 노드의 상태열을 검사하여 적절한 상 태 전이를 하며 최고의 확률값을 출력하는 모델을 인식된 결과로 출력한다. 연속 숫자음의 인식은 미지의 연속 숫자음을 재귀 신경 회로망을 이용한 연속 숫자음 모델에 입력하고, 신 경 회로망의 출력에 대하여 적절한 상태 전이에 대한 검사와 레벨 빌딩(Level Building)을 수행하여 최소의 오차를 가지는 모델열을 인식된 결과로 출력한다. 재귀 신경 회로망을 이 용하여 음절 모델을 만드는 과정에서 재귀 노드는 예상치가 주어지지 않으므로 신경 회로망 의 학습에서 제외되어 현저한 학습 속도의 저하를 가져온다. 따라서 본 논문에서는 재귀 신 경 회로망의 학습 속도를 향상시키기 위한 2가지 방법을 제안 한다. 첫 번째는 재귀 신경 회로망의 재귀 노드의 예상치를 실험적으로 주어줌으로써 학습 속도의 향상을 도모하였다. 두 번째는 음절 모델의 출력노드의 개수와 음절 모델의 세그먼트 경계를 알고리듬을 이용하 여 자동적으로 조절하였다. 실험결과, 단독어의 경우 음절 '에'에 포함하는 한국어 11개의 숫 자음에 대하여 화자 종속의 경우 97.3%, 화자 독립의 경우 80.5%의 인식률을 얻었으며, 연 속 숫자음의 경우는 21종류의 연속 숫자음에 대하여 화자 종속에서 88.2%, 화자 독립의 경 우 81.3%의 인식률을 얻을 수 있었다.