• Proceedings of the Korean Information Science Society Conference
• /
• 2002.04b
• /
• pp.265-267
• /
• 2002

본 논문에서는 적응적 정규화 자연기울기 학습법과 자연 프루닝(pruning) 방법의 결합을 통하여 일반화 성능이 우수만 신경망을 구성하고자 한다. 먼저 적응적 정규화 자연기울기 학습을 통하여 신경망의 가중치를 최적화 시키고, 자연 프루닝에 의하여 신경망의 구조를 단순화 시킨다. 이러한 모델들 중 최적의 모델은 베이시안 정보 기준에 의해 선택함으로써 일반화 성능이 우수만 신경망을 구성하는 방법을 제안한다 벤치마크 (benchmark) 데이터로 제안하는 방법과 유클리디안(Euclidean) 거리에 기반한 결합 방법과 자연 프루닝만을 적용한 방법을 비교함으로써 우수성을 검증한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.70-73
• /
• 2021

최근 영상 및 비디오 분야에 심층 신경망(DNN, Deep Neural Network)을 사용한 연구가 다양하게 진행됨에 따라 High Dynamic Range (HDR) 이미징 기술에서도 기존의 방법들 보다 우수한 성능을 보이는 심층 신경망 모델들이 등장하였다. 하지만, 심층 신경망을 사용한 방법은 큰 연산량과 많은 GPU 메모리를 사용한다는 문제점이 존재하며, 이는 심층 신경망 기반 기술들의 현실 적용 가능성에 제한이 되고 있다. 이에 본 논문에서는 제한된 연산량과 GPU 메모리 조건에서도 사용 가능한 다중 노출 HDR 경량화 심층 신경망을 제안한다. Kalantari Dataset에 대해 기존 HDR 모델들과의 성능 평가를 진행해 본 결과, PSNR-µ와 PSNR-l 수치에서 GPU 메모리 사용량 대비 우수한 성능을 보임을 확인하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.05a
• /
• pp.398-401
• /
• 2018

본 연구에서는 심충 합성곱 신경망(Deep CNN)과 Connectionist Temporal Classification (CTC) 알고리즘을 사용하여 강제정렬 (force-alignment)이 이루어진 코퍼스 없이도 학습이 가능한 음소 인식 모델을 제안한다. 최근 해외에서는 순환 신경망(RNN)과 CTC 알고리즘을 사용한 딥 러닝 기반의 음소 인식 모델이 활발히 연구되고 있다. 하지만 한국어 음소 인식에는 HMM-GMM 이나 인공 신경망과 HMM 을 결합한 하이브리드 시스템이 주로 사용되어 왔으며, 이 방법 은 최근의 해외 연구 사례들보다 성능 개선의 여지가 적고 전문가가 제작한 강제정렬 코퍼스 없이는 학습이 불가능하다는 단점이 있다. 또한 RNN 은 학습 데이터가 많이 필요하고 학습이 까다롭다는 단점이 있어, 코퍼스가 부족하고 기반 연구가 활발하게 이루어지지 않은 한국어의 경우 사용에 제약이 있다. 이에 본 연구에서는 강제정렬 코퍼스를 필요로 하지 않는 CTC 알고리즘을 도입함과 동시에, RNN 에 비해 더 학습 속도가 빠르고 더 적은 데이터로도 학습이 가능한 합성곱 신경망(CNN)을 사용하여 딥 러닝 모델을 구축하여 한국어 음소 인식을 수행하여 보고자 하였다. 이 모델을 통해 본 연구에서는 한국어에 존재하는 49 가지의 음소를 추출하는 세 종류의 음소 인식기를 제작하였으며, 최종적으로 선정된 음소 인식 모델의 PER(phoneme Error Rate)은 9.44 로 나타났다. 선행 연구 사례와 간접적으로 비교하였을 때, 이 결과는 제안하는 모델이 기존 연구 사례와 대등하거나 조금 더 나은 성능을 보인다고 할 수 있다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2017.05a
• /
• pp.141-141
• /
• 2017

본 연구에서는 대하천의 8개의 수질인자(수온, 용존산소, 수소이온농도, 전기전도도, 총질소, 총인, 탁도, 클로로필-a)를 예측할 수 있는 인공신경망모델을 개발하였다. 인공신경망모델(ANN)은 수질데이터가 가지는 불확실성 및 비정상성, 복잡한 상호관련성에 효과적으로 대응할 수 있는 데이터기반 모델이다. 데이터기반 모델의 특성상 예측정확도를 높이기 위해서 양질의 입력데이터를 구성하는 것이 가장 중요하다. 때문에 각각의 수질인자뿐만 아니라 기상학적 인자 또한 예측을 위한 입력자료로 사용하였으며, 요인분석 및 층화표층추출법을 적용하여 입력데이터를 구성하였고 앙상블기법을 이용하여 추가적으로 예측의 정확도를 향상시켰다. 개발된 모델을 이용하여 지천유입이 있는 북한강의 수질자료를 예측한 결과 탁도를 제외한 7개의 수질인자 모두 0.85 이상의 설명력을 보였으며, 실측값과 예보값을 비교해본 결과 평균적으로 10% 미만의 에러값을 나타냈다. 요인분석을 통하여 연관성있는 인자를 입력인자로 추가한 경우 향상된 결과값을 보였주었으며, 앙상블기법을 적용한 결과 정확도 면에서 큰 향상을 보여주었다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2021.06a
• /
• pp.185-185
• /
• 2021

기후변화로 인한 돌발 강우 등 이상 기후 현상이 증가함에 따라 정확한 강우예측의 중요성은 더 증가하는 추세이다. 전통적인 강우예측의 경우 기상수치모델 또는 외삽법을 이용한 레이더 기반 강우예측 기법을 이용하며, 최근 머신러닝 기술의 발달에 따라 이를 활용한 레이더 자료기반 강우예측기법이 개발되고 있다. 기존 머신러닝을 이용한 강우예측 모델의 경우 주로 시계열 이미지 예측에 적합한 2차원 순환 신경망 기반 기법(Convolutional Long Short-Term Memory, ConvLSTM) 또는 합성곱 신경망 기반 기법(Convolutional Neural Network(CNN) Encoder-Decoder) 등을 이용한다. 본 연구에서는 생성적 적대 신경망 기반 기법(Generative Adversarial Network, GAN)을 이용해 미래 강우예측을 수행하도록 하였다. GAN 방법론은 이미지를 생성하는 생성자와 이를 실제 이미지와 구분하는 구별자가 경쟁하며 학습되어 현재 이미지 생성 분야에서 높은 성능을 보여주고 있다. 본 연구에서 개발한 GAN 기반 모델은 기상청에서 제공된 2016년~2019년까지의 레이더 이미지 자료를 이용하여 초단기, 단기 강우예측을 수행하도록 학습시키고, 2020년 레이더 이미지 자료를 이용해 단기강우예측을 모의하였다. 또한, 기존 머신러닝 기법을 기반으로 한 모델들의 강우예측결과와 GAN 기반 모델의 강우예측결과를 비교분석한 결과, 본 연구를 통해 개발한 강우예측모델이 단기강우예측에 뛰어난 성능을 보이는 것을 확인할 수 있었다.

• Journal of the Earthquake Engineering Society of Korea
• /
• v.8 no.4
• /
• pp.63-69
• /
• 2004

In this paper, a nonlinear modeling of lead rubber bearings(LRBs) was presented by a neural network theory. An shaking table test for a scaled frame model, of which base was isolated by the LRBs, was performed to verify numerical accuracies of the neural network model. White noise and three types of seismic records were adoped as base loads of the shaking table in order to train and generalize the neural network in case of seismic loads, numerical results of the neural network model were evaluated according to different magnitudes of PGA. As results, it is concluded that the presented neural network model has given a good agreement with the experimental data in details and can be useful to a nonlinear modeling of LRBs within prescribed domains.

• KIPS Transactions on Software and Data Engineering
• /
• v.7 no.8
• /
• pp.307-324
• /
• 2018

Recently, recurrent neural networks have been attracting attention in solving prediction problem of sequential data through structure considering time dependency. However, as the time step of sequential data increases, the problem of the gradient vanishing is occurred. Long short-term memory models have been proposed to solve this problem, but there is a limit to storing a lot of data and preserving it for a long time. Therefore, research on memory-augmented neural network (MANN), which is a learning model using recurrent neural networks and memory elements, has been actively conducted. In this paper, we describe the structure and characteristics of MANN models that emerged as a hot topic in deep learning field and present the latest techniques and future research that utilize MANN.

• Journal of the Korean Institute of Telematics and Electronics B
• /
• v.33B no.1
• /
• pp.144-152
• /
• 1996

In this paper, a pulse-mode digital multilayer neural network with a massively parallel yet compact and flexible network architecture is presented. Algebraicneural operations are replaced by stochastic processes using pseudo-random pulse sequences and simple logic gates are used as basic computing elements. The distributions of the results from the stochastic processes are approximated using the hypergeometric distribution. A statistical model of the noise(error) is developed to estimate the relative accuracy associated with stochastic computing in terms of mean and variance. Numerical character recognition problems are applied to the network to evaluate the network performance and to justify the validity of analytic results based on the developed statistical model. The network architectures are modeled in VHDL using the mixed descriptions of gate-level and register transfer level (RTL). Experiments show that the statistical model successfully predicts the accuracy of the operations performed in the network and that the character classification rate of the network is competitive to that of ordinary Back-Propagation networks.

• Journal of Internet of Things and Convergence
• /
• v.9 no.6
• /
• pp.111-117
• /
• 2023

There is a lot of research on using a combination of graph neural networks and recurrent neural networks as a way to account for both temporal and spatial dependencies. In particular, graph neural networks are an emerging area of research. Seoul's bicycle rental service (aka Daereungi) has rental stations all over the city of Seoul, and the rental information at each station is a time series that is faithfully recorded. The rental information of each rental station has temporal characteristics that show periodicity over time, and regional characteristics are also thought to have important effects on the rental status. Regional correlations can be well understood using graph neural networks. In this study, we reconstructed the time series data of Seoul's bicycle rental service into a graph and developed a rental prediction model that combines a graph neural network and a recurrent neural network. We considered temporal characteristics such as periodicity over time, regional characteristics, and the degree importance of each rental station.

• Journal of Biomedical Engineering Research
• /
• v.23 no.4
• /
• pp.329-332
• /
• 2002

We have investigated the role of slow inhibitory neurons in spontaneous activity using a model network controlled by stochastic mean field theory based on Integrated-and-Fire excitatory and fast inhibitory neurons. It is found that inputting slow inhibitory neurons to such network induces stable spontaneous activity at a much lower threshold than without slow inhibitory neurons in the network. This threshold range is low enough to be considered as biological threshold of cortical neurons. Only slow inhibitory neurons can give adjustable negative feedback in the network keeping lower rate and lower threshold.