• 시스템엔지니어링학술지
• /
• 제18권2호
• /
• pp.75-93
• /
• 2022

Machine learning (ML) data-driven meta-model is proposed as a surrogate model to reduce the excessive computational cost of the physics-based model and facilitate the real-time prediction of a nuclear power plant's transient response. To forecast the transient response three machine learning (ML) meta-models based on recurrent neural networks (RNNs); specifically, Long Short Term Memory (LSTM), Gated Recurrent Unit (GRU), and a sequence combination of Convolutional Neural Network (CNN) and LSTM are developed. The chosen accident scenario is a control element assembly withdrawal at power concurrent with the Loss Of Offsite Power (LOOP). The transient response was obtained using the best estimate thermal hydraulics code, MARS-KS, and cross-validated against the Design and control document (DCD). DAKOTA software is loosely coupled with MARS-KS code via a python interface to perform the Best Estimate Plus Uncertainty Quantification (BEPU) analysis and generate a time series database of the system response to train, test and validate the ML meta-models. Key uncertain parameters identified as required by the CASU methodology were propagated using the non-parametric Monte-Carlo (MC) random propagation and Latin Hypercube Sampling technique until a statistically significant database (181 samples) as required by Wilk's fifth order is achieved with 95% probability and 95% confidence level. The three ML RNN models were built and optimized with the help of the Talos tool and demonstrated excellent performance in forecasting the most probable NPP transient response. This research was guided by the Systems Engineering (SE) approach for the systematic and efficient planning and execution of the research.

• 한국소음진동공학회:학술대회논문집
• /
• 한국소음진동공학회 2010년도 춘계학술대회 논문집
• /
• pp.457-458
• /
• 2010

• 한국음향학회지
• /
• 제42권5호
• /
• pp.395-401
• /
• 2023

음향 이벤트 검출(Sound Event Detection, SED)은 음향 신호에서 관심 있는 음향의 종류와 발생 구간을 검출하는 기술로, 음향 감시 시스템 및 모니터링 시스템 등 다양한 분야에서 활용되고 있다. 최근 음향 신호 분석에 관한 국제 경연 대회(Detection and Classification of Acoustic Scenes and Events, DCASE) Task 4를 통해 다양한 방법이 소개되고 있다. 본 연구는 다양한 영역에서 성능 향상을 이끌고 있는 Dense Convolutional Networks(DenseNet)을 음향 이벤트 검출에 적용하기 위해 설계 변수에 따른 성능 변화를 비교 및 분석한다. 실험에서는 DenseNet with Bottleneck and Compression(DenseNet-BC)와 순환신경망(Recurrent Neural Network, RNN)의 한 종류인 양방향 게이트 순환 유닛(Bidirectional Gated Recurrent Unit, Bi-GRU)을 결합한 DenseRNN 모델을 설계하고, 평균 교사 모델(Mean Teacher Model)을 통해 모델을 학습한다. DCASE task4의 성능 평가 기준에 따라 이벤트 기반 f-score를 바탕으로 설계 변수에 따른 DenseRNN의 성능 변화를 분석한다. 실험 결과에서 DenseRNN의 복잡도가 높을수록 성능이 향상되지만 일정 수준에 도달하면 유사한 성능을 보임을 확인할 수 있다. 또한, 학습과정에서 중도탈락을 적용하지 않는 경우, 모델이 효과적으로 학습됨을 확인할 수 있다.

• 한국인지과학회:학술대회논문집
• /
• 한국인지과학회 2000년도 춘계 학술대회
• /
• pp.322-328
• /
• 2000

This study discusses cognition as a computable mapping in cognitive system and relates G del's Incompleteness Theorems to the computability of cognition from a metamathematical perspective. Understanding cognition as a from of computation requires not only Turing machine models but also neural network models. In previous studies of computation by cognitive systems, it is remarkable to note how little serious attention has been given to the issue of computation by neural networks with respect to G del's Incompleteness Theorems. To address this problem, first, we introduce a definition of cognition and cognitive science. Second, we deal with G del's view of computability, incompleteness and speed-up theorems, and then we interpret G del's disjunction on the mind and the machine. Third, we discuss cognition as a Turing computable function and its relation to G del's incompleteness. Finally, we investigate cognition as a neural computable function and its relation to G del's incompleteness. The results show that a second-order representing system can be implemented by a finite recurrent neural network. Hence one cannot prove the consistency of such neural networks in terms of first-order theories. Neural computability, theoretically, is beyond the computational incompleteness of Turing machines. If cognition is a neural computable function, then G del's incompleteness result does not limit the compytational capability of cognition in humans or in artifacts.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제14권4호
• /
• pp.276-287
• /
• 2014

Neural fuzzy system (NFS) is basically a fuzzy system that has been equipped with learning capability adapted from the learning idea used in neural networks. Due to their outstanding system modeling capability, NFS have been widely employed in various applications. In this article, we intend to discuss several ideas regarding the learning of NFS for modeling systems. The first issue discussed here is about structure learning techniques. Various ideas used in the literature are introduced and discussed. The second issue is about the use of recurrent networks in NFS to model dynamic systems. The discussion about the performance of such systems will be given. It can be found that such a delay feedback can only bring one order to the system not all possible order as claimed in the literature. Finally, the mechanisms and relative learning performance of with the use of the recursive least squares (RLS) algorithm are reported and discussed. The analyses will be on the effects of interactions among rules. Two kinds of systems are considered. They are the strict rules and generalized rules and have difference variances for membership functions. With those observations in our study, several suggestions regarding the use of the RLS algorithm in NFS are presented.

• Asia pacific journal of information systems
• /
• 제29권4호
• /
• pp.771-788
• /
• 2019

Deep learning techniques such as Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs) show superior performance in text classification than traditional approaches such as Support Vector Machines (SVMs) and Naïve Bayesian approaches. When using CNNs for text classification tasks, word embedding or character embedding is a step to transform words or characters to fixed size vectors before feeding them into convolutional layers. In this paper, we propose a parallel word-level and character-level embedding approach in CNNs for text classification. The proposed approach can capture word-level and character-level patterns concurrently in CNNs. To show the usefulness of proposed approach, we perform experiments with two English and three Korean text datasets. The experimental results show that character-level embedding works better in Korean and word-level embedding performs well in English. Also the experimental results reveal that the proposed approach provides better performance than traditional CNNs with word-level embedding or character-level embedding in both Korean and English documents. From more detail investigation, we find that the proposed approach tends to perform better when there is relatively small amount of data comparing to the traditional embedding approaches.

• 스마트미디어저널
• /
• 제11권3호
• /
• pp.26-30
• /
• 2022

스파이킹 신경망은 실제 두뇌 뉴런의 작동원리를 적용한 신경망으로, 뉴런의 생물학적 메커니즘으로 인해 기존 신경망보다 학습과 추론에 소모되는 전력이 적다. 최근 딥러닝 모델이 거대해지며 운용에 소모되는 비용 또한 기하급수적으로 증가함에 따라 스파이킹 신경망은 합성곱, 순환 신경망을 잇는 3세대 신경망으로 주목받으며 관련 연구가 활발히 진행되고 있다. 그러나 스파이킹 신경망 모델을 산업에 적용하기 위해서는 아직 선행되어야 할 연구가 많이 남아있고, 새로운 모델을 적용하기 위한 모델 재학습 문제 역시 해결해야 한다. 본 논문에서는 기존의 학습된 딥러닝 모델의 가중치를 추출하여 스파이킹 신경망 모델의 가중치로 변환하는 것으로 모델 재학습 비용을 최소화하는 방법을 제안한다. 또한, 변환된 가중치를 사용한 추론 결과와 기존 모델의 결과를 비교해 가중치 변환이 올바르게 작동함을 보인다.

• 전기전자학회논문지
• /
• 제24권2호
• /
• pp.523-528
• /
• 2020

스마트 모바일 장치의 확산은 인간의 일상 행동 분석을 보다 일반적이고 간단하게 만들었다. 행동 분석은 이미 본인 인증, 감시, 건강 관리 등 많은 분야에서 사용 중이고 그 유용성이 증명되었다. 본 논문에서는 스마트폰의 가속도 센서 신호를 사용하여 효율적이고 정확하게 행동 인식을 수행하는 합성곱 신경망(모델 A)과 순환 신경망까지 적용한(모델 B) 심층 신경망 모델을 제시한다. 모델 A는 batch normalization과 같은 단순한 기법만 적용해도 이전의 결과보다 더 작은 모델로 더 높은 성능을 달성할 수 있다는 것을 보인다. 모델 B는 시계열 데이터 모델링에 주로 사용되는 LSTM 레이어를 추가하여 예측 정확도를 더욱 높일 수 있음을 보인다. 이 모델은 29명의 피실험자를 대상으로 수집한 벤치마크 데이트 세트에서 종합 예측 정확도 97.16%(모델 A), 99.50%(모델 B)를 달성했다.

• 전자공학회논문지B
• /
• 제31B권11호
• /
• pp.163-169
• /
• 1994

본 논문에서는 기존의 循環神經回路網에서의 學習性能을 개선하고 局部최소해 문제를 해결하기 위한 노력의 일환으로서 附加적인 피드백 연결을 가진 순환신경회로망과 그 학습 알고리듬을 제안하였다. 이 방법에서는 회로망은 한번 반복하는동안 고정된 연결 가중치를 가지고, 주어진 時變人力과 初期條件下에서 주어진 週期동안 동작한다. 가중치는 最急降下法에 의해 총에너지가 가장 많이 감소하는 방향으로 변화된다. 만일 이러한 과정을 일정 반복횟수동안 수행한 후에도 에너지가 충분히 감소하지 않으면, 附加적인 피드백 연결이 도입되고 회로망의 외부입력이 주어진 식에 따라 다시 정의된다. 또한 제안된 회로망의 응용으로서 한국어 숫자음 인식에 대한 실험을 행하였다.

• 한국융합학회논문지
• /
• 제9권3호
• /
• pp.15-21
• /
• 2018

해양 뜰개는 해수면을 떠다니며 해양 기상 등을 관측하는 장비로, 뜰개를 통해 관측한 데이터는 해양 기상 예측, 유류유출 예측 등의 상황에서 활용된다. 관측 데이터는 관측 시에 오측(error data) 또는 결측(missing data)이 발생할 수 있으며, 오측 또는 결측된 데이터가 포함 될 경우, 데이터를 사용하는 모델들의 정확도가 떨어질 수 있다. 본 논문에서는 데이터 보정을 위한 방법으로 순환신경망을 이용한 데이터 보정 모델을 제안한다. 2015년 7개, 2016년 8개의 뜰개를 통해 수집한 해양 데이터를 이용한 보정 실험 결과와 보정 결과를 검증하기 위한 뜰개 이동 예측 실험을 설명하며, 실험 결과, 데이터 보정을 통해 13.9%의 데이터가 보정되었으며, 이동 예측 모델의 성능이 1.4% 향상되는 것을 보였다.