• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2019년도 학술발표회
• /
• pp.320-320
• /
• 2019

유역의 수문 자료를 정확하게 분석하는 것은 수리 구조물을 효율적으로 운영하기 위한 중요한 요소이다. 인공신경망(Artificial Neural Networks, ANNs) 모형은 입 출력 자료의 비선형적인 관계를 해석할 수 있는 모형으로 강우-유출 해석 등 수문 분야에 다양하게 적용되어 왔다. 이후 기존의 인공신경망 모형을 연속적인(sequential) 자료의 분석에 더 적합하도록 개선한 회귀신경망(Recurrent Neural Networks, RNNs) 모형과 회귀신경망 모형의 '장기 의존성 문제'를 개선한 장단기메모리(Long Short-Term Memory Networks, 이하 LSTM)가 차례로 제안되었다. LSTM은 최근에 주목받는 딥 러닝(Deep learning) 기법의 하나로 수문 자료와 같은 시계열 자료의 분석에 뛰어난 성능을 보일 것으로 예상되며, 수문 분야에서 이에 대한 적용성 평가가 요구되고 있다. 본 연구에서는 인공신경망 모형과 LSTM 모형으로 유출량을 모의하여 두 모형의 성능을 비교하고 향후 LSTM 모형의 활용 가능성을 검토하고자 하였다. 나주 수위관측소의 수위 자료와 인접한 기상관측소의 강우량 자료로 모형의 입 출력 자료를 구성하여 강우 사상에 대한 시간별 유출량을 모의하였다. 연구 결과, 1시간 후의 유출량에 대해서는 두 모형 모두 뛰어난 모의 능력을 보였으나, 선행 시간이 길어질수록 LSTM의 정확성은 유지되는 반면 인공신경망 모형의 정확성은 점차 떨어지는 것으로 나타났다. 앞으로의 연구에서 유역 내 다양한 수리 구조물에 의한 유 출입량을 추가로 고려한다면 LSTM 모형의 활용성을 보다 더 확장할 수 있을 것이다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권7호
• /
• pp.440-445
• /
• 2017

전자상거래 발전에 따라 온라인 쇼핑을 이용하는 사람들이 증가하였고 제품 또한 다양해지고 있다. 이러한 추세로 구매자가 만족할 수 있는 정확한 추천시스템의 중요성이 증대되었으며 정확도를 높이기 위한 새로운 방법의 연구가 계속되고 있다. 순환신경망은 시퀀스 학습에 적합한 딥 러닝 방법 중 하나이며 본 연구에서는 추천시스템의 정확도를 높이는 방법으로 구매자의 제품 접근순서를 순환신경망에 적용하여 알고리즘 성능평가를 하였다. 알고리즘 성능평가에는 대표적인 순환신경망 알고리즘과 최적화 알고리즘으로 진행하였다. 순환신경망 알고리즘으로는 RNN, LSTM, GRU 그리고 최적화 알고리즘으로는 Adagrad, RMSProp, Adam optimizer를 사용하였다. 실험 도구로는 구글의 오픈소스 라이브러리인 텐서플로우를 사용하였고 데이터는 RecSys Challenge 2015에서 제공하는 e-commerce session 데이터를 활용하였다. 실험 결과 실험 데이터에 적합한 최적의 하이퍼파라미터를 발굴하고 적용하여 RecSys Challenge 2015 참가자들의 결과와 비교하였다. 상품 접근 순서만을 학습시킨 결과이기 때문에 등수가 높지는 않았지만 기존 추천시스템에 접목한다면 정확도 향상에 기여할 수 있을 것으로 보인다.

• Asia pacific journal of information systems
• /
• 제29권4호
• /
• pp.771-788
• /
• 2019

Deep learning techniques such as Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs) show superior performance in text classification than traditional approaches such as Support Vector Machines (SVMs) and Naïve Bayesian approaches. When using CNNs for text classification tasks, word embedding or character embedding is a step to transform words or characters to fixed size vectors before feeding them into convolutional layers. In this paper, we propose a parallel word-level and character-level embedding approach in CNNs for text classification. The proposed approach can capture word-level and character-level patterns concurrently in CNNs. To show the usefulness of proposed approach, we perform experiments with two English and three Korean text datasets. The experimental results show that character-level embedding works better in Korean and word-level embedding performs well in English. Also the experimental results reveal that the proposed approach provides better performance than traditional CNNs with word-level embedding or character-level embedding in both Korean and English documents. From more detail investigation, we find that the proposed approach tends to perform better when there is relatively small amount of data comparing to the traditional embedding approaches.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제10권3호
• /
• pp.71-80
• /
• 2021

기계학습에서 정확한 데이터 예측을 위해서는 적절한 인공신경망 알고리즘을 선택해야 한다. 이러한 알고리즘에는 심층 신경망 (DNN), 반복 신경망 (RNN), 장단기 기억 (LSTM) 네트워크 및 게이트 반복 단위 (GRU) 신경망등을 들 수 있다. 개발자가 실험을 위해, 하나를 선택해야 하는 경우, 각 알고리즘의 성능에 대한 충분한 정보가 없었기 때문에, 직관에 의존할 수 밖에 없었다. 본 연구에서는 이러한 어려움을 완화하기 위해 실험을 통해 예측 오류(RMSE)와 처리 시간을 비교 평가 하였다. 각 알고리즘은 텐서플로우를 이용하여 구현하였으며, 세금 데이터를 사용하여 학습을 수행 하였다. 학습 된 모델을 사용하여, 세금 예측을 수행 하였으며, 실제값과의 비교를 통해 정확도를 측정 하였다. 또한, 활성화 함수와 다양한 최적화 함수들이 알고리즘에 미치는 영향을 비교 분석 하였다. 실험 결과, GRU 및 LSTM 알고리즘의 경우, RMSE(Root Mean Sqaure Error)는 0.12이고 R2값은 각각 0.78 및 0.75로 다른 알고리즘에 비해 더 낳은 성능을 보여 주었다. 기본 심층 신경망(DNN)의 경우, 처리 시간은 가장 낮지만 예측 오류는 0.163로 성능은 가장 낮게 측정 되었다. 최적화 알고리즘의 경우, 아담(Adam)이 오류 측면에서 최고의 성능을, 처리 시간 측면에서 최악의 성능을 보여 주었다. 본 연구의 연구결과는 데이터 예측을 위한 알고리즘 선택시, 개발자들에게 유용한 정보로 사용될 것으로 예상된다.

• ETRI Journal
• /
• 제39권5호
• /
• pp.652-661
• /
• 2017

A mention has a noun or noun phrase as its head and constructs a chunk that defines any meaning, including a modifier. Mention detection refers to the extraction of mentions from a document. In mentions, coreference resolution refers to determining any mentions that have the same meaning. Pointer networks, which are models based on a recurrent neural network encoder-decoder, outputs a list of elements corresponding to an input sequence. In this paper, we propose mention detection using pointer networks. This approach can solve the problem of overlapped mention detection, which cannot be solved by a sequence labeling approach. The experimental results show that the performance of the proposed mention detection approach is F1 of 80.75%, which is 8% higher than rule-based mention detection, and the performance of the coreference resolution has a CoNLL F1 of 56.67% (mention boundary), which is 7.68% higher than coreference resolution using rule-based mention detection.

• 한국전자통신학회논문지
• /
• 제18권6호
• /
• pp.1259-1268
• /
• 2023

본 연구는 딥러닝의 합성곱과 순환신경망 네트워크를 기반으로 시각센서를 이용해 속도(Throttle)와 조향(Steering) 제어 기술을 제안한다. 학습 트랙을 시계, 반시계 방향으로 주행하며 카메라 영상 이미지와 조종 값 데이터를 수집하고 효율적인 학습을 위해 데이터 샘플링, 전처리 과정을 거쳐 Throttle과 Steering을 예측하는 모델을 생성한다. 이후 학습에 사용되지 않은 다른 환경의 테스트 트랙을 통해 검증을 진행하여 최적의 모델을 찾고 이를 CNN(Convolutional Neural Network)과 비교하였다. 그 결과 제안하는 딥러닝 모델의 성능이 뛰어남을 확인했다.

• 디지털산업정보학회논문지
• /
• 제17권4호
• /
• pp.53-62
• /
• 2021

Deep learning models such as convolutional neural networks and recurrent neual networks process a huge amounts of data, so they require a lot of storage and consume a lot of time and power due to memory access. Recently, research is being conducted to reduce memory usage and access by compressing data using the feature that many of deep learning data are highly sparse and localized. In this paper, we propose a compression-decompression method of storing only the non-zero data and the location information of the non-zero data excluding zero data. In order to make the location information of non-zero data, the matrix data is divided into sections uniformly. And whether there is non-zero data in the corresponding section is indicated. In this case, section division is not executed only once, but repeatedly executed, and location information is stored in each step. Therefore, it can be properly compressed according to the ratio and distribution of zero data. In addition, we propose a hardware structure that enables compression and decompression without complex operations. It was designed and verified with Verilog, and it was confirmed that it can be used in hardware deep learning accelerators.

• Journal of Information Processing Systems
• /
• 제17권2호
• /
• pp.242-252
• /
• 2021

Following the intuition that the local information in time instances is hardly incorporated into the posterior sequence in long short-term memory (LSTM), this paper proposes an attention augmented mechanism for fault diagnosis of the complex chemical process data. Unlike conventional fault diagnosis and classification methods, an attention mechanism layer architecture is introduced to detect and focus on local temporal information. The augmented deep network results preserve each local instance's importance and contribution and allow the interpretable feature representation and classification simultaneously. The comprehensive comparative analyses demonstrate that the developed model has a high-quality fault classification rate of 95.49%, on average. The results are comparable to those obtained using various other techniques for the Tennessee Eastman benchmark process.

• International Journal of Computer Science & Network Security
• /
• 제23권11호
• /
• pp.73-76
• /
• 2023

We introduce DCNN and DRAE appraoches for compression of medical videos, in order to decrease file size and storage requirements, there is an increasing need for medical video compression nowadays. Using a lossy compression technique, a higher compression ratio can be attained, but information will be lost and possible diagnostic mistakes may follow. The requirement to store medical video in lossless format results from this. The aim of utilizing a lossless compression tool is to maximize compression because the traditional lossless compression technique yields a poor compression ratio. The temporal and spatial redundancy seen in video sequences can be successfully utilized by the proposed DCNN and DRAE encoding. This paper describes the lossless encoding mode and shows how a compression ratio greater than 2 (2:1) can be achieved.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권1호
• /
• pp.11-18
• /
• 2022

신약 디자인은 단백질 수용체와 같은 생물학적 표적과 상호작용할 수 있는 약물 후보물질을 식별하는 과정이다. 전통적인 신약 디자인 연구는 약물 후보 물질 탐색과 약물 개발 단계로 구성되어 있으나, 하나의 신약을 개발하기 위해서는 10년 이상의 장시간이 요구된다. 이러한 기간을 단축하고 효율적으로 신약 후보 물질을 발굴하기 위하여 심층 학습 기반의 방법들이 연구되고 있다. 많은 심층학습 기반의 모델들은 SMILES 문자열로 표현된 화합물을 재귀신경망을 통해 학습 및 생성하고 있으나, 재귀신경망은 훈련시간이 길고 복잡한 분자식의 규칙을 학습시키기 어려운 단점이 있어서 개선의 여지가 남아있다. 본 연구에서는 self-attention과 variational autoencoder를 활용하여 SMILES 문자열을 생성하는 딥러닝 모델을 제안한다. 제안된 모델은 최신 신약 디자인 모델 대비 훈련 시간을 1/26로 단축하는 것뿐만 아니라 유효한 SMILES를 더 많이 생성하는 것을 확인하였다.