• International journal of advanced smart convergence
• /
• 제12권2호
• /
• pp.56-66
• /
• 2023

The goal of deep learning is to extract complex features from multidimensional data use the features to create models that connect input and output. Deep learning is a process of learning nonlinear features and functions from complex data, and the user data that is employed to train deep learning models has become the focus of privacy concerns. Companies that collect user's sensitive personal information, such as users' images and voices, own this data for indefinite period of times. Users cannot delete their personal information, and they cannot limit the purposes for which the data is used. The study has designed a deep learning method that employs privacy protection technology that uses distributed collaborative learning so that multiple participants can use neural network models collaboratively without sharing the input datasets. To prevent direct leaks of personal information, participants are not shown the training datasets during the model training process, unlike traditional deep learning so that the personal information in the data can be protected. The study used a method that can selectively share subsets via an optimization algorithm that is based on modified distributed stochastic gradient descent, and the result showed that it was possible to learn with improved learning accuracy while protecting personal information.

• 한국전자통신학회논문지
• /
• 제18권2호
• /
• pp.299-304
• /
• 2023

인공지능 기법 중에서 딥러닝은 많은 곳에서 사용되어 효과가 입증된 모델이다. 하지만, 딥러닝 모델이 모든 곳에서 효과적으로 사용되는 것은 아니다. 이번 논문에서는 회귀분석과 딥러닝 모델의 비교를 통하여 딥러닝 모델이 가지는 한계점을 보여주고, 딥러닝 모델의 효과적인 사용을 위한 가이드를 제시하고자 한다. 추가로 딥러닝 모델의 최적화를 위해 사용되는 다양한 기법 중, 많이 사용되는 데이터 정규화와 데이터 셔플링 기법을 실제 데이터를 기반으로 비교 평가하여 딥러닝 모델의 정확성과 가치를 높이기 위한 기준을 제시하고자 한다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2023년도 학술발표회
• /
• pp.165-165
• /
• 2023

Streamflow prediction is a critical task in water resources management and essential for planning and decision-making purposes. However, the streamflow prediction is challenging due to the complexity and non-linear nature of hydrological processes. The transfer learning is a powerful technique that enables a model to transfer knowledge from a source domain to a target domain, improving model performance with limited data in the target domain. In this study, we apply the transfer learning using the Informer model, which is a state-of-the-art deep learning model for streamflow prediction. The model was trained on a large-scale hydrological dataset in the source basin and then fine-tuned using a smaller dataset available in the target basin to predict the streamflow in the target basin. The results demonstrate that transfer learning using the Informer model significantly outperforms the traditional machine learning models and even other deep learning models for streamflow prediction, especially when the target domain has limited data. Moreover, the results indicate the effectiveness of streamflow prediction when knowledge transfer is used to improve the generalizability of hydrologic models in data-sparse regions.

• 전자통신동향분석
• /
• 제34권2호
• /
• pp.40-50
• /
• 2019

Considerable accuracy improvements in deep learning have recently been achieved in many applications that require large amounts of computation and expensive memory. However, recent advanced techniques for compacting and accelerating the deep learning model have been developed for deployment in lightweight devices with constrained resources. Lightweight deep learning techniques can be categorized into two schemes: lightweight deep learning algorithms (model simplification and efficient convolutional filters) in nature and transferring models into compact/small ones (model compression and knowledge distillation). In this report, we briefly summarize various lightweight deep learning techniques and possible research directions.

• 한국컴퓨터정보학회논문지
• /
• 제27권8호
• /
• pp.61-68
• /
• 2022

본 논문에서는 딥러닝 모델 기반 보행자의 GPS 경로를 예측하는 시스템을 제안한다. 보행자 경로 예측은 보행자의 위험 및 충돌 상황들을 알림을 통해 방지할 수 있으며, 다양한 마케팅 등 비즈니스 면에서도 영향을 끼치는 연구이다. 또한 보행자 뿐 아니라 많은 각광을 받고 있는 무인 이동수단의 경로 예측에도 활용될 수 있다. 다양한 경로 예측 방식들 중 본 논문은 GPS 데이터를 활용하여 경로를 예측하는 연구이다. 시계열 데이터인 보행자의 GPS 경로를 학습하여 다음 경로를 예측하도록 하는 딥러닝 모델 기반 연구이다. 본 논문에서는 보행자의 GPS 경로를 딥러닝 모델이 학습할 수 있도록하는 데이터 셋 구성 방식을 제시하였으며, 예측 범위에 큰 제약이 없는 경로 예측 딥러닝 모델을 제안한다. 본 연구의 경로 예측 딥러닝 모델에 적합한 파라메터들을 제시하였으며, 우수한 예측 성능을 보이는 결과를 제시한다.

• Journal of Forest and Environmental Science
• /
• 제40권1호
• /
• pp.15-23
• /
• 2024

This research aimed to assess the possibility of detecting forest degradation using time-series satellite imagery and three different deep learning-based change detection techniques. The dataset used for the deep learning models was composed of two sets, one based on surface reflectance (SR) spectral information from satellite imagery, combined with Texture Information (GLCM; Gray-Level Co-occurrence Matrix) and terrain information. The deep learning models employed for land cover change detection included image differencing using the Unet semantic segmentation model, multi-encoder Unet model, and multi-encoder Unet++ model. The study found that there was no significant difference in accuracy between the deep learning models for forest degradation detection. Both training and validation accuracies were approx-imately 89% and 92%, respectively. Among the three deep learning models, the multi-encoder Unet model showed the most efficient analysis time and comparable accuracy. Moreover, models that incorporated both texture and gradient information in addition to spectral information were found to have a higher classification accuracy compared to models that used only spectral information. Overall, the accuracy of forest degradation extraction was outstanding, achieving 98%.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 춘계학술대회
• /
• pp.72-74
• /
• 2021

다양한 분야에서 현재 활용되고 있는 딥러닝 과정은 데이터 준비, 데이터 전처리, 모델 생성, 모델 학습, 모델 평가로 구성 된다. 이중 모델 학습 과정에서 손실함수는 모델이 학습하면서 출력한 값을 실제 값과 비교하여 그 차이를 출력하게 되고, 출력된 손실값을 기반으로 모델은 역전파 알고리즘을 통해 손실값이 감소하는 방향으로 가중치를 수정해가며 학습을 진행한다. 본 논문에서는 바이오마커 추출을 위한 딥러닝 모델에서 사용될 신경망 출력 값의 손실도를 측정하여 출력해주는 다양한 손실함수를 분석하고 실험을 통해 최적의 손실함수를 찾아내고자 한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권4호
• /
• pp.1738-1764
• /
• 2019

With the advent of big data, deep learning technology has become an important research direction in the field of machine learning, which has been widely applied in the image processing, natural language processing, speech recognition and online advertising and so on. This paper introduces deep learning techniques from various aspects, including common models of deep learning and their optimization methods, commonly used open source frameworks, existing problems and future research directions. Firstly, we introduce the applications of deep learning; Secondly, we introduce several common models of deep learning and optimization methods; Thirdly, we describe several common frameworks and platforms of deep learning; Finally, we introduce the latest acceleration technology of deep learning and highlight the future work of deep learning.

• 부동산연구
• /
• 제27권3호
• /
• pp.71-86
• /
• 2017

본 연구의 목적은 딥 러닝 방법을 부동산가격지수 예측에 적용해보고, 기존의 시계열분석 방법과의 비교를 통해 부동산 시장 예측의 새로운 방법으로서 활용가능성을 확인하는 것이다. 딥 러닝(deep learning)방법인 DNN(Deep Neural Networks)모형 및 LSTM(Long Shot Term Memory networks)모형과 시계열분석 방법인 ARIMA(autoregressive integrated moving average)모형을 이용하여 여러 가지 부동산가격지수에 대한 예측을 시도하였다. 연구결과 첫째, 딥 러닝 방법의 예측력이 시계열분석 방법보다 우수한 것으로 나타났다. 둘째, 딥 러닝 방법 중에서는 DNN모형의 예측력이 LSTM모형의 예측력보다 우수하나 그 정도는 미미한 수준인 것으로 나타났다. 셋째, 딥 러닝 방법과 ARIMA모형은 부동산 가격지수(real estate price index) 중 아파트 실거래가격지수(housing sales price index)에 대한 예측력이 가장 부족한 것으로 나타났다. 향후 딥 러닝 방법을 활용함으로써 부동산 시장에 대한 예측의 정확성을 제고할 수 있을 것으로 기대된다.

• 정보보호학회논문지
• /
• 제31권6호
• /
• pp.1227-1236
• /
• 2021

딥러닝 분류 모델에 대한 공격 중 하나인 적대적 공격은 입력 데이터에 인간이 구별할 수 없는 섭동을 추가하여 딥러닝 분류 모델이 잘못 분류하도록 만드는 공격이며, 다양한 적대적 공격 알고리즘이 존재한다. 이에 따라 적대적 데이터를 탐지하는 연구는 많이 진행되었으나 적대적 데이터가 어떤 적대적 공격 알고리즘에 의해 생성되었는지 분류하는 연구는 매우 적게 진행되었다. 적대적 공격을 분류할 수 있다면, 공격 간의 차이를 분석하여 더욱 견고한 딥러닝 분류 모델을 구축할 수 있을 것이다. 본 논문에서는 공격 대상 딥러닝 모델이 예측하는 클래스를 기반으로 은닉층의 출력값에서 특징을 추출하고 추출된 특징을 입력으로 하는 랜덤 포레스트 분류 모델을 구축하여 적대적 공격을 탐지 및 분류하는 모델을 제안한다. 실험 결과 제안한 모델은 최신의 적대적 공격 탐지 및 분류 모델보다 정상 데이터의 경우 3.02%, 적대적 데이터의 경우 0.80% 높은 정확도를 보였으며, 기존 연구에서 분류하지 않았던 새로운 공격을 분류한다.