• The Journal of the Korea institute of electronic communication sciences
• /
• v.18 no.2
• /
• pp.299-304
• /
• 2023

Among artificial intelligence techniques, deep learning is a model that has been used in many places and has proven its effectiveness. However, deep learning models are not used effectively in everywhere. In this paper, we will show the limitations of deep learning models through comparison of regression analysis and deep learning models, and present a guide for effective use of deep learning models. In addition, among various techniques used for optimization of deep learning models, data normalization and data shuffling techniques, which are widely used, are compared and evaluated based on actual data to provide guidelines for increasing the accuracy and value of deep learning models.

• KIPS Transactions on Software and Data Engineering
• /
• v.10 no.4
• /
• pp.133-142
• /
• 2021

With the recent advancements of deep learning, companies such as smart home, healthcare, and intelligent transportation systems are utilizing its functionality to provide high-quality services for vehicle detection, emergency situation detection, and controlling energy consumption. To provide reliable services in such sensitive systems, deep learning models are required to have high accuracy. In order to develop a deep learning model for analyzing previously mentioned services, developers should utilize the state of the art deep learning models that have already been verified for higher accuracy. The developers can verify the accuracy of the referenced model by validating the model on the dataset. For this validation, the developer needs structural information to document and apply deep learning models, including metadata such as learning dataset, network architecture, and development environments. In this paper, we propose a description language that represents the network architecture of the deep learning model along with its metadata that are necessary to develop a deep learning model. Through the proposed description language, developers can easily verify the accuracy of the referenced deep learning model. Our experiments demonstrate the application scenario of a deep learning description document that focuses on the license plate recognition for the detection of illegally parked vehicles.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.07a
• /
• pp.89-92
• /
• 2022

본 논문에서는 딥러닝 모델 기반 보행자의 GPS 경로를 예측하는 시스템을 제안한다. 다양한 경로 예측 방식들 중 본 논문은 GPS 데이터 기반 경로 예측 연구이다. 시계열 데이터인 보행자의 GPS 경로를 학습하여 다음 경로를 예측하도록 하는 딥러닝 모델 기반 연구이다. 본 논문에서는 보행자의 GPS 경로를 딥러닝 모델이 학습할 수 있도록 데이터 구성 방식을 제시하였으며, 예측 범위에 큰 제약이 없는 예측 딥러닝 모델을 제안한다. 본 논문의 딥러닝 모델에 적합한 파라메터들을 제시하였으며, 우수한 예측 성능을 보이는 결과를 제시한다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2021.06a
• /
• pp.88-88
• /
• 2021

최근 수자원과 수질관리 분야에 자료기반 머신러닝 모델과 딥러닝 모델의 활용이 급증하고 있다. 그러나 딥러닝 모델은 Blackbox 모델의 특성상 고전적인 질량, 운동량, 에너지 보존법칙을 고려하지 않고, 데이터에 내재된 패턴과 관계를 해석하기 때문에 물리적 법칙을 만족하지 않는 예측결과를 가져올 수 있다. 또한, 딥러닝 모델의 예측 성능은 학습데이터의 양과 변수 선정에 크게 영향을 받는 모델이기 때문에 양질의 데이터가 제공되지 않으면 모델의 bias와 variation이 클 수 있으며 정확도 높은 예측이 어렵다. 최근 이러한 자료기반 모델링 방법의 단점을 보완하기 위해 프로세스 기반 수치모델과 딥러닝 모델을 결합하여 두 모델링 방법의 장점을 활용하는 연구가 활발히 진행되고 있다(Read et al., 2019). Process-Guided Deep Learning (PGDL) 방법은 물리적 법칙을 반영하여 딥러닝 모델을 훈련시킴으로써 순수한 딥러닝 모델의 물리적 법칙 결여성 문제를 해결할 수 있는 대안으로 활용되고 있다. PGDL 모델은 딥러닝 모델에 물리적인 법칙을 해석할 수 있는 추가변수를 도입하며, 딥러닝 모델의 매개변수 최적화 과정에서 Cost 함수에 물리적 법칙을 위반하는 경우 Penalty를 추가하는 알고리즘을 도입하여 물리적 보존법칙을 만족하도록 모델을 훈련시킨다. 본 연구의 목적은 대청호의 수심별 수온을 예측하기 위해 역학적 모델과 딥러닝 모델을 융합한 PGDL 모델을 개발하고 적용성을 평가하는데 있다. 역학적 모델은 2차원 횡방향 평균 수리·수질 모델인 CE-QUAL-W2을 사용하였으며, 대청호를 대상으로 2017년부터 2018년까지 총 2년간 수온과 에너지 수지를 모의하였다. 기상(기온, 이슬점온도, 풍향, 풍속, 운량), 수문(저수위, 유입·유출 유량), 수온자료를 수집하여 CE-QUAL-W2 모델을 구축하고 보정하였으며, 모델은 저수위 변화, 수온의 수심별 시계열 변동 특성을 적절하게 재현하였다. 또한, 동일기간 대청호 수심별 수온 예측을 위한 순환 신경망 모델인 LSTM(Long Short-Term Memory)을 개발하였으며, 종속변수는 수온계 체인을 통해 수집한 수심별 고빈도 수온 자료를 사용하고 독립 변수는 기온, 풍속, 상대습도, 강수량, 단파복사에너지, 장파복사에너지를 사용하였다. LSTM 모델의 매개변수 최적화는 지도학습을 통해 예측값과 실측값의 RMSE가 최소화 되로록 훈련하였다. PGDL 모델은 동일 기간 LSTM 모델과 동일 입력 자료를 사용하여 구축하였으며, 역학적 모델에서 얻은 에너지 수지를 만족하지 않는 경우 Cost Function에 Penalty를 추가하여 물리적 보존법칙을 만족하도록 훈련하고 수심별 수온 예측결과를 비교·분석하였다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.470-474
• /
• 2019

한글 OCR 성능을 높이기 위해 딥러닝 모델을 활용하여 문자인식 부분을 개선하고자 하였다. 본 논문에서는 폰트와 사전데이터를 사용해 딥러닝 모델 학습을 위한 한글 문장 이미지 데이터를 직접 생성해보고 이를 활용해서 한글 문장의 OCR 성능을 높일 다양한 모델 조합들에 대한 실험을 진행했다. 딥러닝 모델은 STR(Scene Text Recognition) 구조를 사용해 변환, 추출, 시퀀스, 예측 모듈 각 24가지 모델 조합을 구성했다. 딥러닝 모델을 활용한 OCR 실험 결과 한글 문장에 적합한 모델조합은 변환 모듈을 사용하고 시퀀스와 예측 모듈에는 BiLSTM과 어텐션을 사용한 모델조합이 다른 모델 조합에 비해 높은 성능을 보였다. 해당 논문에서는 이전 한글 OCR 연구와 비교해 적용 범위를 글자 단위에서 문장 단위로 확장하였고 실제 문서 이미지에서 자주 발견되는 유형의 데이터를 사용해 애플리케이션 적용 가능성을 높이고자 한 부분에 의의가 있다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2021.06a
• /
• pp.122-122
• /
• 2021

전 세계적인 기후변화로 인해 태풍과 집중호우의 빈도와 규모가 증가하고 있으며 그로 인해 수재해 대응과 수자원 관리에 많은 어려움이 따른다. 댐 운영은 이러한 수자원 관리의 중요한 요소이며 정확한 댐 유입량의 예측은 효율적인 댐 운영과 관리의 필수적인 부분이다. 최근에는 여러 분야에서 활용되고 있는 딥러닝 모델을 활용하여 댐 유입량 예측에 관한 다수의 연구들이 수행되고 있다. 특히, 수문 시계열의 장기적인 특성과 비선형적인 관계를 고려하기 위해 연속형 모의를 기반으로 하는 딥러닝 모델의 적용 및 평가와 관련 연구의 필요성이 대두되고 있다. 본 연구에서는 연속형 모의를 기반으로 하는 딥러닝 모델을 활용하여 댐 유입량 예측을 수행하고자 하며 이의 적용성을 평가하고자 한다. 적용 대상 지역으로는 안동댐 상류 유역을 선정하였으며 2006년부터 2020년까지의 시 단위 강우 및 댐 유입량 자료를 활용하였다. 선행시간(1~6시간)별 예측 유입량과 관측 유입량의 비교를 통한 정량적 평가를 수행하였다. 또한 입력 자료에 대한 과거 기간, 모델 구성, 손실함수 등에 대한 조건별 평가를 통해 예측 정확도의 변화에 대한 분석을 수행하였다. 본 연구결과를 통해, 딥러닝 기반의 댐 유입량 예측 정확도에 대한 향상과 실시간 예측을 위한 딥러닝 모델의 활용성 증대에 기여할 것으로 기대된다. 향후, 강우 예보 자료를 연계한 딥러닝 기반의 실시간 댐 유입량 예측 기법을 제안하고 이의 활용성을 평가하고자 한다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2022.05a
• /
• pp.304-304
• /
• 2022

가뭄은 인간 활동과 생태계의 다양한 측면에 영향을 미치는 중요한 자연재해 중 하나이다. 가뭄을 사전에 예측하여 필요한 완화 조치를 취하고 환경적 피해를 줄이는 것이 중요하다. 이에 따라 다양한 인공지능 기술을 이용한 가뭄 예측은 수문학, 수자원 관리, 농업 등의 분야에서 중요성이 커지고 있다. 최근에는 딥러닝 알고리즘을 기반으로 하는 중장기 강수예보를 위한 다양한 방법이 제시되고 있다. 이 논문의 목적은 가뭄 예보를 목적으로 월 강수량 예측을 위한 딥러닝 모델의 성능을 평가하는 것이다. 이를 위해 딥러닝 모델인 LSTM(Long Short-Term Memory)을 적용하였으며, 1981-2020년 기간의 월 강수 자료가 모델을 구축하기 위해 사용되었다. 관측자료를 기반으로 학습된 모델을 이용하여 테스트 기간에 대해 월 강수량을 예측하였다. 예측된 강수량을 통해 표준강수지수(Standardized Precipitation Index, SPI)을 산정하고, 예측 정확도를 분석하였다. 이 연구는 가뭄 예보를 위한 딥러닝 모델의 적용 가능성을 보여준다.

• Journal of the Korean Society of Radiology
• /
• v.81 no.6
• /
• pp.1274-1289
• /
• 2020

Deep learning has recently become one of the most actively researched technologies in the field of medical imaging. The availability of sufficient data and the latest advances in algorithms are important factors that influence the development of deep learning models. However, several other factors should be considered in developing an optimal generalized deep learning model. All the steps, including data collection, labeling, and pre-processing and model training, validation, and complexity can affect the performance of deep learning models. Therefore, appropriate optimization methods should be considered for each step during the development of a deep learning model. In this review, we discuss the important factors to be considered for the optimal development of deep learning models.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.05a
• /
• pp.576-578
• /
• 2022

딥러닝 기술의 발전으로 객체 인색, 영상 분석에 관한 성능이 비약적으로 발전하였다. 하지만 고성능 GPU 를 사용하는 컴퓨팅 환경이 아닌 제한적인 엣지 디바이스 환경에서의 영상 처리 및 딥러닝 모델의 적용을 위해서는 엣지 디바이스에서 딥러닝 모델 실행 환경 과 이에 대한 분석이 필요하다. 본 논문에서는 RISC-V ISA 를 구현한 RISC-V 가상 플랫폼에 yolov3-tiny 모델 기반 객체 인식 시스템을 소프트웨어 레벨에서 포팅하여 구현하고, 샘플 이미지에 대한 네트워크 딥러닝 연산 및 객체 인식 알고리즘을 적용하여 그 결과를 도출하여 보았다. 본 적용을 바탕으로 RISC-V 기반 임베디드 엣지 디바이스 플랫폼에서 딥러닝 네트워크 연산과 객체 인식 알고리즘의 수행에 대한 분석과 딥러닝 연산 최적화를 위한 알고리즘 연구에 활용할 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.05a
• /
• pp.530-531
• /
• 2023

딥러닝에서 지식 증류 기법은 큰 모델의 지식을 작은 모델로 전달하여 작은 모델의 성능을 개선하는 방식이다. 지식 증류 기법은 모델 경량화, 학습 속도 향상, 학습 정확도 향상 등에 활용될 수 있는데, 교사 모델이라 불리는 큰 모델은 일반적으로 학습된 딥러닝 모델을 사용한다. 본 연구에서는 학습된 딥러닝 모델 대신에 수치 기반 시뮬레이션 모델을 사용함으로써 어떠한 효과가 있는지 검증하였으며, 수치 모델을 활용한 기상 예측 모델에서의 지식 증류는 기존 단독 딥러닝 모델 학습 대비 더 작은 학습 횟수(epoch)에서도 동일한 에러 수준(RMSE)까지 도달하여, 학습 속도 측면에서 이득이 있음을 확인하였다.