• 한국음향학회지
• /
• 제39권6호
• /
• pp.505-514
• /
• 2020

심층 신경망(Deep Neural Network, DNN) 모델을 대량의 학습 데이터로 학습시키기 위해서는 많은 시간이 소요되기 때문에 병렬 학습 방법이 필요하다. DNN의 학습에는 일반적으로 Stochastic Gradient Descent(SGD) 방법이 사용되는데, SGD는 근본적으로 순차적인 처리가 필요하므로 병렬화하기 위해서는 다양한 근사(approximation) 방법을 적용하게 된다. 본 논문에서는 기존의 DNN 병렬 학습 알고리즘들을 소개하고 연산량, 통신량, 근사 방법 등을 분석한다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2017년도 학술발표회
• /
• pp.392-395
• /
• 2017

본 연구에서는 일 증발접시 증발량 산정을 위한 딥러닝 (deep learning) 모형의 적용성을 평가하였다. 본 연구에서 적용된 딥러닝 모형은 deep belief network (DBN) 기반 deep neural network (DNN) (DBN-DNN) 모형이다. 모형 적용성 평가를 위하여 부산 관측소에서 측정된 기상자료를 활용하였으며, 증발량과의 상관성이 높은 기상변수들 (일사량, 일조시간, 평균지상온도, 최대기온)의 조합을 고려하여 입력변수집합 (Set 1, Set 2, Set 3)별 모형을 구축하였다. DBN-DNN 모형의 성능은 통계학적 모형성능 평가지표 (coefficient of efficiency, CE; coefficient of determination, $r^2$; root mean square error, RMSE; mean absolute error, MAE)를 이용하여 평가되었으며, 기존의 두가지 형태의 ANN (artificial neural network), 즉 모형학습 시 SGD (stochastic gradient descent) 및 GD (gradient descent)를 각각 적용한 ANN-SGD 및 ANN-GD 모형과 비교하였다. 효과적인 모형학습을 위하여 각 모형의 초매개변수들은 GA (genetic algorithm)를 이용하여 최적화하였다. 그 결과, Set 1에 대하여 ANN-GD1 모형, Set 2에 대하여 DBN-DNN2 모형, Set 3에 대하여 DBN-DNN3 모형이 가장 우수한 모형 성능을 나타내는 것으로 분석되었다. 비록 비교 모형들 사이의 모형성능이 큰 차이를 보이지는 않았으나, 모든 입력집합에 대하여 DBN-DNN3, DBN-DNN2, ANN-SGD3 순으로 모형 효율성이 우수한 것으로 나타났다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권8호
• /
• pp.3519-3533
• /
• 2020

Tuberculosis is a chronic and delayed infection which is easily experienced by young people. According to the statistics of the World Health Organization (WHO), there are nearly ten million fell ill with tuberculosis and a total of 1.5 million people died from tuberculosis in 2018 (including 251000 people with HIV). Tuberculosis is the largest single infectious pathogen that leads to death. In order to help doctors with tuberculosis diagnosis, we compare the tuberculosis classification abilities of six popular convolutional neural network (CNN) models in the same data set to find the best model. Before training, we optimize three parts of CNN to achieve better results. We employ sigmoid function to replace the step function as the activation function. What's more, we use binary cross entropy function as the cost function to replace traditional quadratic cost function. Finally, we choose stochastic gradient descent (SGD) as gradient descent algorithm. From the results of our experiments, we find that Densenet121 is most suitable for tuberculosis diagnosis and achieve a highest accuracy of 0.835. The optimization and expansion depend on the increase of data set and the improvements of Densenet121.

• Journal of the Korean Data and Information Science Society
• /
• 제28권5호
• /
• pp.1125-1132
• /
• 2017

가뭄의 심도와 빈도가 강해지는 상황에서 가뭄예측을 위한 연구가 지속적으로 이루어지고 있으나 가뭄현상의 시간적 변동이 비선형적이며 복잡하여 단일 모형만으로 예측하기에는 한계가 있다. 이 연구에서는 기상가뭄지수인 표준강수지수 (SPI)와 세계기후지수, 날씨 관련 변수 등과 같은 다양한 설명변수들 사이의 관계를 설명할 선행 모형과 가법 모형을 먼저 구축한 후 앙상블 기법 중 확률 기울기 하강 (stochastic gradient descent; SGD) 방법을 이용하여 가중치를 설정하는 결합모형을 구축하였다. 우리나라 14개 지역에 대한 1954년 ~ 2013년 자료를 이용하여 모형을 구축하고 2014년 ~ 2015년 자료를 이용하여 모형의 성능을 비교하였다. 그 결과 14개 지역 중 8개 지역에 대하여 개별 모형에 비해 결합모형의 성능이 좋았으며 가뭄 예측이 개선되었다.

• 정보관리학회지
• /
• 제38권2호
• /
• pp.113-127
• /
• 2021

본 연구는 대학 도서관 사용 증진을 위하여 개인별 맞춤 도서 추천시스템을 구축하는 것을 목적으로 한다. 특히 사용자의 아이템에 대한 선호도가 존재하는 다수의 추천시스템과는 달리, 선호도가 존재하지 않을 때에 도서 추천이 가능하도록 하는 방안인 도서관 이용자의 도서 대출 목록과 성향을 활용하여 평가지표를 생성하는 방법을 제안하고자 한다. 이용자가 아직 읽지 않은 책에 대한 예상 선호도를 산출하는 방식으로 도서를 추천하는 행렬 분해 방법인 Singular Value Decomposition(SVD)과 Stochastic Gradient Descent(SGD) 알고리즘을 활용한 모델을 구축했다. 더불어 유사도가 높은 이용자 그룹 내의 도서 대출 목록을 참조하여 추천하는 사용자 기반 협업 필터링 알고리즘을 활용해 모델을 구현했다. 최종적으로 평가지표를 활용한 세 가지 모델에 대하여 사용자 평가를 진행했다. 각각의 모델이 제시한 개인별 맞춤 도서 다섯 권의 목록을 해당 대출자에게 제공하고, 추천 도서에 대한 만족/불만족 여부를 이진화 점수화하여 모델에 대한 평가를 진행했다.

• 한국산학기술학회논문지
• /
• 제21권8호
• /
• pp.521-529
• /
• 2020

산불은 경제, 자연환경, 건강과 같은 삶의 여러 측면에서 몇 가지 악영향을 주는 가장 핵심적인 환경위험 중의 하나이다. 산불의 조기발견, 빠른 예측, 신속한 대응은 산불 위험으로부터 재산과 생명을 구하는데 본질적인 역할을 할 수 있다. 산불의 빠른 발견을 위해 기상청에서 각 지역에 설치한 로컬 센서를 통해 획득한 기상 데이터를 이용하는 방법이 있다. 기상 조건(예: 온도, 바람)은 산불 발생에 영향을 미친다고 알려져 있다. 본 논문에서는 산불의 피해 면적을 예측하기 위해 데이터 마이닝(DM) 기법을 적용한다. 다섯 종류의 DM 모델, 예를 들어 Stochastic Gradient Descent(SGD), Support Vector Machines(SVM), Decision Tree(DT), Random Forests(RF), Deep Neural Network(DNN)과 네 가지 입력 특성 그룹(공간, 시간, 기상 데이터 이용)을 최근 5년간의 경기도 지역에서 수집한 실제 산불 발생 데이터에 적용하였다. 실험결과는 기상 데이터만을 이용한 DNN 모델이 가장 우수한 성능을 보였다. 제안한 모델은 빈도수가 높은 작은 규모의 산불 예측에 더 효과적이었다. 제안한 예측 모델을 통해 도출된 이러한 지식은 소방 자원 관리를 개선하는데 특히 유용하다.

• 대한원격탐사학회지
• /
• 제38권6_1호
• /
• pp.1329-1341
• /
• 2022

해양환경 및 해양생태계를 파괴하고 해양사고의 원인이 되는 해양쓰레기는 매년 늘어나고 있으나 그 중 해양침적쓰레기는 해저에 위치해 있어 파악과 수거에 어려움이 있다. 이에 효율적인 수거와 분포량 파악을 위해 수중촬영 이미지를 이용하여 폐그물과 폐밧줄을 대상으로 딥러닝 기반의 의미론적 분할을 실험하였다. 분할에는 최신 딥러닝 기법인 high-resolution network (HRNet)을 사용하고 최적화 알고리즘(optimizer) 별 성능 비교를 하였다. 분할 결과 그물에서는 adaptive moment estimation (Adam), Momentum, stochastic gradient descent(SGD) 순으로 F1 score=(86.46%, 86.20%, 85.29%), IoU=(76.15%, 75.74%, 74.36%) 이며, 밧줄은 F1 score=(80.49%, 80.48%, 77.86%), IoU=(67.35%, 67.33%, 63.75%)로 그물과 밧줄에서 모두 Adam의 결과가 가장 높게 나타났다. 연구 결과를 통해 optimizer 별 분할 성능 평가와 최신 딥러닝 기법의 해양침적쓰레기 분할에 대한 가능성을 확인하였다. 이에 따라 수중촬영 이미지를 통한 해양침적쓰레기 식별에 최신 딥러닝 기법을 적용시킴으로써 육안을 통한 식별보다 정확하고 효율적인 식별을 통해 해양침적쓰레기의 분포량 산정에 기여할 수 있을 것으로 사료된다.

• 디지털융복합연구
• /
• 제20권4호
• /
• pp.389-396
• /
• 2022

딥러닝(Deep Learning)은 퍼셉트론을 기반으로 하고 있으며 현재에는 이미지 인식, 음성 인식, 객체 검출 및 약물 개발 등과 같은 다양한 영역에서 사용되고 있다. 이에 따라 학습 알고리즘이 다양하게 제안되었고 신경망을 구성하는 뉴런수도 연구자마다 많은 차이를 보이고 있다. 본 연구는 현재 대표적으로 사용되고 있는 확률적 경사하강법(SGD), 모멘텀법(Momentum), AdaGrad, RMSProp 및 Adam법의 뉴런수에 따른 학습 특성을 분석하였다. 이를 위하여 1개의 입력층, 3개의 은닉층, 1개의 출력층으로 신경망을 구성하였고 활성화함수는 ReLU, 손실 함수는 교차 엔트로피 오차(CEE)를 적용하였고 실험 데이터셋은 MNIST를 사용하였다. 그 결과 뉴런수는 100~300개, 알고리즘은 Adam, 학습횟수(iteraction)는 200회가 딥러닝 학습에서 가장 효율적일 것으로 결론을 내렸다. 이러한 연구는 향후 새로운 학습 데이터가 주어졌을 경우 개발될 알고리즘과 뉴런수의 기준치에 함의를 제공할 것이다.

• International Journal of Computer Science & Network Security
• /
• 제24권2호
• /
• pp.101-112
• /
• 2024

Telugu language is considered as fourth most used language in India especially in the regions of Andhra Pradesh, Telangana, Karnataka etc. In international recognized countries also, Telugu is widely growing spoken language. This language comprises of different dependent and independent vowels, consonants and digits. In this aspect, the enhancement of Telugu Handwritten Character Recognition (HCR) has not been propagated. HCR is a neural network technique of converting a documented image to edited text one which can be used for many other applications. This reduces time and effort without starting over from the beginning every time. In this work, a Unicode based Handwritten Character Recognition(U-HCR) is developed for translating the handwritten Telugu characters into English language. With the use of Centre of Gravity (CG) in our model we can easily divide a compound character into individual character with the help of Unicode values. For training this model, we have used both online and offline Telugu character datasets. To extract the features in the scanned image we used convolutional neural network along with Machine Learning classifiers like Random Forest and Support Vector Machine. Stochastic Gradient Descent (SGD), Root Mean Square Propagation (RMS-P) and Adaptative Moment Estimation (ADAM)optimizers are used in this work to enhance the performance of U-HCR and to reduce the loss function value. This loss value reduction can be possible with optimizers by using CNN. In both online and offline datasets, proposed model showed promising results by maintaining the accuracies with 90.28% for SGD, 96.97% for RMS-P and 93.57% for ADAM respectively.

• 한국방사선학회논문지
• /
• 제16권1호
• /
• pp.25-34
• /
• 2022

뇌 전산화단층촬영은 비침습성, 3차원 영상 제공, 저방사선량 등의 장점 때문에 뇌출혈과 같은 질병 진단을 위해 시행된다. 하지만 뇌 전산화단층영상 판독을 위한 전문의의 인력 공급 부족 및 막대한 업무량으로 인해 수많은 판독 오류 및 오진이 발생하고 있다. 이와 같은 문제를 해결하기 위해 객체 검출을 위한 다양한 인공지능 기술이 개발되고 있다. 본 연구에서는 뇌 전산화단층영상으로부터 뇌출혈 검출을 위한 딥러닝 기반 YOLOv5s 모델의 적용 가능성을 확인하였다. 또한 YOLOv5s 모델 학습 시 초매개변수를 변화시켜 학습된 모델의 성능을 평가하였다. YOLOv5s 모델은 backbone, neck 및 output 모듈로 구성하였고, 입력 CT 영상 내 뇌출혈로 의심되는 부위를 검출하여 출력할 수 있도록 하였다. YOLOv5s 모델 학습 시 활성화함수, 최적화함수, 손실함수 및 학습 횟수를 변화시켰고, 학습된 모델의 뇌출혈 검출 정확도 및 학습 시간을 측정하였다. 연구결과 학습된 YOLOv5s 모델은 뇌출혈로 의심되는 부위에 대한 경계 박스 및 해당 경계박스에 대한 정확도를 출력할 수 있음을 확인하였다. Mish 활성화함수, stochastic gradient descent 최적화함수 및 completed intersection over union 손실함수 적용 시 YOLOv5s 모델의 뇌출혈 검출 정확도 향상 및 학습 시간이 단축되는 결과를 확인하였다. 또한 YOLOv5s 모델의 뇌출혈 검출 정확도 및 학습 시간은 학습 횟수에 비례하여 증가하는 결과를 확인하였다. 따라서 YOLOv5s 모델은 뇌 전산화단층영상을 이용한 뇌출혈 검출을 위해 활용할 수 있으며, 최적의 초매개변수 적용을 통해 성능을 향상 시킬 수 있다.