• 지능정보연구
• /
• 제23권1호
• /
• pp.95-108
• /
• 2017

최근 알파고의 등장으로 딥러닝 기술에 대한 관심이 고조되고 있다. 딥러닝은 향후 미래의 핵심 기술이 되어 일상생활의 많은 부분을 개선할 것이라는 기대를 받고 있지만, 주요한 성과들이 이미지 인식과 자연어처리 등에 국한되어 있고 전통적인 비즈니스 애널리틱스 문제에의 활용은 미비한 실정이다. 실제로 딥러닝 기술은 Convolutional Neural Network(CNN), Recurrent Neural Network(RNN), Deep Boltzmann Machine (DBM) 등 알고리즘들의 선택, Dropout 기법의 활용여부, 활성 함수의 선정 등 다양한 네트워크 설계 이슈들을 가지고 있다. 따라서 비즈니스 문제에서의 딥러닝 알고리즘 활용은 아직 탐구가 필요한 영역으로 남아있으며, 특히 딥러닝을 현실에 적용했을 때 발생할 수 있는 여러 가지 문제들은 미지수이다. 이에 따라 본 연구에서는 다이렉트 마케팅 응답모델, 고객이탈분석, 대출 위험 분석 등의 주요한 분류 문제인 이진분류에 딥러닝을 적용할 수 있을 것인지 그 가능성을 실험을 통해 확인하였다. 실험에는 어느 포르투갈 은행의 텔레마케팅 응답여부에 대한 데이터 집합을 사용하였으며, 전통적인 인공신경망인 Multi-Layer Perceptron, 딥러닝 알고리즘인 CNN과 RNN을 변형한 Long Short-Term Memory, 딥러닝 모형에 많이 활용되는 Dropout 기법 등을 이진 분류 문제에 활용했을 때의 성능을 비교하였다. 실험을 수행한 결과 CNN 알고리즘은 비즈니스 데이터의 이진분류 문제에서도 MLP 모형에 비해 향상된 성능을 보였다. 또한 MLP와 CNN 모두 Dropout을 적용한 모형이 적용하지 않은 모형보다 더 좋은 분류 성능을 보여줌에 따라, Dropout을 적용한 CNN 알고리즘이 이진분류 문제에도 활용될 수 있는 가능성을 확인하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제6권12호
• /
• pp.573-580
• /
• 2017

심층 신경망은 많은 노드의 층을 쌓아 만든 거대한 신경망이다. 심층 신경망으로 대표되는 딥 러닝은 오늘날 많은 응용 분야에서 괄목할만한 성과를 거두고 있다. 하지만 다년간의 연구를 통해 심층 신경망에 대한 다양한 문제점이 식별되고 있다. 이 중 일반화는 가장 널리 알려진 문제점들 중 하나이며, 최근 연구 결과인 드롭아웃은 이러한 문제를 어느 정도 성공적으로 해결하였다. 드롭아웃은 노이즈와 같은 역할을 하여 신경망이 노이즈에 강건한 데이터 표현형을 학습할 수 있도록 하는데, 오토인코더와 관련된 연구에서 이러한 효과가 입증되었다. 하지만 드롭아웃은 빈번한 난수 연산과 확률연산으로 인해 신경망의 학습 시간이 길어지고, 신경망 각 계층의 데이터 분포가 크게 변화하여 작은 학습율을 사용해야하는 단점이 있다. 본 논문에서는 돌연변이 연산을 사용하여 비교적 적은 횟수의 연산으로 드롭아웃과 동등 이상의 성능을 나타내는 모델을 제시하고, 실험을 통하여 논문에서 제시한 방법이 드롭아웃 방식과 동등한 성능을 보임과 동시에 학습 시간 문제를 개선함을 보인다.

• 스마트미디어저널
• /
• 제7권4호
• /
• pp.17-23
• /
• 2018

자동 띄어쓰기 특성을 효과적으로 처리할 수 있는 LSTM(Long Short-Term Memory Neural Networks) 기반의 RNN 모델을 제시하고 적용한 결과를 분석하였다. 문장이 길거나 일부 노이즈가 포함된 경우에 신경망 학습이 쉽지 않은 문제를 해결하기 위하여 입력 데이터 형식과 디코딩 데이터 형식을 정의하고, 신경망 학습에서 드롭아웃, 양방향 다층 LSTM 셀, 계층 정규화 기법, 주목 기법(attention mechanism)을 적용하여 성능을 향상시키는 방법을 제안하였다. 학습 데이터로는 세종 말뭉치 자료를 사용하였으며, 학습 데이터가 부분적으로 불완전한 띄어쓰기가 포함되어 있었음에도 불구하고, 대량의 학습 데이터를 통해 한글 띄어쓰기에 대한 패턴이 의미 있게 학습되었다. 이것은 신경망에서 드롭아웃 기법을 통해 학습 모델의 오버피팅이 되지 않도록 함으로써 노이즈에 강한 모델을 만들었기 때문이다. 실험결과로 LSTM sequence-to-sequence 모델이 재현율과 정확도를 함께 고려한 평가 점수인 F1 값이 0.94로 규칙 기반 방식과 딥러닝 GRU-CRF보다 더 높은 성능을 보였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권1호
• /
• pp.413-435
• /
• 2018

Although the accuracy of handwritten character recognition based on deep networks has been shown to be superior to that of the traditional method, the use of an overly deep network significantly increases time consumption during parameter training. For this reason, this paper took the training time and recognition accuracy into consideration and proposed a novel handwritten character recognition algorithm with newly designed network structure, which is based on an extended nonlinear kernel residual network. This network is a non-extremely deep network, and its main design is as follows:(1) Design of an unsupervised apriori algorithm for intra-class clustering, making the subsequent network training more pertinent; (2) presentation of an intermediate convolution model with a pre-processed width level of 2;(3) presentation of a composite residual structure that designs a multi-level quick link; and (4) addition of a Dropout layer after the parameter optimization. The algorithm shows superior results on MNIST and SVHN dataset, which are two character benchmark recognition datasets, and achieves better recognition accuracy and higher recognition efficiency than other deep structures with the same number of layers.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
• /
• pp.3-4
• /
• 2021

폐쇄된 터널 내부에서는 사고가 일어날 경우 외부에서는 터널 내 상황을 알 수가 없어 경미한 사고라 하더라도 대형 후속 2차 사고로 이어질 가능성이 크다. 또한영상탐지로사고 상황의 오검출을 줄이기 위해서, 본 연구에서는기존의 많은 CNN 모델 중 보유한 데이터에 가장 적합한 모델을 선택하는 과정에서 가장 좋은 성능을 보인 VGG16 모델을 전이학습 시키고 fully connected layer의 일부 layer에 Dropout을 적용시켜 Overfitting을일부방지하는 CNN 모델을 생성한 뒤Yolo를 이용한 영상 내 객체인식, OpenCV를 이용한 영상 프레임 내에서 객체의ROI를 추출하고이를 CNN 모델과 비교하여오검출을 줄이면서 사고를 검출하는 시스템을 제안하였다.

• 한국융합학회논문지
• /
• 제13권4호
• /
• pp.17-24
• /
• 2022

비트코인은 정부나 금융기관에 의존되어 있지 않은 전자 거래를 지향하며 만들어진 peer-to-peer 방식의 암호화폐이다. 비트코인은 최초 발행 이후 거대한 블록체인 금융 시장을 생성했고, 이에 따라 기계 학습을 이용한 비트코인 가격 데이터를 예측하는 연구들이 활발해졌다. 그러나 기계 학습 연구의 비효율적인 Hyper-parameter 최적화 과정이 연구 진행에 있어 비용적인 측면을 악화시키고 있다. 본 논문은 LSTM(Long Short-Term Memory) 층을 사용하는 비트코인 가격 예측 모델에서 가장 대표적인 Hyper-parameter 중 Timesteps, LSTM 유닛의 수, 그리고 Dropout 비율의 전체 조합을 구성하고 각각의 조합에 대한 예측 성능을 측정하는 실험을 통해 정확한 비트코인 가격 예측을 위한 Hyper-parameter 최적화의 방향성을 분석하고 제시한다.

• 수산해양기술연구
• /
• 제30권3호
• /
• pp.150-160
• /
• 1994

Drift gillnet fishery for neon flying squid in the North pacific was one of the major pelagic fisheries of Korea until 1992, its annual catch was 79, 000M/T as average during 1988-1992, but moratoriumed since 1993 according to the decision of UN. Therefore, for the developing of the new fishing gear for the squid, the seven types of rip hook by automatic squid jigging machine were experimented by the korean research vessel Pusan 851 (G/T 1.126, 2.600 PS) in the North Pacific (38 $^{\circ}$30'-43 $^{\circ}$N, 152 $^{\circ}$E-178 $^{\circ}$W) from July 6. 1993 to August 31. 1993. The investigation on catch rate, dropout rate, and catch condition of the rip hooks related to the fishing lamp power for aggregating the squid were carried out during the period. The results obtained are as follows: The composition of catch by automatic squid jigging machine was 83.9% for neon flying squid. 15.5% for boreopacific gonate squid. 0.6% for boreal clubhook squid, and 0.01% for luminous flying squid. The catch rate of neon flying squid was 94.6% in 13.6-18.3$^{\circ}C$ of surface water temperature and 5.4% in others. The higher catch rate of neon flying squid was made in the range 13.6-18.3$^{\circ}C$ of temperature at the surface and about 1$0^{\circ}C$ of temperature at the 100m layer. The CPUE of neon flying squid in the 13.6-18.3$^{\circ}C$ of surface water temperature was ranged 0.8-11.8kg (8.7kg as average). The mantle length and body weight of neon flying squid caught in the experiment were ranged 18.3-51.3 cm, 140-3, 980g and mean mantle length and mean body weight were 29.4cm, 972g respectively. The catch rate of neon flying squid was the highest at dawn with a value of 25.0% of the total catch. The body weight of neon flying squid caught by the D type hooks was 1.7 times more than that of the A type hooks. The dropout rate of neon flying squid caught by the seven types hooks was 7.9-57.5% (19.0% as average), and dropout rate of the D type hooks was 7.9% with 2.7 times decrease than that of the A type hooks. The catch efficiency of small sized neon flying squid in case of using on-off switch method on fishing lamp in 15 minutes intervals was 2.6 times higher than that of the on-switch method with same fishing lamp power.

• 한국멀티미디어학회논문지
• /
• 제24권2호
• /
• pp.274-284
• /
• 2021

Customized services to a sleep induction for better sleepcare are more effective because of different satisfaction levels to users. The EOG data measured at the frontal lobe when a person blinks his eyes can be used as biometric data because it has different values for each person. The accuracy of measurement is degraded by a noise source, such as toss and turn. Therefore, it is necessary to analyze the noisy data and remove them from normal EOG by filtering. There are low-pass filtering and high-pass filtering as filtering using a frequency band. However, since filtering within a frequency band range is also required for more effective performance, we propose a machine learning model for the filtering of EOG data in this paper as the second filtering method. In addition, optimal values of parameters such as the depth of the hidden layer, the number of nodes of the hidden layer, the activation function, and the dropout were found through experiments, to improve the performance of the machine learning filtering model, and the filtering performance of 95.7% was obtained. Eventually, it is expected that it can be used for effective user identification services by using filtering model for EOG data.

• International journal of advanced smart convergence
• /
• 제9권2호
• /
• pp.173-178
• /
• 2020

A common problem with neural network learning is that it is too suitable for the specificity of learning. In this paper, various methods were compared to avoid overfitting: regularization, drop-out, different numbers of data and different types of neural networks. Comparative studies of the above-mentioned methods have been provided to evaluate the test accuracy. I found that the more data using method is better than the regularization and dropout methods. Moreover, we know that deep convolutional neural networks outperform multi-layer neural networks and simple convolution neural networks.

• 한국도로학회논문집
• /
• 제20권2호
• /
• pp.57-65
• /
• 2018

PURPOSES : The study aims to predict the service life of national highway asphalt pavements through deep learning methods by using maintenance history data of the National Highway Pavement Management System. METHODS : For the configuration of a deep learning network, this study used Tensorflow 1.5, an open source program which has excellent usability among deep learning frameworks. For the analysis, nine variables of cumulative annual average daily traffic, cumulative equivalent single axle loads, maintenance layer, surface, base, subbase, anti-frost layer, structural number of pavement, and region were selected as input data, while service life was chosen to construct the input layer and output layers as output data. Additionally, for scenario analysis, in this study, a model was formed with four different numbers of 1, 2, 4, and 8 hidden layers and a simulation analysis was performed according to the applicability of the over fitting resolution algorithm. RESULTS : The results of the analysis have shown that regardless of the number of hidden layers, when an over fitting resolution algorithm, such as dropout, is applied, the prediction capability is improved as the coefficient of determination ($R^2$) of the test data increases. Furthermore, the result of the sensitivity analysis of the applicability of region variables demonstrates that estimating service life requires sufficient consideration of regional characteristics as $R^2$ had a maximum of between 0.73 and 0.84, when regional variables where taken into consideration. CONCLUSIONS : As a result, this study proposes that it is possible to precisely predict the service life of national highway pavement sections with the consideration of traffic, pavement thickness, and regional factors and concludes that the use of the prediction of service life is fundamental data in decision making within pavement management systems.