• 한국수자원학회논문집
• /
• 제57권2호
• /
• pp.73-85
• /
• 2024

하천과 저수지의 수질을 예측하는 것은 수자원관리를 위해 필요하다. 높은 정확도의 수질 예측을 위해 많은 연구들에서 인공신경망이 활용되었다. 기존 연구들은 매개변수를 탐색하는 인공신경망의 연산자인 옵티마이저로 경사하강법 기반 옵티마이저를 사용하였다. 그러나 경사하강법 기반 옵티마이저는 지역 최적값으로의 수렴 가능성과 해의 저장 및 비교구조가 없다는 단점이 있다. 본 연구에서는 인공신경망을 이용한 수질 예측성능을 향상시키기 위해 개량형 옵티마이저를 개발하여 경사하강법 기반 옵티마이저의 단점을 개선하였다. 본 연구에서 제안한 옵티마이저는 경사하강법 기반 옵티마이저 중 학습오차가 낮은 Adaptive moments (Adam)과 Nesterov-accelerated adaptive moments (Nadam)를 Harmony Search(HS) 또는 Novel Self-adaptive Harmony Search (NSHS)와 결합한 옵티마이저이다. 개량형 옵티마이저의 학습 및 예측성능 평가를 위해 개량형 옵티마이저를 Long Short-Term Memory (LSTM)에 적용하여 국내의 다산 수질관측소의 수질인자인 수온, 용존산소량, 수소이온농도 및 엽록소-a를 학습 및 예측하였다. 학습결과를 비교하면, Nadam combined with NSHS (NadamNSHS)를 사용한 LSTM의 Mean Squared Error (MSE)가 0.002921로 가장 낮았다. 또한, 각 옵티마이저별 4개 수질인자에 대한 MSE 및 R²에 따른 예측순위를 비교하였다. 각 옵티마이저의 평균 순위를 비교하면, NadamNSHS를 사용한 LSTM이 2.25로 가장 높은 것을 확인하였다.

• 정보보호학회논문지
• /
• 제29권3호
• /
• pp.491-501
• /
• 2019

최근 보안 디바이스의 물리적 취약성을 찾을 수 있는 부채널 분석 분야에서 딥러닝을 활용한 연구가 활발히 진행되고 있다. 하지만, 최신 딥러닝 기반 부채널 분석 기술 연구는 템플릿 공격 등과 같은 프로파일링 기반 부채널 분석 환경에서 파형을 옳게 분류하기 위한 연구에 집중되어 있다. 본 논문에서는 이전 연구들과 다르게 딥러닝을 신호 전처리 기법으로 활용하여 차분 전력 분석, 상관 전력 분석 등과 같은 논프로파일링 기반 부채널 분석의 성능을 고도화할 수 있는 방법을 제안한다. 제안기법은 오토인코더를 부채널 분석 환경에 적합하게 변경하여 부채널 정보의 노이즈를 제거하는 전처리 기법으로, 기존 노이즈 제거 오토인코더는 임의로 추가한 노이즈에 대한 학습을 하였다면 제안하는 기법은 노이즈가 제거된 라벨을 사용하여 실제 데이터의 노이즈를 학습한다. 제안기법은 논프로파일링 환경에서 수행 가능한 전처리 기법이며 하나의 뉴런 네트워크의 학습만을 통해 수행할 수 있다. 본 논문에서는 실험을 통해 제안기법의 노이즈 제거 성능을 입증하였으며, 주성분분석 및 선형판별분석과 같은 기존 전처리 기법들과 비교하여 우수하다는 것을 보인다.

• 대한토목학회논문집
• /
• 제38권6호
• /
• pp.859-865
• /
• 2018

달 지상 인프라 및 기지 건설은 건설재료나 에너지 확보가 가능한 지역과 연계되어야 하며, 얼음 등의 핵심 자원이 풍부한 영구음영 지역을 형성하는 달 크레이터 지형의 탐지와 정보 수집이 선행되어야 한다. 본 연구에서는 이러한 달 크레이터(crater) 객체 정보를 최신 딥러닝 알고리즘을 이용해 효과적으로 자동 탐지하는 방안에 대해 고찰하였다. 딥러닝 학습을 위해 NASA LRO 달 궤도선의 레이저 고도계 데이터를 기반으로 구축된 9만개의 수치표고모델과 개별 수치표고모델에 존재하는 크레이터들의 위치와 크기를 레이블링한 자료를 활용하였다. 딥러닝 학습은 최신 알고리즘인 Faster RCNN (Regional Convolution Neural Network)을 자체적으로 코드화하여 적용하였다. 이를 통해 학습된 딥러닝 시스템은 학습되지 않은 달표면 이미지 내 크레이터를 자동 인식하는데 적용되었으며, NASA에서 인력에 의해 정의한 크레이터 정보들의 오류를 자동 보정 가능하고, 정의되지 않은 많은 크레이터 까지도 자동 인식 가능함을 보였다. 이를 통해 공학적으로 매우 가치가 있는 각 지역별 크레이터들의 크기 분포 특성 및 발생 빈도 분석 등이 가능하게 되었으며, 향후에는 시간 이력별 변화추이도 분석 가능할 것으로 판단된다.

• 한국정보통신학회논문지
• /
• 제26권10호
• /
• pp.1423-1431
• /
• 2022

블랙숄즈모형에서 옵션가격을 결정하는 변수 중 기초자산의 변동성은 현재 시점에서는 알 수 없고, 미래시점에 실현된 변동성을 사후에야 알 수 있다. 하지만 옵션이 거래되는 시장에서 관찰되는 가격이 있기 때문에 가격에 내재된 변동성을 역으로 산출한 내재변동성은 현재 시점에 구할 수 있다. 내재변동성을 구하기 위해서는 옵션가격과, 블랙숄즈 모형의 변동성을 제외한 옵션가격결정변수인 기초자산가격, 무위험이자율, 배당률, 행사가격, 잔존기간이 필요하다. 블랙숄즈모형의 변동성은 고정된 상수이나, 내재변동성 산출시 행사가격에 따라 변동성이 다르게 산출되는 변동성스마일현상을 보이기도 한다. 따라서 내재변동성 산출시 옵션 단일 종목이 아닌 시장전반의 변동성을 감안하는 것이 필요하다고 판단하여 본 연구에서는 V-KOSPI지수도 설명변수로 추가하였다. 머신러닝기법 중 지도학습방법을 사용하였으며, Linear Regression 계열, Tree 계열, SVR과 KNN 알고리즘 및 딥뉴럴네트워크로 학습 및 예측하였다. Training성능은 Decision Tree모형이 99.9%로 가장 높았고 Test성능은 Random Forest 알고리즘이 96.9%로 가장 높았다.

• 한국산업정보학회논문지
• /
• 제28권5호
• /
• pp.15-30
• /
• 2023

근래에 트랜스포머(Transformer) 구조를 기초로 하는 ChatGPT와 같은 생성모델이 크게 주목받고 있다. 트랜스포머는 다양한 신경망 모델에 응용되는데, 구글의 BERT(bidirectional encoder representations from Transformers) 문장생성 모델에도 사용된다. 본 논문에서는, 한글로 작성된 영화 리뷰에 대한 댓글이 긍정적인지 부정적인지를 판단하는 텍스트 이진 분류모델을 생성하기 위해서, 사전 학습되어 공개된 BERT 다국어 문장생성 모델을 미세조정(fine tuning)한 후, 새로운 한국어 학습 데이터셋을 사용하여 전이학습(transfer learning) 시키는 방법을 제안한다. 이를 위해서 104 개 언어, 12개 레이어, 768개 hidden과 12개의 집중(attention) 헤드 수, 110M 개의 파라미터를 사용하여 사전 학습된 BERT-Base 다국어 문장생성 모델을 사용했다. 영화 댓글을 긍정 또는 부정 분류하는 모델로 변경하기 위해, 사전 학습된 BERT-Base 모델의 입력 레이어와 출력 레이어를 미세 조정한 결과, 178M개의 파라미터를 가지는 새로운 모델이 생성되었다. 미세 조정된 모델에 입력되는 단어의 최대 개수 128, batch_size 16, 학습 횟수 5회로 설정하고, 10,000건의 학습 데이터셋과 5,000건의 테스트 데이터셋을 사용하여 전이 학습시킨 결과, 정확도 0.9582, 손실 0.1177, F1 점수 0.81인 문장 감정 이진 분류모델이 생성되었다. 데이터셋을 5배 늘려서 전이 학습시킨 결과, 정확도 0.9562, 손실 0.1202, F1 점수 0.86인 모델을 얻었다.

• 한국빅데이터학회지
• /
• 제4권2호
• /
• pp.1-12
• /
• 2019

인공지능 기술이 발전하면서 이미지, 음성, 텍스트 등 다양한 분야에 적용되고 있으며, 데이터가 충분한 경우 기존 기법들에 비해 좋은 결과를 보인다. 주식시장은 경제, 정치와 같은 많은 변수에 의해 영향을 받기 때문에, 주식 가격의 움직임 예측은 어려운 과제로 알려져 있다. 다양한 기계학습 기법과 인공지능 기법을 이용하여 주가 패턴을 연구하여 주가의 등락을 예측하려는 시도가 있어왔다. 본 연구는 딥러닝 기법 중 컨볼루셔널 뉴럴 네트워크(CNN)를 기반으로 주가 패턴 예측률 향상을 위한 데이터 증강 방안을 제안한다. CNN은 컨볼루셔널 계층을 통해 이미지에서 특징을 추출하여 뉴럴 네트워크를 이용하여 이미지를 분류한다. 따라서, 본 연구는 주식 데이터를 캔들스틱 차트 이미지로 만들어 CNN을 통해 패턴을 예측하고 분류하고자 한다. 딥러닝은 다량의 데이터가 필요하기에, 주식 차트 이미지에 다양한 데이터 증강(Data Augmentation) 방안을 적용하여 분류 정확도를 향상 시키는 방법을 제안한다. 데이터 증강 방안으로는 차트를 랜덤하게 변경하는 방안과 차트에 가우시안 노이즈를 적용하여 추가 데이터를 생성하였으며, 추가 생성된 데이터를 활용하여 학습하고 테스트 집합에 대한 분류 정확도를 비교하였다. 랜덤하게 차트를 변경하여 데이터를 증강시킨 경우의 분류 정확도는 79.92%였고, 가우시안 노이즈를 적용하여 생성된 데이터를 가지고 학습한 경우의 분류 정확도는 80.98%이었다. 주가의 다음날 상승/하락으로 분류하는 경우에는 60분 단위 캔들 차트가 82.60%의 정확도를 기록하였다.

• 한국터널지하공간학회 논문집
• /
• 제19권1호
• /
• pp.95-107
• /
• 2017

본 논문에서는 제도적으로 운영 중인 터널내 CCTV들로부터 실시간으로 들어오는 영상들을 최신 딥러닝 알고리즘을 이용, 학습시켜 다양한 조건의 터널환경에서 돌발 상황을 감지하고 그 돌발 상황의 종류들을 분류해 내는 시스템 개발을 위한 사전검토 연구를 수행하였다. 사전검토 연구를 위해, 2개의 도로현장의 교통류 CCTV영상 일부를 이용하여 가용한 전통적인 영상처리기법으로 영상내부로 집입하는 차량을 감지하고, 이동경로를 추적하여 일정 시간간격의 이동 차량의 좌표와 시간정보를 추출하고 학습자료를 구성하였다. 각 차량의 이동정보는 차선변경, 정차 등 6가지의 이벤트 정보와 연계된다. 차량 이동정보와 이벤트로 구성된 학습자료는 레질리언스(resilience) 기계학습 알고리즘을 이용하여 학습하였다. 2개의 은닉층을 설정하고, 각 은닉층의 노드수에 대한 9개의 은닉구조 모델을 설정하여 매개변수 연구를 수행하였다. 본 사전검토의 경우에는 첫 번째, 두 번째 은닉층 노드수가 각각 300개와 150개로 설정된 모델이 합리적으로 가장 추론정확도가 높은 것으로 평가되었다. 이로부터 일반화되기 매우 힘든 복잡한 교통류 상황을 기계학습을 이용하여 어떠한 사전 규칙설정 없이도 교통류의 특징들을 정확히 자동으로 감지할 수 있는 가능성을 보였다. 본 시스템은 시스템의 운용을 통해 지속적으로 교통류 영상과 이벤트 정보가 늘어난다면, 자동으로 그 시스템의 인지능력과 정확도가 자동으로 향상되는 효과도 기대할 수 있다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제8권10호
• /
• pp.397-402
• /
• 2019

암 환자에게 적절한 치료계획을 제공하기 위해 암의 진행양상 또는 환자의 생존 기간 등에 해당하는 환자의 예후를 정확히 예측하는 것은 생물정보학 분야에서 다루는 중요한 도전 과제 중 하나이다. 많은 연구에서 암 환자의 유전자 발현량 데이터를 이용하여 환자의 예후를 예측하는 기계학습 모델들이 많이 제안되어 오고 있다. 유전자 발현량 데이터는 약 17,000개의 유전자에 대한 수치값을 갖는 고차원의 수치형 자료이기에, 기존의 연구들은 특징 선택 또는 차원 축소 전략을 이용하여 예측 모델의 성능 향상을 도모하였다. 그러나 이러한 접근법은 특징 선택과 예측 모델의 훈련이 분리되어 있어서, 기계학습 모델은 선별된 유전자들이 생물학적으로 어떤 관계가 있는지 알기가 어렵다. 본 연구에서는 유전자 발현량 데이터를 이미지 형태로 변환하여 예후 예측이 효과적으로 특징 선택 및 예후 예측을 수행할 수 있는 기법을 제안한다. 유전자들 사이의 생물학적 상호작용 관계를 유전자 발현량 데이터에 통합하기 위해 Node2Vec을 활용하였으며, 2차원 이미지로 표현된 발현량 데이터를 효과적으로 학습할 수 있도록 합성곱 신경망 모델을 사용하였다. 제안하는 모델의 성능은 이중 교차검증을 통해 평가되었고, 유전자 발현량 데이터를 그대로 이용하는 기계학습모델보다 우월한 예후 예측 정확도를 가지는 것이 확인되었다. Node2Vec을 이용한 유전자 발현량의 새로운 이미지 표현법은 특징 선택으로 인한 정보의 손실이 없어 예측 모델의 성능을 높일 수 있으며, 이러한 접근법이 개인 맞춤형 의학의 발전에 이바지할 것으로 기대한다.

• Imaging Science in Dentistry
• /
• 제54권1호
• /
• pp.81-91
• /
• 2024

Purpose: The objective of this study was to propose a deep-learning model for the detection of the mandibular canal on dental panoramic radiographs. Materials and Methods: A total of 2,100 panoramic radiographs (PANs) were collected from 3 different machines: RAYSCAN Alpha (n=700, PAN A), OP-100 (n=700, PAN B), and CS8100 (n=700, PAN C). Initially, an oral and maxillofacial radiologist coarsely annotated the mandibular canals. For deep learning analysis, convolutional neural networks (CNNs) utilizing U-Net architecture were employed for automated canal segmentation. Seven independent networks were trained using training sets representing all possible combinations of the 3 groups. These networks were then assessed using a hold-out test dataset. Results: Among the 7 networks evaluated, the network trained with all 3 available groups achieved an average precision of 90.6%, a recall of 87.4%, and a Dice similarity coefficient (DSC) of 88.9%. The 3 networks trained using each of the 3 possible 2-group combinations also demonstrated reliable performance for mandibular canal segmentation, as follows: 1) PAN A and B exhibited a mean DSC of 87.9%, 2) PAN A and C displayed a mean DSC of 87.8%, and 3) PAN B and C demonstrated a mean DSC of 88.4%. Conclusion: This multi-device study indicated that the examined CNN-based deep learning approach can achieve excellent canal segmentation performance, with a DSC exceeding 88%. Furthermore, the study highlighted the importance of considering the characteristics of panoramic radiographs when developing a robust deep-learning network, rather than depending solely on the size of the dataset.

• 한국수자원학회논문집
• /
• 제54권10호
• /
• pp.795-805
• /
• 2021

본 연구는 소양강댐 유역을 대상으로 LSTM 기반의 일유출량 추정 딥러닝 모형을 개발한 후, 모형구조 및 입력자료의 다양한 조합에 대한 모형의 정확도를 살폈다. 첫 12년(1997.1.1-2008.12.31) 동안의 유역평균 일강수량, 일기온, 일풍속 (이상 입력), 일평균 유량 (출력)으로 이루어진 데이터베이스를 기반으로 모형을 구축하였으며, 이후 12년(2009.1.1-2020.12.31) 동안의 자료를 사용하여 Nash-Sutcliffe Model Efficiency Coefficient (NSE)와 RMSE를 살폈다. 가장 높은 정확도를 보인 조합은 64개의 은닉유닛을 가진 LSTM 모형 구조에 가능한 모든 입력자료(12년치의 일강수량, 일기온, 일풍속)를 활용한 경우로서 검증기간의 NSE와 RMSE는 각각 0.862와 76.8 m³/s를 기록하였다. LSTM의 은닉유닛이500개를 초과하는 경우 과적합으로 인한 모형의 성능 저하가 나타나기 시작했으며, 1000개를 초과하는 경우 과적합 문제가 두드러졌다. 12년치의 일강수만 입력자료로 활용한 경우에도 매우 높은 성능(NSE=0.8~0.84)의 모형이 구축되었으며, 한 해의 자료만을 활용하여 학습한 경우에도 충분히 활용 가능한 정확도(NSE=0.63~0.85)를 가진 모형을 구축할 수 있었다. 특히 유량의 변동성이 큰 한 해의 자료만을 활용하여 모형을 학습한 경우 매우 높은 정확도(NSE=0.85)의 모형이 구축되었다. 학습자료가 중유량과 양극한의 유량을 모두 포함한 경우라면 5년 이상의 입력자료는 모형의 성능을 크게 개선시키지 못했다.