• 제목/요약/키워드: neural network training

검색결과 1,750건 처리시간 0.027초

달기지 건설을 위한 딥러닝 기반 달표면 크레이터 자동 탐지 (A Deep-Learning Based Automatic Detection of Craters on Lunar Surface for Lunar Construction)

  • 신휴성;홍성철
    • 대한토목학회논문집
    • /
    • 제38권6호
    • /
    • pp.859-865
    • /
    • 2018
  • 달 지상 인프라 및 기지 건설은 건설재료나 에너지 확보가 가능한 지역과 연계되어야 하며, 얼음 등의 핵심 자원이 풍부한 영구음영 지역을 형성하는 달 크레이터 지형의 탐지와 정보 수집이 선행되어야 한다. 본 연구에서는 이러한 달 크레이터(crater) 객체 정보를 최신 딥러닝 알고리즘을 이용해 효과적으로 자동 탐지하는 방안에 대해 고찰하였다. 딥러닝 학습을 위해 NASA LRO 달 궤도선의 레이저 고도계 데이터를 기반으로 구축된 9만개의 수치표고모델과 개별 수치표고모델에 존재하는 크레이터들의 위치와 크기를 레이블링한 자료를 활용하였다. 딥러닝 학습은 최신 알고리즘인 Faster RCNN (Regional Convolution Neural Network)을 자체적으로 코드화하여 적용하였다. 이를 통해 학습된 딥러닝 시스템은 학습되지 않은 달표면 이미지 내 크레이터를 자동 인식하는데 적용되었으며, NASA에서 인력에 의해 정의한 크레이터 정보들의 오류를 자동 보정 가능하고, 정의되지 않은 많은 크레이터 까지도 자동 인식 가능함을 보였다. 이를 통해 공학적으로 매우 가치가 있는 각 지역별 크레이터들의 크기 분포 특성 및 발생 빈도 분석 등이 가능하게 되었으며, 향후에는 시간 이력별 변화추이도 분석 가능할 것으로 판단된다.

이기종 머신러닝기법을 활용한 KOSPI200 옵션변동성 예측 (Estimation of KOSPI200 Index option volatility using Artificial Intelligence)

  • 신소희;오하영;김장현
    • 한국정보통신학회논문지
    • /
    • 제26권10호
    • /
    • pp.1423-1431
    • /
    • 2022
  • 블랙숄즈모형에서 옵션가격을 결정하는 변수 중 기초자산의 변동성은 현재 시점에서는 알 수 없고, 미래시점에 실현된 변동성을 사후에야 알 수 있다. 하지만 옵션이 거래되는 시장에서 관찰되는 가격이 있기 때문에 가격에 내재된 변동성을 역으로 산출한 내재변동성은 현재 시점에 구할 수 있다. 내재변동성을 구하기 위해서는 옵션가격과, 블랙숄즈 모형의 변동성을 제외한 옵션가격결정변수인 기초자산가격, 무위험이자율, 배당률, 행사가격, 잔존기간이 필요하다. 블랙숄즈모형의 변동성은 고정된 상수이나, 내재변동성 산출시 행사가격에 따라 변동성이 다르게 산출되는 변동성스마일현상을 보이기도 한다. 따라서 내재변동성 산출시 옵션 단일 종목이 아닌 시장전반의 변동성을 감안하는 것이 필요하다고 판단하여 본 연구에서는 V-KOSPI지수도 설명변수로 추가하였다. 머신러닝기법 중 지도학습방법을 사용하였으며, Linear Regression 계열, Tree 계열, SVR과 KNN 알고리즘 및 딥뉴럴네트워크로 학습 및 예측하였다. Training성능은 Decision Tree모형이 99.9%로 가장 높았고 Test성능은 Random Forest 알고리즘이 96.9%로 가장 높았다.

한글 텍스트 감정 이진 분류 모델 생성을 위한 미세 조정과 전이학습에 관한 연구 (A Study on Fine-Tuning and Transfer Learning to Construct Binary Sentiment Classification Model in Korean Text)

  • 김종수
    • 한국산업정보학회논문지
    • /
    • 제28권5호
    • /
    • pp.15-30
    • /
    • 2023
  • 근래에 트랜스포머(Transformer) 구조를 기초로 하는 ChatGPT와 같은 생성모델이 크게 주목받고 있다. 트랜스포머는 다양한 신경망 모델에 응용되는데, 구글의 BERT(bidirectional encoder representations from Transformers) 문장생성 모델에도 사용된다. 본 논문에서는, 한글로 작성된 영화 리뷰에 대한 댓글이 긍정적인지 부정적인지를 판단하는 텍스트 이진 분류모델을 생성하기 위해서, 사전 학습되어 공개된 BERT 다국어 문장생성 모델을 미세조정(fine tuning)한 후, 새로운 한국어 학습 데이터셋을 사용하여 전이학습(transfer learning) 시키는 방법을 제안한다. 이를 위해서 104 개 언어, 12개 레이어, 768개 hidden과 12개의 집중(attention) 헤드 수, 110M 개의 파라미터를 사용하여 사전 학습된 BERT-Base 다국어 문장생성 모델을 사용했다. 영화 댓글을 긍정 또는 부정 분류하는 모델로 변경하기 위해, 사전 학습된 BERT-Base 모델의 입력 레이어와 출력 레이어를 미세 조정한 결과, 178M개의 파라미터를 가지는 새로운 모델이 생성되었다. 미세 조정된 모델에 입력되는 단어의 최대 개수 128, batch_size 16, 학습 횟수 5회로 설정하고, 10,000건의 학습 데이터셋과 5,000건의 테스트 데이터셋을 사용하여 전이 학습시킨 결과, 정확도 0.9582, 손실 0.1177, F1 점수 0.81인 문장 감정 이진 분류모델이 생성되었다. 데이터셋을 5배 늘려서 전이 학습시킨 결과, 정확도 0.9562, 손실 0.1202, F1 점수 0.86인 모델을 얻었다.

데이터 증강을 통한 딥러닝 기반 주가 패턴 예측 정확도 향상 방안 (Increasing Accuracy of Stock Price Pattern Prediction through Data Augmentation for Deep Learning)

  • 김영준;김여정;이인선;이홍주
    • 한국빅데이터학회지
    • /
    • 제4권2호
    • /
    • pp.1-12
    • /
    • 2019
  • 인공지능 기술이 발전하면서 이미지, 음성, 텍스트 등 다양한 분야에 적용되고 있으며, 데이터가 충분한 경우 기존 기법들에 비해 좋은 결과를 보인다. 주식시장은 경제, 정치와 같은 많은 변수에 의해 영향을 받기 때문에, 주식 가격의 움직임 예측은 어려운 과제로 알려져 있다. 다양한 기계학습 기법과 인공지능 기법을 이용하여 주가 패턴을 연구하여 주가의 등락을 예측하려는 시도가 있어왔다. 본 연구는 딥러닝 기법 중 컨볼루셔널 뉴럴 네트워크(CNN)를 기반으로 주가 패턴 예측률 향상을 위한 데이터 증강 방안을 제안한다. CNN은 컨볼루셔널 계층을 통해 이미지에서 특징을 추출하여 뉴럴 네트워크를 이용하여 이미지를 분류한다. 따라서, 본 연구는 주식 데이터를 캔들스틱 차트 이미지로 만들어 CNN을 통해 패턴을 예측하고 분류하고자 한다. 딥러닝은 다량의 데이터가 필요하기에, 주식 차트 이미지에 다양한 데이터 증강(Data Augmentation) 방안을 적용하여 분류 정확도를 향상 시키는 방법을 제안한다. 데이터 증강 방안으로는 차트를 랜덤하게 변경하는 방안과 차트에 가우시안 노이즈를 적용하여 추가 데이터를 생성하였으며, 추가 생성된 데이터를 활용하여 학습하고 테스트 집합에 대한 분류 정확도를 비교하였다. 랜덤하게 차트를 변경하여 데이터를 증강시킨 경우의 분류 정확도는 79.92%였고, 가우시안 노이즈를 적용하여 생성된 데이터를 가지고 학습한 경우의 분류 정확도는 80.98%이었다. 주가의 다음날 상승/하락으로 분류하는 경우에는 60분 단위 캔들 차트가 82.60%의 정확도를 기록하였다.

  • PDF

기계학습(machine learning) 기반 터널 영상유고 자동 감지 시스템 개발을 위한 사전검토 연구 (A preliminary study for development of an automatic incident detection system on CCTV in tunnels based on a machine learning algorithm)

  • 신휴성;김동규;임민진;이규범;오영섭
    • 한국터널지하공간학회 논문집
    • /
    • 제19권1호
    • /
    • pp.95-107
    • /
    • 2017
  • 본 논문에서는 제도적으로 운영 중인 터널내 CCTV들로부터 실시간으로 들어오는 영상들을 최신 딥러닝 알고리즘을 이용, 학습시켜 다양한 조건의 터널환경에서 돌발 상황을 감지하고 그 돌발 상황의 종류들을 분류해 내는 시스템 개발을 위한 사전검토 연구를 수행하였다. 사전검토 연구를 위해, 2개의 도로현장의 교통류 CCTV영상 일부를 이용하여 가용한 전통적인 영상처리기법으로 영상내부로 집입하는 차량을 감지하고, 이동경로를 추적하여 일정 시간간격의 이동 차량의 좌표와 시간정보를 추출하고 학습자료를 구성하였다. 각 차량의 이동정보는 차선변경, 정차 등 6가지의 이벤트 정보와 연계된다. 차량 이동정보와 이벤트로 구성된 학습자료는 레질리언스(resilience) 기계학습 알고리즘을 이용하여 학습하였다. 2개의 은닉층을 설정하고, 각 은닉층의 노드수에 대한 9개의 은닉구조 모델을 설정하여 매개변수 연구를 수행하였다. 본 사전검토의 경우에는 첫 번째, 두 번째 은닉층 노드수가 각각 300개와 150개로 설정된 모델이 합리적으로 가장 추론정확도가 높은 것으로 평가되었다. 이로부터 일반화되기 매우 힘든 복잡한 교통류 상황을 기계학습을 이용하여 어떠한 사전 규칙설정 없이도 교통류의 특징들을 정확히 자동으로 감지할 수 있는 가능성을 보였다. 본 시스템은 시스템의 운용을 통해 지속적으로 교통류 영상과 이벤트 정보가 늘어난다면, 자동으로 그 시스템의 인지능력과 정확도가 자동으로 향상되는 효과도 기대할 수 있다.

암 예후를 효과적으로 예측하기 위한 Node2Vec 기반의 유전자 발현량 이미지 표현기법 (A Node2Vec-Based Gene Expression Image Representation Method for Effectively Predicting Cancer Prognosis)

  • 최종환;박상현
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제8권10호
    • /
    • pp.397-402
    • /
    • 2019
  • 암 환자에게 적절한 치료계획을 제공하기 위해 암의 진행양상 또는 환자의 생존 기간 등에 해당하는 환자의 예후를 정확히 예측하는 것은 생물정보학 분야에서 다루는 중요한 도전 과제 중 하나이다. 많은 연구에서 암 환자의 유전자 발현량 데이터를 이용하여 환자의 예후를 예측하는 기계학습 모델들이 많이 제안되어 오고 있다. 유전자 발현량 데이터는 약 17,000개의 유전자에 대한 수치값을 갖는 고차원의 수치형 자료이기에, 기존의 연구들은 특징 선택 또는 차원 축소 전략을 이용하여 예측 모델의 성능 향상을 도모하였다. 그러나 이러한 접근법은 특징 선택과 예측 모델의 훈련이 분리되어 있어서, 기계학습 모델은 선별된 유전자들이 생물학적으로 어떤 관계가 있는지 알기가 어렵다. 본 연구에서는 유전자 발현량 데이터를 이미지 형태로 변환하여 예후 예측이 효과적으로 특징 선택 및 예후 예측을 수행할 수 있는 기법을 제안한다. 유전자들 사이의 생물학적 상호작용 관계를 유전자 발현량 데이터에 통합하기 위해 Node2Vec을 활용하였으며, 2차원 이미지로 표현된 발현량 데이터를 효과적으로 학습할 수 있도록 합성곱 신경망 모델을 사용하였다. 제안하는 모델의 성능은 이중 교차검증을 통해 평가되었고, 유전자 발현량 데이터를 그대로 이용하는 기계학습모델보다 우월한 예후 예측 정확도를 가지는 것이 확인되었다. Node2Vec을 이용한 유전자 발현량의 새로운 이미지 표현법은 특징 선택으로 인한 정보의 손실이 없어 예측 모델의 성능을 높일 수 있으며, 이러한 접근법이 개인 맞춤형 의학의 발전에 이바지할 것으로 기대한다.

Deep learning-based automatic segmentation of the mandibular canal on panoramic radiographs: A multi-device study

  • Moe Thu Zar Aung;Sang-Heon Lim;Jiyong Han;Su Yang;Ju-Hee Kang;Jo-Eun Kim;Kyung-Hoe Huh;Won-Jin Yi;Min-Suk Heo;Sam-Sun Lee
    • Imaging Science in Dentistry
    • /
    • 제54권1호
    • /
    • pp.81-91
    • /
    • 2024
  • Purpose: The objective of this study was to propose a deep-learning model for the detection of the mandibular canal on dental panoramic radiographs. Materials and Methods: A total of 2,100 panoramic radiographs (PANs) were collected from 3 different machines: RAYSCAN Alpha (n=700, PAN A), OP-100 (n=700, PAN B), and CS8100 (n=700, PAN C). Initially, an oral and maxillofacial radiologist coarsely annotated the mandibular canals. For deep learning analysis, convolutional neural networks (CNNs) utilizing U-Net architecture were employed for automated canal segmentation. Seven independent networks were trained using training sets representing all possible combinations of the 3 groups. These networks were then assessed using a hold-out test dataset. Results: Among the 7 networks evaluated, the network trained with all 3 available groups achieved an average precision of 90.6%, a recall of 87.4%, and a Dice similarity coefficient (DSC) of 88.9%. The 3 networks trained using each of the 3 possible 2-group combinations also demonstrated reliable performance for mandibular canal segmentation, as follows: 1) PAN A and B exhibited a mean DSC of 87.9%, 2) PAN A and C displayed a mean DSC of 87.8%, and 3) PAN B and C demonstrated a mean DSC of 88.4%. Conclusion: This multi-device study indicated that the examined CNN-based deep learning approach can achieve excellent canal segmentation performance, with a DSC exceeding 88%. Furthermore, the study highlighted the importance of considering the characteristics of panoramic radiographs when developing a robust deep-learning network, rather than depending solely on the size of the dataset.

강수-일유출량 추정 LSTM 모형의 구축을 위한 자료 수집 방안 (Data collection strategy for building rainfall-runoff LSTM model predicting daily runoff)

  • 김동균;강석구
    • 한국수자원학회논문집
    • /
    • 제54권10호
    • /
    • pp.795-805
    • /
    • 2021
  • 본 연구는 소양강댐 유역을 대상으로 LSTM 기반의 일유출량 추정 딥러닝 모형을 개발한 후, 모형구조 및 입력자료의 다양한 조합에 대한 모형의 정확도를 살폈다. 첫 12년(1997.1.1-2008.12.31) 동안의 유역평균 일강수량, 일기온, 일풍속 (이상 입력), 일평균 유량 (출력)으로 이루어진 데이터베이스를 기반으로 모형을 구축하였으며, 이후 12년(2009.1.1-2020.12.31) 동안의 자료를 사용하여 Nash-Sutcliffe Model Efficiency Coefficient (NSE)와 RMSE를 살폈다. 가장 높은 정확도를 보인 조합은 64개의 은닉유닛을 가진 LSTM 모형 구조에 가능한 모든 입력자료(12년치의 일강수량, 일기온, 일풍속)를 활용한 경우로서 검증기간의 NSE와 RMSE는 각각 0.862와 76.8 m3/s를 기록하였다. LSTM의 은닉유닛이500개를 초과하는 경우 과적합으로 인한 모형의 성능 저하가 나타나기 시작했으며, 1000개를 초과하는 경우 과적합 문제가 두드러졌다. 12년치의 일강수만 입력자료로 활용한 경우에도 매우 높은 성능(NSE=0.8~0.84)의 모형이 구축되었으며, 한 해의 자료만을 활용하여 학습한 경우에도 충분히 활용 가능한 정확도(NSE=0.63~0.85)를 가진 모형을 구축할 수 있었다. 특히 유량의 변동성이 큰 한 해의 자료만을 활용하여 모형을 학습한 경우 매우 높은 정확도(NSE=0.85)의 모형이 구축되었다. 학습자료가 중유량과 양극한의 유량을 모두 포함한 경우라면 5년 이상의 입력자료는 모형의 성능을 크게 개선시키지 못했다.

비대칭 오류비용을 고려한 분류기준값 최적화와 SVM에 기반한 지능형 침입탐지모형 (An Intelligent Intrusion Detection Model Based on Support Vector Machines and the Classification Threshold Optimization for Considering the Asymmetric Error Cost)

  • 이현욱;안현철
    • 지능정보연구
    • /
    • 제17권4호
    • /
    • pp.157-173
    • /
    • 2011
  • 최근 인터넷 사용의 증가에 따라 네트워크에 연결된 시스템에 대한 악의적인 해킹과 침입이 빈번하게 발생하고 있으며, 각종 시스템을 운영하는 정부기관, 관공서, 기업 등에서는 이러한 해킹 및 침입에 의해 치명적인 타격을 입을 수 있는 상황에 놓여 있다. 이에 따라 인가되지 않았거나 비정상적인 활동들을 탐지, 식별하여 적절하게 대응하는 침입탐지 시스템에 대한 관심과 수요가 높아지고 있으며, 침입탐지 시스템의 예측성능을 개선하려는 연구 또한 활발하게 이루어지고 있다. 본 연구 역시 침입탐지 시스템의 예측성능을 개선하기 위한 새로운 지능형 침입탐지모형을 제안한다. 본 연구의 제안모형은 비교적 높은 예측력을 나타내면서 동시에 일반화 능력이 우수한 것으로 알려진 Support Vector Machine(SVM)을 기반으로, 비대칭 오류비용을 고려한 분류기준값 최적화를 함께 반영하여 침입을 효과적으로 차단할 수 있도록 설계되었다. 제안모형의 우수성을 확인하기 위해, 기존 기법인 로지스틱 회귀분석, 의사결정나무, 인공신경망과의 결과를 비교하였으며 그 결과 제안하는 SVM 모형이 다른 기법에 비해 상대적으로 우수한 성과를 보임을 확인할 수 있었다.

입 모양 인식 시스템 전처리를 위한 관심 영역 추출과 이중 선형 보간법 적용 (Region of Interest Extraction and Bilinear Interpolation Application for Preprocessing of Lipreading Systems)

  • 한재혁;김용기;김미혜
    • 정보처리학회 논문지
    • /
    • 제13권4호
    • /
    • pp.189-198
    • /
    • 2024
  • 입 모양 인식은 음성 인식의 중요 부분 중 하나로 음성 인식을 위한 입 모양 인식 시스템에서 입 모양 인식 성능을 개선하기 위한 여러 연구가 진행됐다. 최근의 연구에서는 인식 성능을 개선하기 위해 입 모양 인식 시스템의 모델 구조를 수정하는 방법이 사용됐다. 본 연구에서는 모델 구조를 수정하는 것으로 인식 성능을 개선하는 기존의 연구와 달리 모델 구조의 변화 없이 인식 성능을 개선하는 것을 목표로 한다. 모델 구조의 수정 없이 인식 성능을 개선하기 위해, 사람이 하는 입 모양 인식에서 사용되는 단서를 참고해 입 모양 인식 시스템의 기존 관심 영역인 입술 영역과 함께 턱, 뺨과 같은 다른 영역을 관심 영역으로 설정하고 각 관심 영역의 인식률을 비교해 가장 높은 성능의 관심 영역을 제안한다. 또한, 관심 영역 크기를 정규화하는 과정에서 보간법의 차이로 인해 발생하는 정규화 결과의 차이가 인식 성능에 영향을 준다고 가정하고 최근접 이웃 보간법, 이중 선형 보간법, 이중 삼차 보간법을 사용해 동일한 관심 영역을 보간하고 각 보간법에 따른 입 모양 인식률을 비교해 가장 높은 성능의 보간법을 제안한다. 각 관심 영역은 객체 탐지 인공신경망을 학습시켜 검출하고, 각 관심 영역을 정규화하고 특징을 추출하고 결합한 뒤, 결합된 특징들을 차원 축소한 결과를 저차원 공간으로 매핑하는 것으로 동적 정합 템플릿을 생성했다. 생성된 동적 정합 템플릿들과 저차원 공간으로 매핑된 데이터의 거리를 비교하는 것으로 인식률을 평가했다. 실험 결과 관심 영역의 비교에서는 입술 영역만을 포함하는 관심 영역의 결과가 이전 연구의 93.92%의 평균 인식률보다 3.44% 높은 97.36%의 평균 인식률을 보였으며, 보간법의 비교에서는 이중 선형 보간법이 97.36%로 최근접 이웃 보간법에 비해 14.65%, 이중 삼차 보간법에 비해 5.55% 높은 성능을 나타내었다. 본 연구에 사용된 코드는 https://github.com/haraisi2/Lipreading-Systems에서 확인할 수 있다.