• 제목/요약/키워드: Layer-By-Layer Training

검색결과 300건 처리시간 0.027초

Fast Spectral Inversion of the Strong Absorption Lines in the Solar Chromosphere Based on a Deep Learning Model

  • Lee, Kyoung-Sun;Chae, Jongchul;Park, Eunsu;Moon, Yong-Jae;Kwak, Hannah;Cho, Kyuhyun
    • 천문학회보
    • /
    • 제46권2호
    • /
    • pp.46.3-47
    • /
    • 2021
  • Recently a multilayer spectral inversion (MLSI) model has been proposed to infer the physical parameters of plasmas in the solar chromosphere. The inversion solves a three-layer radiative transfer model using the strong absorption line profiles, H alpha and Ca II 8542 Å, taken by the Fast Imaging Solar Spectrograph (FISS). The model successfully provides the physical plasma parameters, such as source functions, Doppler velocities, and Doppler widths in the layers of the photosphere to the chromosphere. However, it is quite expensive to apply the MLSI to a huge number of line profiles. For example, the calculating time is an hour to several hours depending on the size of the scan raster. We apply deep neural network (DNN) to the inversion code to reduce the cost of calculating the physical parameters. We train the models using pairs of absorption line profiles from FISS and their 13 physical parameters (source functions, Doppler velocities, Doppler widths in the chromosphere, and the pre-determined parameters for the photosphere) calculated from the spectral inversion code for 49 scan rasters (~2,000,000 dataset) including quiet and active regions. We use fully connected dense layers for training the model. In addition, we utilize a skip connection to avoid a problem of vanishing gradients. We evaluate the model by comparing the pairs of absorption line profiles and their inverted physical parameters from other quiet and active regions. Our result shows that the deep learning model successfully reproduces physical parameter maps of a scan raster observation per second within 15% of mean absolute percentage error and the mean squared error of 0.3 to 0.003 depending on the parameters. Taking this advantage of high performance of the deep learning model, we plan to provide the physical parameter maps from the FISS observations to understand the chromospheric plasma conditions in various solar features.

  • PDF

Analysis of streamflow prediction performance by various deep learning schemes

  • Le, Xuan-Hien;Lee, Giha
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.131-131
    • /
    • 2021
  • Deep learning models, especially those based on long short-term memory (LSTM), have presented their superiority in addressing time series data issues recently. This study aims to comprehensively evaluate the performance of deep learning models that belong to the supervised learning category in streamflow prediction. Therefore, six deep learning models-standard LSTM, standard gated recurrent unit (GRU), stacked LSTM, bidirectional LSTM (BiLSTM), feed-forward neural network (FFNN), and convolutional neural network (CNN) models-were of interest in this study. The Red River system, one of the largest river basins in Vietnam, was adopted as a case study. In addition, deep learning models were designed to forecast flowrate for one- and two-day ahead at Son Tay hydrological station on the Red River using a series of observed flowrate data at seven hydrological stations on three major river branches of the Red River system-Thao River, Da River, and Lo River-as the input data for training, validation, and testing. The comparison results have indicated that the four LSTM-based models exhibit significantly better performance and maintain stability than the FFNN and CNN models. Moreover, LSTM-based models may reach impressive predictions even in the presence of upstream reservoirs and dams. In the case of the stacked LSTM and BiLSTM models, the complexity of these models is not accompanied by performance improvement because their respective performance is not higher than the two standard models (LSTM and GRU). As a result, we realized that in the context of hydrological forecasting problems, simple architectural models such as LSTM and GRU (with one hidden layer) are sufficient to produce highly reliable forecasts while minimizing computation time because of the sequential data nature.

  • PDF

심층학습을 이용한 전이대 두께 예측 (Thickness Estimation of Transition Layer using Deep Learning)

  • 장성형;이동훈;김병엽
    • 지구물리와물리탐사
    • /
    • 제26권4호
    • /
    • pp.199-210
    • /
    • 2023
  • CO2 주입 후 저류층은 암석물리 특성이 변하므로 이 연구에서는 저류층을 물성이 선형으로 변하는 전이대 지층모델로 구성한다. 울프 반사계수 함수는 전이대 상하지층의 속도비, 주파수, 전이대 두께 함수로 구성되어 있어 저류층 두께나 해저면 전이대 두께를 추정하는데 활용할 수 있다. 이 연구에서는 심층학습을 이용하여 전이대 두께를 예측 방법을 제안한다. 심층학습을 적용하기 위해 사암 저류층, 셰일 덮개암으로 구성한 인공 전이대 지층모델에 두께에 따른 울프 반사계수 모델링을 수행하고 시간-스펙트럼 영상자료를 확보하였다. 두께별 시간-주파수 스펙트럼 영상과 중합단면도 트레이스에서 구한 시간-주파수 스펙트럼 비교로부터 구한 두께 추정결과는 항상 정확하게 전이대의 두께를 제시하지는 못하였다. 그러나 다양한 환경에서 학습자료를 확보하고 정확도를 높이면 현장자료적용이 가능할 것으로 본다.

CNN-LSTM 조합모델을 이용한 영화리뷰 감성분석 (Sentiment Analysis of Movie Review Using Integrated CNN-LSTM Mode)

  • 박호연;김경재
    • 지능정보연구
    • /
    • 제25권4호
    • /
    • pp.141-154
    • /
    • 2019
  • 인터넷 기술과 소셜 미디어의 빠른 성장으로 인하여, 구조화되지 않은 문서 표현도 다양한 응용 프로그램에 사용할 수 있게 마이닝 기술이 발전되었다. 그 중 감성분석은 제품이나 서비스에 내재된 사용자의 감성을 탐지할 수 있는 분석방법이기 때문에 지난 몇 년 동안 많은 관심을 받아왔다. 감성분석에서는 주로 텍스트 데이터를 이용하여 사람들의 감성을 사전 정의된 긍정 및 부정의 범주를 할당하여 분석하며, 이때 사전 정의된 레이블을 이용하기 때문에 다양한 방향으로 연구가 진행되고 있다. 초기의 감성분석 연구에서는 쇼핑몰 상품의 리뷰 중심으로 진행되었지만, 최근에는 블로그, 뉴스기사, 날씨 예보, 영화 리뷰, SNS, 주식시장의 동향 등 다양한 분야에 적용되고 있다. 많은 선행연구들이 진행되어 왔으나 대부분 전통적인 단일 기계학습기법에 의존한 감성분류를 시도하였기에 분류 정확도 면에서 한계점이 있었다. 본 연구에서는 전통적인 기계학습기법 대신 대용량 데이터의 처리에 우수한 성능을 보이는 딥러닝 기법과 딥러닝 중 CNN과 LSTM의 조합모델을 이용하여 감성분석의 분류 정확도를 개선하고자 한다. 본 연구에서는 대표적인 영화 리뷰 데이터셋인 IMDB의 리뷰 데이터 셋을 이용하여, 감성분석의 극성분석을 긍정 및 부정으로 범주를 분류하고, 딥러닝과 제안하는 조합모델을 활용하여 극성분석의 예측 정확도를 개선하는 것을 목적으로 한다. 이 과정에서 여러 매개 변수가 존재하기 때문에 그 수치와 정밀도의 관계에 대해 고찰하여 최적의 조합을 찾아 정확도 등 감성분석의 성능 개선을 시도한다. 연구 결과, 딥러닝 기반의 분류 모형이 좋은 분류성과를 보였으며, 특히 본 연구에서 제안하는 CNN-LSTM 조합모델의 성과가 가장 우수한 것으로 나타났다.

초기 볼트풀림 상태의 볼트 체결력 예측을 위한 주파수응답 유사성 기반의 합성곱 신경망 (Convolutional Neural Network-based Prediction of Bolt Clamping Force in Initial Bolt Loosening State Using Frequency Response Similarity)

  • 이제현;한정삼
    • 한국전산구조공학회논문집
    • /
    • 제36권4호
    • /
    • pp.221-232
    • /
    • 2023
  • 본 논문에서는 볼트로 체결된 구조체에 대하여 초기 볼트풀림 상태에서의 볼트 체결력 예측 합성곱 신경망 훈련 방법을 제시한다. 8개의 볼트의 체결력이 변경된 상태에서 계산한 주파수응답들을 완전 체결된 상태의 초기 모델과의 크기 및 모양 유사성을 표현하는 유사성 지도로 생성한다. 주파수응답 데이터들의 생성에는 크리로프 부공간법 기반의 모델차수축소법을 적용하여 효율적인 방법으로 수행할 수 있도록 한다. 합성곱 신경망 모델은 회귀 출력 계층을 사용하여 볼트의 체결력을 예측하도록 하였으며, 훈련 데이터의 개수와 합성곱 신경망 계층의 개수를 다르게 준비하여 훈련시킨 네트워크들을 비교하여 그 성능을 평가하였다. 주파수응답에서 파생되는 유사성 지도를 입력 데이터로 사용하여 초기 볼트풀림 영역에서 볼트 체결력의 진단 가능성과 유효성을 제시하였다.

작물의 병충해 분류를 위한 이미지 활용 방법 연구 (Study on Image Use for Plant Disease Classification)

  • 정성호;한정은;정성균;봉재환
    • 한국전자통신학회논문지
    • /
    • 제17권2호
    • /
    • pp.343-350
    • /
    • 2022
  • 서로 다른 특징을 가지는 이미지를 통합하여 작물의 병충해 분류를 위한 심층신경망을 훈련하는 것이 학습 결과에 어떤 영향을 미치는지 확인하고, 심층신경망의 학습 결과를 개선할 수 있는 이미지 통합방법에 대해 실험하였다. 실험을 위해 두 종류의 작물 이미지 공개 데이터가 사용되었다. 하나는 인도의 실제 농장 환경에서 촬영된 작물 이미지이고 다른 하나는 한국의 실험실 환경에서 촬영한 작물 이미지였다. 작물 잎 이미지는 정상인 경우와 4종류의 병충해를 포함하여 5개의 하위 범주로 구성되었다. 심층신경망은 전이학습을 통해 사전 훈련된 VGG16이 특징 추출부에 사용되었고 분류기에는 다층퍼셉트론 구조를 사용하였다. 두 공개 데이터는 세 가지 방법으로 통합되어 심층신경망의 지도학습에 사용되었다. 훈련된 심층신경망은 평가 데이터를 이용해 평가되었다. 실험 결과에 따르면 심층신경망을 실험실 환경에서 촬영한 작물 이미지로 학습한 이후에 실제 농장 환경에서 촬영한 작물 이미지로 재학습하는 경우에 가장 좋은 성능을 보였다. 서로 다른 배경의 두 공공데이터를 혼용하여 사용하면 심층신경망의 학습 결과가 좋지 않았다. 심층신경망의 학습 과정에서 여러 종류의 데이터를 사용하는 방법에 따라 심층신경망의 성능이 달라질 수 있음을 확인하였다.

사전훈련된 모델구조를 이용한 심층신경망 기반 유방암 조직병리학적 이미지 분류 (Breast Cancer Histopathological Image Classification Based on Deep Neural Network with Pre-Trained Model Architecture)

  • 비키 무뎅;이언진;최세운
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 춘계학술대회
    • /
    • pp.399-401
    • /
    • 2022
  • 유방 악성 상태를 분류하기 위한 최종 진단은 침습적 생검을 이용한 현미경 분석을 통해 확인이 가능하나, 분석을 위해 일정 시간과 비용이 부과되며, 병리학적 지식을 보유한 전문가가 필요하다. 이러한 문제를 극복하기 위해, 딥 러닝을 활용한 진단 기법은 조직병리학적 이미지에서 유방암을 양성 및 악성으로 분류에 효율적인 방법으로 고려된다. 본 연구는 유방암 조직병리학적 이미지를 40배 확대한 BreaKHIS 데이터 세트를 사용하여 양성 및 악성으로 분류하였으며, 100% 미세 조정 체계와 Adagrad를 이용한 최적화로 사전 훈련된 컨볼루션 신경망 모델 아키텍처를 사용하였다. 사전 훈련된 아키텍처는 InceptionResNetV2 모델을 사용하여 마지막 계층을 고밀도 계층과 드롭아웃 계층으로 대체하여 수정된 InceptionResNetV2를 생성하도록 구성되었다. 훈련 손실 0.25%, 훈련 정확도 99.96%, 검증 손실 3.10%, 검증 정확도 99.41%, 테스트 손실 8.46%와 테스트 정확도 98.75%를 입증한 결과는 수정된 InceptionResNetV2 모델이 조직병리학적 이미지에서 유방 악성 유형을 예측하는 데 신뢰할 수 있음을 보여주었다. 향후 연구는 k-폴드 교차 검증, 최적화, 모델, 초 매개 변수 최적화 및 100×, 200× 및 400× 배율에 대한 분류에 초점을 맞추어 추가실험이 필요하다.

  • PDF

감정예측모형의 성과개선을 위한 Support Vector Regression 응용 (Application of Support Vector Regression for Improving the Performance of the Emotion Prediction Model)

  • 김성진;유은정;정민규;김재경;안현철
    • 지능정보연구
    • /
    • 제18권3호
    • /
    • pp.185-202
    • /
    • 2012
  • 오늘날 정보사회에서는 정보에 대한 가치를 인식하고, 이를 위한 정보의 활용과 수집이 중요해지고 있다. 얼굴 표정은 그림 하나가 수천개의 단어를 표현할 수 있듯이 수천 개의 정보를 지니고 있다. 이에 주목하여 최근 얼굴 표정을 통해 사람의 감정을 판단하여 지능형 서비스를 제공하기 위한 시도가 MIT Media Lab을 필두로 활발하게 이루어지고 있다. 전통적으로 기존 연구에서는 인공신경망, 중회귀분석 등의 기법을 통해 사람의 감정을 판단하는 연구가 이루어져 왔다. 하지만 중회귀모형은 예측 정확도가 떨어지고, 인공신경망은 성능은 뛰어나지만 기법 자체가 지닌 과적합화 문제로 인해 한계를 지닌다. 본 연구는 사람들의 자극에 대한 반응으로서 나타나는 얼굴 표정을 통해 감정을 추론해내는 지능형 모형을 개발하는 것을 목표로 한다. 기존 얼굴 표정을 통한 지능형 감정판단모형을 개선하기 위하여, Support Vector Regression(이하 SVR) 기법을 적용하는 새로운 모형을 제시한다. SVR은 기존 Support Vector Machine이 가진 뛰어난 예측 능력을 바탕으로, 회귀문제 영역을 해결하기 위해 확장된 것이다. 본 연구의 제안 모형의 목적은 사람의 얼굴 표정으로부터 쾌/불쾌 수준 그리고 몰입도를 판단할 수 있도록 설계되는 것이다. 모형 구축을 위해 사람들에게 적절한 자극영상을 제공했을 때 나타나는 얼굴 반응들을 수집했고, 이를 기반으로 얼굴 특징점을 도출 및 보정하였다. 이후 전처리 과정을 통해 통계적 유의변수를 추출 후 학습용과 검증용 데이터로 구분하여 SVR 모형을 통해 학습시키고, 평가되도록 하였다. 다수의 일반인들을 대상으로 수집된 실제 데이터셋을 기반으로 제안모형을 적용해 본 결과, 매우 우수한 예측 정확도를 보임을 확인할 수 있었다. 아울러, 중회귀분석이나 인공신경망 기법과 비교했을 때에도 본 연구에서 제안한 SVR 모형이 쾌/불쾌 수준 및 몰입도 모두에서 더 우수한 예측성과를 보임을 확인할 수 있었다. 이는 얼굴 표정에 기반한 감정판단모형으로서 SVR이 상당히 효과적인 수단이 될 수 있다는 점을 알 수 있었다.

저장탄약 신뢰성분류 인공신경망모델의 학습속도 향상에 관한 연구 (Study on Improving Learning Speed of Artificial Neural Network Model for Ammunition Stockpile Reliability Classification)

  • 이동녁;윤근식;노유찬
    • 한국산학기술학회논문지
    • /
    • 제21권6호
    • /
    • pp.374-382
    • /
    • 2020
  • 본 연구에서 저장탄약 신뢰성평가(ASRP: Ammunition Stockpile Reliability Program)의 데이터 특성을 고려하여 입력변수를 줄이는 정규화기법을 제안함으로써 분류성능의 저하 없이 저장탄약 신뢰성분류 인경신경망모델의 학습 속도향상을 목표로 하였다. 탄약의 성능에 대한 기준은 국방규격(KDS: Korea Defense Specification)과 저장탄약 시험절차서(ASTP: Ammunition Stockpile reliability Test Procedure)에 규정되어 있으며, 평가결과 데이터는 이산형과 연속형 데이터가 복합적으로 구성되어 있다. 이러한 저장탄약 신뢰성평가의 데이터 특성을 고려하여 입력변수는 로트 추정 불량률(estimated lot percent nonconforming) 또는 고장률로 정규화 하였다. 또한 입력변수의 unitary hypercube를 유지하기 위하여 최소-최대 정규화를 2차로 수행하는 2단계 정규화 기법을 제안하였다. 제안된 2단계 정규화 기법은 저장탄약 신뢰성평가 데이터를 이용하여 비교한 결과 최소-최대 정규화와 유사하게 AUC(Area Under the ROC Curve)는 0.95 이상이었으며 학습속도는 학습 데이터 수와 은닉 계층의 노드 수에 따라 1.74 ~ 1.99 배 향상되었다.

WAVE 시스템에서 미드엠블을 이용한 채널 등화 방식 (Channel Equalization Schemes using Midamble for WAVE Systems)

  • 홍대기;강법주
    • 한국정보통신학회논문지
    • /
    • 제14권10호
    • /
    • pp.2215-2222
    • /
    • 2010
  • 차량 간 통신을 위한 직교 주파수 분할 다중화 (OFDM: Orthogonal Frequency Division Multiplexing)기반 WAVE (Wireless Access for Vehicular Environment) 시스템의 물리계층 표준은 기존에 정지환경을 기반으로 표준화된 IEEE802.11a 무선랜 (WLAN: Wireless Local Area Network)의 물리계층 표준을 따르는 것으로 되어 있다. 따라서 이동환경에 기반한 WAVE 시스템에서 단순한 등화방식을 적용할 경우 빠른 페이딩의 영향으로 인하여 프레임 초기 채널특성과 말기 채널특성의 변화가 초래되어 시스템의 수신 성능이 저하되게 되고, 특히 고차 변조방식에서는 더욱 문제가 된다. 따라서 본 논문에서는 WAVE 시스템의 64-직교진폭변조 (QAM: Quadrature Amplitude Modulation)과 같은 고차 변조에서 채널 등화성능을 향상시키는 방식에 대해 연구하였다. 훈련 심볼을 이용하는 기존의 채널추정방식을 기반으로 하되 WAVE 채널처럼 빠르게 변화하는 채널특성을 추적하기 위해 일정한 주기 마다 미드엠블을 삽입하는 전송구조를 제안하였다. 또한 미드엠블 사이의 심벌들의 채널 변화는 다양한 보간법을 적용한 등화 알고리듬을 제안하였다.