• 제목/요약/키워드: neural network training

검색결과 1,775건 처리시간 0.025초

Wavelet 변환과 결합한 잔차 학습을 이용한 희박뷰 전산화단층영상의 인공물 감소 (Artifact Reduction in Sparse-view Computed Tomography Image using Residual Learning Combined with Wavelet Transformation)

  • 이승완
    • 한국방사선학회논문지
    • /
    • 제16권3호
    • /
    • pp.295-302
    • /
    • 2022
  • 희박뷰 전산화단층촬영(computed tomography; CT) 영상화 기술은 피폭 방사선량을 감소시킬 수 있을 뿐만 아니라 획득한 투영상의 균일성을 유지하고 잡음을 감소시킬 수 있는 장점이 있다. 하지만 재구성 영상 내 인공물 발생으로 인하여 화질 및 피사체 구조가 왜곡되는 단점이 있다. 본 연구에서는 희박뷰 CT 영상의 인공물 감소를 위해 wavelet 변환과 잔차 학습(residual learning)을 적용한 콘볼루션 신경망(convolutional neural network; CNN) 기반 영상화 모델을 개발하고, 개발한 모델을 통한 희박뷰 CT 영상의 인공물 감소 정도를 정량적으로 분석하였다. CNN은 wavelet 변환 층, 콘볼루션 층 및 역 wavelet 변환 층으로 구성하였으며, 희박뷰 CT 영상과 잔차 영상을 각각 입출력 영상으로 설정하여 영상화 모델 학습을 진행하였다. 영상화 모델 학습을 위해 평균제곱오차(mean squared error; MSE)를 손실함수로, Adam 함수를 최적화 함수로 사용하였다. 학습된 모델을 통해 입력 희박뷰 CT 영상에 대한 예측 잔차 영상을 획득하고, 두 영상간의 감산을 통해 최종 결과 영상을 획득하였다. 또한 최종 결과 영상에 대한 시각적 특성, 최대신호대잡음비(peak signal-to- noise ratio; PSNR) 및 구조적유사성지수(structural similarity; SSIM)를 측정하였다. 연구결과 본 연구에서 개발한 영상화 모델을 통해 희박뷰 CT 영상의 인공물이 효과적으로 제거되며, 공간분해능이 향상되는 결과를 확인하였다. 또한 wavelet 변환과 잔차 학습을 미적용한 영상화 모델에 비해 본 연구에서 개발한 영상화 모델은 결과 영상의 PSNR 및 SSIM을 각각 8.18% 및 19.71% 향상시킬 수 있음을 확인하였다. 따라서 본 연구에서 개발한 영상화 모델을 이용하여 희박뷰 CT 영상의 인공물 제거는 물론 공간분해능 향상 및 정량적 정확도 향상 효과를 획득할 수 있다.

한국 남부 해역 SST의 계절 및 경년 변동이 단기 딥러닝 모델의 SST 예측에 미치는 영향 (Impacts of Seasonal and Interannual Variabilities of Sea Surface Temperature on its Short-term Deep-learning Prediction Model Around the Southern Coast of Korea)

  • 주호정;채정엽;이은주;김영택;박재훈
    • 한국해양학회지:바다
    • /
    • 제27권2호
    • /
    • pp.49-70
    • /
    • 2022
  • 해수면 온도는 기후와 바다의 생태계 그리고 인간의 활동에까지 중요한 영향을 미치는 해수의 특성 중 하나로 이를 예측하는 것은 항상 중요하게 다뤄지는 문제다. 최근 들어 과거의 패턴을 학습하여 예측값을 생성할 수 있는 딥러닝을 활용한 해수면 온도 예측이 복잡한 수치모델을 이용한 예측의 대안으로 주목받고 있다. 딥러닝은 입력 자료 간의 비선형적인 관계를 추정할 수 있는 것이 큰 장점이며, 최근 컴퓨터 그래픽카드의 발달로 많은 양의 데이터를 반복적이고 빠르게 계산할 수 있게 되었다. 본 연구에서는 기존의 딥러닝 모델의 단점들을 보완하면서 시공간 자료를 다룰 수 있는 합성곱 신경망(Convolutional Neural Network) 기반의 U-Net을 통해 단기 해수면 온도 예측을 수행하였다. 개발한 딥러닝 모델을 이용한 한국 남부 근해 해수면 온도의 단기 예측은 예측일의 해수면 온도의 중장기 변동성에 따라 달라지는 성능을 보였다. 해수면 온도 변동성의 증감은 계절적 변동 뿐 아니라 Pacific Decadal Oscillation (PDO) 지수의 변동과도 유의미한 상관관계를 보였는데, 이는 계절 변동 및 PDO에 따른 기후 변화에 기인한 수온 전선의 강도 변화가 해수면 온도의 시공간적 변동성에 영향을 줌으로써 발생했음을 확인하였다. 본 연구는 해수면 수온 자료가 가지고 있는 계절적 변동성과 경년 변동성이 딥러닝 모델의 해수면 단기 수온 예측 성능에 기여함을 밝힌 것에 그 의의가 있다.

Accuracy of artificial intelligence-assisted landmark identification in serial lateral cephalograms of Class III patients who underwent orthodontic treatment and two-jaw orthognathic surgery

  • Hong, Mihee;Kim, Inhwan;Cho, Jin-Hyoung;Kang, Kyung-Hwa;Kim, Minji;Kim, Su-Jung;Kim, Yoon-Ji;Sung, Sang-Jin;Kim, Young Ho;Lim, Sung-Hoon;Kim, Namkug;Baek, Seung-Hak
    • 대한치과교정학회지
    • /
    • 제52권4호
    • /
    • pp.287-297
    • /
    • 2022
  • Objective: To investigate the pattern of accuracy change in artificial intelligence-assisted landmark identification (LI) using a convolutional neural network (CNN) algorithm in serial lateral cephalograms (Lat-cephs) of Class III (C-III) patients who underwent two-jaw orthognathic surgery. Methods: A total of 3,188 Lat-cephs of C-III patients were allocated into the training and validation sets (3,004 Lat-cephs of 751 patients) and test set (184 Lat-cephs of 46 patients; subdivided into the genioplasty and non-genioplasty groups, n = 23 per group) for LI. Each C-III patient in the test set had four Lat-cephs: initial (T0), pre-surgery (T1, presence of orthodontic brackets [OBs]), post-surgery (T2, presence of OBs and surgical plates and screws [S-PS]), and debonding (T3, presence of S-PS and fixed retainers [FR]). After mean errors of 20 landmarks between human gold standard and the CNN model were calculated, statistical analysis was performed. Results: The total mean error was 1.17 mm without significant difference among the four time-points (T0, 1.20 mm; T1, 1.14 mm; T2, 1.18 mm; T3, 1.15 mm). In comparison of two time-points ([T0, T1] vs. [T2, T3]), ANS, A point, and B point showed an increase in error (p < 0.01, 0.05, 0.01, respectively), while Mx6D and Md6D showeda decrease in error (all p < 0.01). No difference in errors existed at B point, Pogonion, Menton, Md1C, and Md1R between the genioplasty and non-genioplasty groups. Conclusions: The CNN model can be used for LI in serial Lat-cephs despite the presence of OB, S-PS, FR, genioplasty, and bone remodeling.

비지도 학습 기반의 임베딩과 오토인코더를 사용한 침입 탐지 방법 (Intrusion Detection Method Using Unsupervised Learning-Based Embedding and Autoencoder)

  • 이준우;김강석
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권8호
    • /
    • pp.355-364
    • /
    • 2023
  • 최근 지능화된 사이버 위협이 지속적으로 증가함에 따라 기존의 패턴 혹은 시그니처 기반의 침입 탐지 방식은 새로운 유형의 사이버 공격을 탐지하는데 어려움이 있다. 따라서 데이터 학습 기반 인공지능 기술을 적용한 이상 징후 탐지 방법에 관한 연구가 증가하고 있다. 또한 지도학습 기반 이상 탐지 방식은 학습을 위해 레이블 된 이용 가능한 충분한 데이터를 필요로 하기 때문에 실제 환경에서 사용하기에는 어려움이 있다. 최근에는 정상 데이터로 학습하고 데이터 자체에서 패턴을 찾아 이상 징후를 탐지하는 비지도 학습 기반의 방법에 대한 연구가 활발히 진행되고 있다. 그러므로 본 연구는 시퀀스 로그 데이터로부터 유용한 시퀀스 정보를 보존하는 잠재 벡터(Latent Vector)를 추출하고, 추출된 잠재 벡터를 사용하여 이상 탐지 학습 모델을 개발하는데 있다. 각 시퀀스의 특성들에 대응하는 밀집 벡터 표현을 생성하기 위하여 Word2Vec을 사용하였으며, 밀집 벡터로 표현된 시퀀스 데이터로부터 잠재 벡터를 추출하기 위하여 비지도 방식의 오토인코더(Autoencoder)를 사용하였다. 개발된 오토인코더 모델은 시퀀스 데이터에 적합한 순환신경망 GRU(Gated Recurrent Unit) 기반의 잡음 제거 오토인코더, GRU 네트워크의 제한적인 단기 기억문제를 해결하기 위한 1차원 합성곱 신경망 기반의 오토인코더 및 GRU와 1차원 합성곱을 결합한 오토인코더를 사용하였다. 실험에 사용된 데이터는 시계열 기반의 NGIDS(Next Generation IDS Dataset) 데이터이며, 실험 결과 GRU 기반의 오토인코더나, 1차원 합성곱 기반의 오토인코더를 사용한 모델보다 GRU와 1차원 합성곱을 결합한 오토인코더가 훈련 데이터로부터 유용한 잠재 패턴을 추출하기 위한 학습 시간적 측면에서 효율적이었고 이상 탐지 성능 변동의 폭이 더 작은 안정된 성능을 보였다.

Prediction of the remaining time and time interval of pebbles in pebble bed HTGRs aided by CNN via DEM datasets

  • Mengqi Wu;Xu Liu;Nan Gui;Xingtuan Yang;Jiyuan Tu;Shengyao Jiang;Qian Zhao
    • Nuclear Engineering and Technology
    • /
    • 제55권1호
    • /
    • pp.339-352
    • /
    • 2023
  • Prediction of the time-related traits of pebble flow inside pebble-bed HTGRs is of great significance for reactor operation and design. In this work, an image-driven approach with the aid of a convolutional neural network (CNN) is proposed to predict the remaining time of initially loaded pebbles and the time interval of paired flow images of the pebble bed. Two types of strategies are put forward: one is adding FC layers to the classic classification CNN models and using regression training, and the other is CNN-based deep expectation (DEX) by regarding the time prediction as a deep classification task followed by softmax expected value refinements. The current dataset is obtained from the discrete element method (DEM) simulations. Results show that the CNN-aided models generally make satisfactory predictions on the remaining time with the determination coefficient larger than 0.99. Among these models, the VGG19+DEX performs the best and its CumScore (proportion of test set with prediction error within 0.5s) can reach 0.939. Besides, the remaining time of additional test sets and new cases can also be well predicted, indicating good generalization ability of the model. In the task of predicting the time interval of image pairs, the VGG19+DEX model has also generated satisfactory results. Particularly, the trained model, with promising generalization ability, has demonstrated great potential in accurately and instantaneously predicting the traits of interest, without the need for additional computational intensive DEM simulations. Nevertheless, the issues of data diversity and model optimization need to be improved to achieve the full potential of the CNN-aided prediction tool.

딥러닝기반 건축폐기물 이미지 분류 시스템 비교 (A Comparison of Image Classification System for Building Waste Data based on Deep Learning)

  • 성재경;양민철;문경남;김용국
    • 한국인터넷방송통신학회논문지
    • /
    • 제23권3호
    • /
    • pp.199-206
    • /
    • 2023
  • 본 연구는 건축시 발생되는 폐기물의 자동분류를 위해 딥러닝 알고리즘을 활용해 건출 폐기물 데이터를 각각 목재 폐기물, 플라스틱 폐기물, 콘크리트 폐기물로 분류하는 두 모델들을 통해서 성능 비교를 한다. 건축 폐기물의 분류를 위해 사용된 딥러닝 알고리즘은 합성곱 신경망 이미지 분류 알고리즘 VGG-16과 NLP를 기반으로 이미지를 시퀀스화 시킨ViT, Vision Transformer 모델을 사용했다. 건축 폐기물 데이터 수집을 위해 이미지 데이터를 전 세계 검색엔진에서 크롤링 하였고, 육안으로도 명확히 구분하기 어렵거나, 중복되는 등 실험에 방해되는 이미지는 전부 제외하여 각 분류당 1천장씩 총 3천장의 이미지를 확보했다. 또한, 데이터 학습시에 모델의 정확도 향상에 도움을 주기 위해 데이터 확대 작업을 진행해 총 3만장의 이미지로 실험을 진행 하였다. 수집된 이미 데이터가 정형화 되어있지 않은 데이터 임에도 불구하고 실험 결과는 정확도가 VGG-16는 91.5%, ViT 는 92.7%의 결과가 나타났다. 이는 실제 건축폐기물 데이터 관리 작업에 실전 활용 가능성을 제시한 것으로 보인다. 본 연구를 바탕으로 추후에 객체 탐지 기법이나 의미론적 분할 기법까지 활용한다면, 하나의 이미지 안에서도 여러 세밀한 분류가 가능해 더욱 완벽한 분류가 가능할 것이다.

인공지능 기법을 이용한 조영제 부작용 예측 연구 (Contrast Media Side Effects Prediction Study using Artificial Intelligence Technique)

  • 김상현
    • 한국방사선학회논문지
    • /
    • 제17권3호
    • /
    • pp.423-431
    • /
    • 2023
  • 본 연구의 목적은 환자의 신체정보와 인공지능 기법을 활용하여 부작용에 영향을 미치는 인자들을 분석하고 조영제 부작용의 정도를 예측하여 이를 완화하는 기초자료로 활용되고자 한다. 연구에 사용한 데이터는 서울 소재 종합병원의 검진을 시행한 CT 검사 58,000건 중 조영제 부작용이 발생한 1,235건 중 과거력 조사에서 조영제 부작용이 없었던 606명의 검사자를 대상자로 하였다. 606개 샘플 중 70%는 훈련 셋으로 사용하고 나머지 30%는 검증을 위한 테스트 셋으로 사용하였다. 나이, BMI(Body Mass Index), GFR(Glomerular Filtration Rate), BUN(Blood Urea Nitrogen), GGT(Gamma Glutamyl Transgerase), AST(Aspartate Amino Transferase,), and ALT(Alanine Amiono Transferase)의 feature를 독립변수로 조영제 중증도를 목표변수로 사용하였다. AdaBoost, Tree, Neural network, SVM, Random foest 알고리즘을 통해 AUC(Area under curve), CA(Classification Accuracy), F1, Precision, Recall을 파악하였다. 분류 예측에 사용된 알고리즘 중 가장 높은 평가지표를 나타내 것은 AdaBoost와 Random Forest이다. 모든 모델의 예측에서 가장 큰 요인은 GFR, BMI, GGT 이였다. 이는 신장 여과 기능, 비만에 따라 주입되는 조영제 양의 차이와 대사증후군의 여부에 따라 조영제 부작용 중증도에 영향을 미치는 것을 알 수 있었다.

기상레이더 강수 합성데이터를 활용한 심층신경망 기반 초단기 강수예측 기술 연구 (Short-Term Precipitation Forecasting based on Deep Neural Network with Synthetic Weather Radar Data)

  • 안소정;최윤;손명재;김광호;정성화;박영연
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.43-45
    • /
    • 2021
  • 초단기 강수예측 시스템은 단시간 발생하는 집중호우와 같은 위험기상에 대응하기 위해 사회·경제적으로 중요하다. 최근 국내·외에서 심층신경망을 활용한 초단기 강수예측 연구가 활발히 진행되고 있다. 심층신경망을 이용한 강수예측 모델은 훈련 데이터를 만들 때 기상데이터의 구조와 종류가 복잡하고 방대하므로 기상학적 이해를 바탕으로 복잡한 전처리 과정이 필요하다. 또한, 비선형적인 패턴의 강수 현상을 예측하기 위하여 기상의 상호작용에 대한 이해를 바탕으로 입력 데이터를 구성해야 한다. 따라서 본 연구에서는 다음과 같은 접근법을 제안하고자 한다. i) 기상레이더 합성 강수장과 강수발달에 영향을 줄 수 있는 주요 인자(레이더, 지형, 온도, 등)를 훈련 데이터 구축을 위해 패턴 분석에 적합한 형태로 정제하고 이를 구조화하여 통합한다. ii) 합성곱 신경망과 합성곱 장단기 기억 신경망을 접목하여 초단기 예측 강수장을 산출한다. 2020년 강수 사례를 이용하여 제안한 모델의 정확성을 검증하였다. 제안한 모델은 비선형적인 패턴의 강수 현상을 잘 모의하였고, 강수의 규모 및 강도에 대한 예측성능이 향상되었다. 이는 강수를 동반한 초단기 위험기상의 방재에 활용할 수 있을 것으로 기대된다.

  • PDF

Development of a Malignancy Potential Binary Prediction Model Based on Deep Learning for the Mitotic Count of Local Primary Gastrointestinal Stromal Tumors

  • Jiejin Yang;Zeyang Chen;Weipeng Liu;Xiangpeng Wang;Shuai Ma;Feifei Jin;Xiaoying Wang
    • Korean Journal of Radiology
    • /
    • 제22권3호
    • /
    • pp.344-353
    • /
    • 2021
  • Objective: The mitotic count of gastrointestinal stromal tumors (GIST) is closely associated with the risk of planting and metastasis. The purpose of this study was to develop a predictive model for the mitotic index of local primary GIST, based on deep learning algorithm. Materials and Methods: Abdominal contrast-enhanced CT images of 148 pathologically confirmed GIST cases were retrospectively collected for the development of a deep learning classification algorithm. The areas of GIST masses on the CT images were retrospectively labelled by an experienced radiologist. The postoperative pathological mitotic count was considered as the gold standard (high mitotic count, > 5/50 high-power fields [HPFs]; low mitotic count, ≤ 5/50 HPFs). A binary classification model was trained on the basis of the VGG16 convolutional neural network, using the CT images with the training set (n = 108), validation set (n = 20), and the test set (n = 20). The sensitivity, specificity, positive predictive value (PPV), and negative predictive value (NPV) were calculated at both, the image level and the patient level. The receiver operating characteristic curves were generated on the basis of the model prediction results and the area under curves (AUCs) were calculated. The risk categories of the tumors were predicted according to the Armed Forces Institute of Pathology criteria. Results: At the image level, the classification prediction results of the mitotic counts in the test cohort were as follows: sensitivity 85.7% (95% confidence interval [CI]: 0.834-0.877), specificity 67.5% (95% CI: 0.636-0.712), PPV 82.1% (95% CI: 0.797-0.843), NPV 73.0% (95% CI: 0.691-0.766), and AUC 0.771 (95% CI: 0.750-0.791). At the patient level, the classification prediction results in the test cohort were as follows: sensitivity 90.0% (95% CI: 0.541-0.995), specificity 70.0% (95% CI: 0.354-0.919), PPV 75.0% (95% CI: 0.428-0.933), NPV 87.5% (95% CI: 0.467-0.993), and AUC 0.800 (95% CI: 0.563-0.943). Conclusion: We developed and preliminarily verified the GIST mitotic count binary prediction model, based on the VGG convolutional neural network. The model displayed a good predictive performance.

데이터의 불균형성을 제거한 네트워크 침입 탐지 모델 비교 분석 (Experimental Comparison of Network Intrusion Detection Models Solving Imbalanced Data Problem)

  • 이종화;방지원;김종욱;최미정
    • KNOM Review
    • /
    • 제23권2호
    • /
    • pp.18-28
    • /
    • 2020
  • 컴퓨팅 환경의 발전에 따라 IT 기술이 의료, 산업, 통신, 문화 등의 분야에서 사람들에게 제공해주는 혜택이 늘어나 삶의 질도 향상되고 있다. 그에 따라 발전된 네트워크 환경을 노리는 다양한 악의적인 공격이 존재한다. 이러한 공격들을 사전에 탐지하기 위해 방화벽, 침입 탐지 시스템 등이 존재하지만, 나날이 진화하는 악성 공격들을 탐지하는 데에는 한계가 있다. 이를 해결하기 위해 기계 학습을 이용한 침입 탐지 연구가 활발히 진행되고 있지만, 학습 데이터셋의 불균형으로 인한 오탐 및 미탐이 발생하고 있다. 본 논문에서는 네트워크 침입 탐지에 사용되는 UNSW-NB15 데이터셋의 불균형성 문제를 해결하기 위해 랜덤 오버샘플링 방법을 사용했다. 실험을 통해 모델들의 accuracy, precision, recall, F1-score, 학습 및 예측 시간, 하드웨어 자원 소모량을 비교 분석했다. 나아가 본 연구를 기반으로 랜덤 오버샘플링 방법 이외에 불균형한 데이터 문제를 해결할 수 있는 다른 방법들과 성능이 높은 모델들을 이용하여 좀 더 효율적인 네트워크 침입 탐지 모델 연구로 발전시키고자 한다.