• 대한치과교정학회지
• /
• 제52권1호
• /
• pp.3-19
• /
• 2022

Objective: The purpose of this study was to investigate the accuracy of one-step automated orthodontic diagnosis of skeletodental discrepancies using a convolutional neural network (CNN) and lateral cephalogram images with different qualities from nationwide multi-hospitals. Methods: Among 2,174 lateral cephalograms, 1,993 cephalograms from two hospitals were used for training and internal test sets and 181 cephalograms from eight other hospitals were used for an external test set. They were divided into three classification groups according to anteroposterior skeletal discrepancies (Class I, II, and III), vertical skeletal discrepancies (normodivergent, hypodivergent, and hyperdivergent patterns), and vertical dental discrepancies (normal overbite, deep bite, and open bite) as a gold standard. Pre-trained DenseNet-169 was used as a CNN classifier model. Diagnostic performance was evaluated by receiver operating characteristic (ROC) analysis, t-stochastic neighbor embedding (t-SNE), and gradient-weighted class activation mapping (Grad-CAM). Results: In the ROC analysis, the mean area under the curve and the mean accuracy of all classifications were high with both internal and external test sets (all, > 0.89 and > 0.80). In the t-SNE analysis, our model succeeded in creating good separation between three classification groups. Grad-CAM figures showed differences in the location and size of the focus areas between three classification groups in each diagnosis. Conclusions: Since the accuracy of our model was validated with both internal and external test sets, it shows the possible usefulness of a one-step automated orthodontic diagnosis tool using a CNN model. However, it still needs technical improvement in terms of classifying vertical dental discrepancies.

• 한국컴퓨터정보학회논문지
• /
• 제28권9호
• /
• pp.17-25
• /
• 2023

본 논문에서는 매개변수가 더 적고, 빠르게 추정 가능한 MobileViT 기반 모델을 통해 사람 자세 추정 과업을 수행할 수 있는 모델을 제안한다. 기반 모델은 합성곱 신경망의 특징과 Vision Transformer의 특징이 결합한 구조를 통해 경량화된 성능을 입증한다. 본 연구에서 주요 매커니즘이 되는 Transformer는 그 기반의 모델들이 컴퓨터 비전 분야에서도 합성곱 신경망 기반의 모델들 대비 더 나은 성능을 보이며, 영향력이 커지게 되었다. 이는 사람 자세 추정 과업에서도 동일한 상황이며, Vision Transformer기반의 ViTPose가 COCO, OCHuman, MPII 등 사람 자세 추정 벤치마크에서 모두 최고 성능을 지키고 있는 것이 그 적절한 예시이다. 하지만 Vision Transformer는 매개변수의 수가 많고 상대적으로 많은 연산량을 요구하는 무거운 모델 구조를 가지고 있기 때문에, 학습에 있어 사용자에게 많은 비용을 야기시킨다. 이에 기반 모델은 Vision Transformer가 많은 계산량을 요구하는 부족한 Inductive Bias 계산 문제를 합성곱 신경망 구조를 통한 Local Representation으로 극복하였다. 최종적으로, 제안 모델은 MS COCO 사람 자세 추정 벤치마크에서 제공하는 Validation Set으로 ViTPose 대비 각각 5분의 1과 9분의 1만큼의 3.28GFLOPs, 972만 매개변수를 나타내었고, 69.4 Mean Average Precision을 달성하여 상대적으로 우수한 성능을 보였다.

• 한국과학교육학회지
• /
• 제43권3호
• /
• pp.237-251
• /
• 2023

본 연구는 합성곱 신경망을 활용한 자동 채점 모델을 설계하고 학생의 운동학 그래프 답안에 적용함으로써, 과학 그래프 답안에 대한 자동 채점의 가능성을 탐색하였다. 연구자가 작성한 2,200개의 답안을 2,000개의 훈련 데이터와 200개의 검증 데이터로 데이터셋을 구성하고, 202개의 학생 답안을 100개의 훈련 데이터와 102개의 시험 데이터로 데이터셋을 구성하여 연구를 진행하였다. 먼저, 자동 채점모델을 설계하고 성능을 검증하는 과정에서는 연구자가 작성한 답안 데이터셋을 활용하여 그래프 이미지 분류에 최적화되도록 자동 채점모델을 완성하였다. 다음으로 자동 채점 모델에 훈련 데이터셋을 여러 유형으로 학습시키면서 학생의 시험 데이터셋에 대한 채점을 수행하여 훈련 데이터의 양이 많고 다양할수록 자동 채점 모델의 성능이 향상된다는 것을 확인하였고, 최종적으로 인간 채점과의 일치율은 97.06%, 카파 계수는 0.957, 가중 카파 계수는 0.968을 얻었다. 한편, 훈련 데이터로 학습되지 않은 유형의 답안의 경우 인간 채점자들 간에는 채점이 거의 일치하였으나, 자동 채점 모델은 일치하지 않게 채점하는 것을 확인하였다.

• Korean Journal of Radiology
• /
• 제21권7호
• /
• pp.869-879
• /
• 2020

Objective: To evaluate the performance of a convolutional neural network (CNN) model that can automatically detect and classify rib fractures, and output structured reports from computed tomography (CT) images. Materials and Methods: This study included 1079 patients (median age, 55 years; men, 718) from three hospitals, between January 2011 and January 2019, who were divided into a monocentric training set (n = 876; median age, 55 years; men, 582), five multicenter/multiparameter validation sets (n = 173; median age, 59 years; men, 118) with different slice thicknesses and image pixels, and a normal control set (n = 30; median age, 53 years; men, 18). Three classifications (fresh, healing, and old fracture) combined with fracture location (corresponding CT layers) were detected automatically and delivered in a structured report. Precision, recall, and F1-score were selected as metrics to measure the optimum CNN model. Detection/diagnosis time, precision, and sensitivity were employed to compare the diagnostic efficiency of the structured report and that of experienced radiologists. Results: A total of 25054 annotations (fresh fracture, 10089; healing fracture, 10922; old fracture, 4043) were labelled for training (18584) and validation (6470). The detection efficiency was higher for fresh fractures and healing fractures than for old fractures (F1-scores, 0.849, 0.856, 0.770, respectively, p = 0.023 for each), and the robustness of the model was good in the five multicenter/multiparameter validation sets (all mean F1-scores > 0.8 except validation set 5 [512 x 512 pixels; F1-score = 0.757]). The precision of the five radiologists improved from 80.3% to 91.1%, and the sensitivity increased from 62.4% to 86.3% with artificial intelligence-assisted diagnosis. On average, the diagnosis time of the radiologists was reduced by 73.9 seconds. Conclusion: Our CNN model for automatic rib fracture detection could assist radiologists in improving diagnostic efficiency, reducing diagnosis time and radiologists' workload.

• 융합정보논문지
• /
• 제11권3호
• /
• pp.7-13
• /
• 2021

본 연구는 딥러닝(Deep Learning) 알고리즘 GAN 모델을 기반으로 초미세먼지(PM2.5) 인공지능 예측시스템을 개발한다. 실험 데이터는 시계열 축으로 생성된 온도, 습도, 풍속, 기압의 기상변화와 SO2, CO, O3, NO2, PM10와 같은 대기오염물질 농도와 밀접한 관련이 있다. 데이터 특성상, 현재시간 농도가 이전시간 농도에 영향을 받기 때문에 반복지도학습(Recursive Supervised Learning) 예측 모델을 적용하였다. 기존 모델인 CNN, LSTM의 정확도(Accuracy)를 비교분석을 위해 관측값(Observation Value)과 예측값(Prediction Value)간의 차이를 분석하고 시각화했다. 성능분석 결과 제안하는 GAN이 LSTM 대비 평가항목 RMSE, MAPE, IOA에서 각각 15.8%, 10.9%, 5.5%로 향상된 것을 확인하였다.

• Journal of Radiation Protection and Research
• /
• 제47권3호
• /
• pp.111-133
• /
• 2022

The exciting advancement related to the "modeling of digital human" in terms of a computational phantom for radiation dose calculations has to do with the latest hype related to deep learning. The advent of deep learning or artificial intelligence (AI) technology involving convolutional neural networks has brought an unprecedented level of innovation to the field of organ segmentation. In addition, graphics processing units (GPUs) are utilized as boosters for both real-time Monte Carlo simulations and AI-based image segmentation applications. These advancements provide the feasibility of creating three-dimensional (3D) geometric details of the human anatomy from tomographic imaging and performing Monte Carlo radiation transport simulations using increasingly fast and inexpensive computers. This review first introduces the history of three types of computational human phantoms: stylized medical internal radiation dosimetry (MIRD) phantoms, voxelized tomographic phantoms, and boundary representation (BREP) deformable phantoms. Then, the development of a person-specific phantom is demonstrated by introducing AI-based organ autosegmentation technology. Next, a new development in GPU-based Monte Carlo radiation dose calculations is introduced. Examples of applying computational phantoms and a new Monte Carlo code named ARCHER (Accelerated Radiation-transport Computations in Heterogeneous EnviRonments) to problems in radiation protection, imaging, and radiotherapy are presented from research projects performed by students at the Rensselaer Polytechnic Institute (RPI) and University of Science and Technology of China (USTC). Finally, this review discusses challenges and future research opportunities. We found that, owing to the latest computer hardware and AI technology, computational human body models are moving closer to real human anatomy structures for accurate radiation dose calculations.

• International Journal of Computer Science & Network Security
• /
• 제24권3호
• /
• pp.125-134
• /
• 2024

The novel coronavirus 2019 is called COVID-19 has outspread swiftly worldwide. An early diagnosis is more important to control its quick spread. Medical imaging mechanics, chest calculated tomography or chest X-ray, are playing a vital character in the identification and testing of COVID-19 in this present epidemic. Chest X-ray is cost effective method for Covid-19 detection however the manual process of x-ray analysis is time consuming given that the number of infected individuals keep growing rapidly. For this reason, it is very important to develop an automated COVID-19 detection process to control this pandemic. In this study, we address the task of automatic detection of Covid-19 by using a popular deep learning model namely the VGG19 model. We used 1300 healthy and 1300 confirmed COVID-19 chest X-ray images in this experiment. We performed three experiments by freezing different blocks and layers of VGG19 and finally, we used a machine learning classifier SVM for detecting COVID-19. In every experiment, we used a five-fold cross-validation method to train and validated the model and finally achieved 98.1% overall classification accuracy. Experimental results show that our proposed method using the deep learning-based VGG19 model can be used as a tool to aid radiologists and play a crucial role in the timely diagnosis of Covid-19.

• 한국정보통신학회논문지
• /
• 제22권1호
• /
• pp.26-32
• /
• 2018

단백질의 이차구조는 단백질의 진화, 구조, 기능을 연구하는데 중요한 정보이다. 단백질 서열 정보만을 이용하여 단백질의 이차 구조를 예측하는 분야에 심층 학습 방법들이 최근 들어 활발히 적용되고 있다. 이러한 방법에서 널리 사용되는 입력은 단백질 서열을 변환하여 만들어진 단백질 프로파일이다. 본 논문에서는 효과적인 단백질 프로파일을 얻기 위하여 단백질 서열 탐색 방법으로 PSI-BLAST와 더불어서 HHblits를 사용하였다. 단백질 프로파일의 구성에 사용되는 상동 단백질 서열을 결정하기 위한 유사도 문턱치와 상동 단백질 서열 정보를 반복적으로 사용하는 회수를 조절하였다. 합성곱 신경망과 순환 신경망을 사용하여 단백질 이차구조를 예측하였는데, 진화적 정보를 한번만 추가하여 만들어진 단백질 프로파일이 효과적이었다.

• 한국융합학회논문지
• /
• 제10권11호
• /
• pp.1-7
• /
• 2019

네트워크 공격을 탐지하기 위하여 기계학습을 이용한 다양한 연구가 최근 급격히 증가하고 있다. 이러한 기계학습 방법은 많은 데이터에 의존적이며 연구를 위해 다양한 실험 데이터가 공개되어 사용되고 있다. 하지만 실험 데이터 및 실제 환경에서 수집되는 데이터는 class간의 수량이 불균형하다는 문제점을 가지고 있다. 본 연구에서는 기계 학습을 이용한 침입탐지시스템의 한계점 중 학습데이터의 class간 불균형으로 인한 분류 성능 저하를 해결하기 위한 방법을 제안한다. 이를 위해 네트워크 트래픽 데이터를 처리하고 seqGAN를 이용하여 부족한 데이터를 생성하였다. 제안된 방법은 NSL-KDD, UNSW-NB15 데이터 셋을 대상으로 Text-CNN을 이용하여 분류하는 테스트를 실행한 결과 정밀도가 향상되는 것을 확인할 수 있었다.

• 지능정보연구
• /
• 제28권3호
• /
• pp.119-137
• /
• 2022

최근 추천 시스템 연구에서는 사용자와 아이템 간 상호 작용을 보다 잘 표현하고자 다양한 딥 러닝 모델을 적용하고 있다. ONCF(Outer product-based Neural Collaborative Filtering)는 사용자와 아이템의 행렬을 외적하고 합성곱 신경망을 거치는 구조로 2차원 상호작용 맵을 제작해 사용자와 아이템 간의 상호 작용을 더욱 잘 포착하고자 한 대표적인 딥러닝 기반 추천시스템이다. 하지만 합성곱 신경망을 이용하는 ONCF는 학습 데이터에 나타나지 않은 분포를 갖는 데이터의 경우 예측성능이 떨어지는 귀납적 편향을 가지는 한계가 있다. 본 연구에서는 먼저 NCF구조에 Transformer에 기반한 ViT(Vision Transformer)를 도입한 방법론을 제안한다. ViT는 NLP분야에서 주로 사용되던 트랜스포머를 이미지 분류에 적용하여 좋은 성과를 거둔 방법으로 귀납적 편향이 합성곱 신경망보다 약해 처음 보는 분포에도 robust한 특징이 있다. 다음으로, ONCF는 사용자와 아이템에 대한 단일 잠재 벡터를 사용하였지만 본 연구에서는 모델이 더욱 다채로운 표현을 학습하고 앙상블 효과도 얻기 위해 잠재 벡터를 여러 개 사용하여 채널을 구성한다. 마지막으로 ONCF와 달리 부가 정보(side information)를 추천에 반영할 수 있는 아키텍처를 제시한다. 단순한 입력 결합 방식을 활용하여 신경망에 부가 정보를 반영하는 기존 연구와 달리 본 연구에서는 독립적인 보조 분류기(auxiliary classifier)를 도입하여 추천 시스템에 부가정보를 보다 효율적으로 반영할 수 있도록 하였다. 결론적으로 본 논문에서는 ViT 의 적용, 임베딩 벡터의 채널화, 부가정보 분류기의 도입을 적용한 새로운 딥러닝 모델을 제안하였으며 실험 결과 ONCF보다 높은 성능을 보였다.