• 제목/요약/키워드: deep metric loss

검색결과 13건 처리시간 0.023초

Deep Metric Learning을 활용한 합성곱 신경망 기반의 피부질환 분류 기술 (Skin Disease Classification Technique Based on Convolutional Neural Network Using Deep Metric Learning)

  • 김강민;김판구;전찬준
    • 스마트미디어저널
    • /
    • 제10권4호
    • /
    • pp.45-54
    • /
    • 2021
  • 피부는 외부 오염으로부터 일차적으로 몸을 보호하는 역할을 한다. 피부병이 발생하게 되면 피부의 보호 기능이 저하되므로 신속한 진단과 처치가 필요하다. 최근 인공지능의 발달로 인해 여러 분야에 기술적용을 위한 연구가 이루어지고 있으며, 피부과에서도 인공지능을 활용해 오진율을 줄여 신속한 치료를 받을 수 있는 환경을 만들기 위한 연구가 진행되고 있다. 종래 연구들의 주된 흐름은 발생 빈도가 낮은 피부질환의 진단이었지만, 본 논문에서는 사람들에게 흔히 발생할 수 있고, 개인이 명확히 판별하기 힘든 티눈과 사마귀를 합성곱 신경망을 통해 분류하는 방법을 제안한다. 사용한 데이터셋은 3개의 클래스로 이루어져 있으며, 총 2,515장의 이미지를 가지고 있다, 학습 데이터 부족과 클래스 불균형 문제가 존재한다. 모델의 학습에는 deep metric 손실 함수와 교차 손실 함수를 이용해 각각 성능을 분석하였으며, 정밀도, 재현율, F1 점수, 정확도의 측면에서 비교한 결과 deep metric 손실 함수에서 더 우수한 성능을 보였다.

다양한 손실 함수를 이용한 음성 향상 성능 비교 평가 (Performance comparison evaluation of speech enhancement using various loss functions)

  • 황서림;변준;박영철
    • 한국음향학회지
    • /
    • 제40권2호
    • /
    • pp.176-182
    • /
    • 2021
  • 본 논문은 다양한 손실 함수에 따른 Deep Nerual Network(DNN) 기반 음성 향상 모델의 성능을 비교 평가한다. 베이스라인 모델로는 음성의 위상 정보를 고려할 수 있는 복소 네트워크를 사용하였다. 손실 함수는 두 가지 유형의 기본 손실 함수, Mean Squared Error(MSE)와 Scale-Invariant Source-to-Noise Ratio(SI-SNR)를 사용하였으며 두 가지 유형의 지각 기반 손실 함수 Perceptual Metric for Speech Quality Evaluation(PMSQE)과 Log Mel Spectra(LMS)를 사용한다. 성능은 각 손실 함수의 다양한 조합을 사용하여 얻은 출력을 객관적인 평가와 청취 테스트를 통해 측정하였다. 실험 결과, 지각기반 손실 함수를 MSE 또는 SI-SNR과 결합하였을 때 전반적으로 성능이 향상되며, 지각기반 손실함수를 사용하면 객관적 지표에서 약세를 보이는 경우라도 청취 테스트에서 우수한 성능을 보임을 확인하였다.

학습률 적용에 따른 흉부영상 폐렴 유무 분류 비교평가 (Comparative Evaluation of Chest Image Pneumonia based on Learning Rate Application)

  • 김지율;예수영
    • 한국방사선학회논문지
    • /
    • 제16권5호
    • /
    • pp.595-602
    • /
    • 2022
  • 본 연구는 딥러닝을 이용한 흉부 X선 폐렴 영상에 대하여 정확하고 효율적인 의료영상의 자동진단을 위해서 가장 효율적인 학습률을 제시하고자 하였다. Inception V3 딥러닝 모델에 학습률을 0.1, 0.01, 0.001, 0.0001로 각각 설정한 후 3회 딥러닝 모델링을 수행하였다. 그리고 검증 모델링의 평균 정확도 및 손실 함수 값, Test 모델링의 Metric을 성능평가 지표로 설정하여 딥러닝 모델링의 수행 결과로 획득한 결과값의 3회 평균값으로 성능을 비교 평가하였다. 딥러닝 검증 모델링 성능평가 및 Test 모델링 Metric에 대한 성능평가의 결과, 학습률 0.001을 적용한 모델링이 가장 높은 정확도와 우수한 성능을 나타내었다. 이러한 이유로 본 논문에서는 딥러닝 모델을 이용한 흉부 X선 영상에 대한 폐렴 유무 분류 시 학습률을 0.001로 적용할 것을 권고한다. 그리고 본 논문에서 제시하는 학습률의 적용을 통한 딥러닝 모델링 시 흉부 X선 영상에 대한 폐렴 유무 분류에 대한 인력의 보조적인 역할을 수행할 수 있을 거라고 판단하였다. 향후 딥러닝을 이용한 폐렴 유무 진단 분류 연구가 계속해서 진행될 시, 본 논문의 논문 연구 내용은 기초자료로 활용될 수 있다고 여겨지며 나아가 인공지능을 활용한 의료영상 분류에 있어 효율적인 학습률 선택에 도움이 될 것으로 기대된다.

불균형 블랙박스 동영상 데이터에서 충돌 상황의 다중 분류를 위한 손실 함수 비교 (Comparison of Loss Function for Multi-Class Classification of Collision Events in Imbalanced Black-Box Video Data)

  • 이의상;한석민
    • 한국인터넷방송통신학회논문지
    • /
    • 제24권1호
    • /
    • pp.49-54
    • /
    • 2024
  • 데이터 불균형은 분류 문제에서 흔히 마주치는 문제로, 데이터셋 내의 클래스간 샘플 수의 현저한 차이에서 기인한다. 이러한 데이터 불균형은 일반적으로 분류 모델에서 과적합, 과소적합, 성능 지표의 오해 등의 문제를 야기한다. 이를 해결하기 위한 방법으로는 Resampling, Augmentation, 규제 기법, 손실 함수 조정 등이 있다. 본 논문에서는 손실 함수 조정에 대해 다루며 특히, 불균형 문제를 가진 Multi-Class 블랙박스 동영상 데이터에서 여러 구성의 손실 함수(Cross Entropy, Balanced Cross Entropy, 두 가지 Focal Loss 설정: 𝛼 = 1 및 𝛼 = Balanced, Asymmetric Loss)의 성능을 I3D, R3D_18 모델을 활용하여 비교하였다.

Xception 모델링을 이용한 흉부 X선 영상 폐렴(pneumonia) 진단 시 배치 사이즈별 비교 분석 (Comparative Analysis by Batch Size when Diagnosing Pneumonia on Chest X-Ray Image using Xception Modeling)

  • 김지율;예수영
    • 한국방사선학회논문지
    • /
    • 제15권4호
    • /
    • pp.547-554
    • /
    • 2021
  • 흉부 X선 영상의 폐렴을 신속하고 정확하게 진단하기 위하여 동일한 Xception 딥러닝 모델에 배치 사이즈를 4, 8, 16, 32로 다르게 적용하여 각각 3회의 모델링을 실시하였다. 그리고 성능평가 및 metric 평가에 대한 결과값을 3회 평균값으로 산출하여 배치 사이즈별 흉부 X선 영상의 폐렴 특징 추출과 분류의 정확도 및 신속성을 비교 평가하였다. 딥러닝 모델링의 성능평가 결과 배치 사이즈 32를 적용한 모델링의 경우 정확도, 손실함수 값, 평균제곱오차, 1 epoch 당 학습 소요 시간의 결과가 가장 우수한 결과를 나타내었다. 그리고 Test Metric의 정확도 평가는 배치 사이즈 8을 적용한 모델링이 가장 우수한 결과를 나타내었으며, 정밀도 평가는 모든 배치 사이즈에서 우수한 결과를 나타내었다. 재현율 평가는 배치 사이즈 16을 적용한 모델링이 가장 우수한 결과를 나타내었으며, F1-score는 배치 사이즈 16을 적용한 모델링이 가장 우수한 결과를 나타내었다. 그리고 AUC score 평가는 모든 배치 사이즈의 결과가 동일하였다. 이러한 결과를 바탕으로 배치 사이즈 32를 적용한 딥러닝 모델링이 높은 정확도, 안정적인 인공신경망 학습 및 우수한 신속성의 결과를 나타내었다. 향후 딥러닝을 이용한 흉부 X선 영상의 폐렴에 대한 특징 추출 및 분류에 관하여 자동진단 연구 시 배치 사이즈를 32로 적용한다면 정확하면서도 신속한 병변 검출이 가능할 것이라고 사료된다.

ISFRNet: A Deep Three-stage Identity and Structure Feature Refinement Network for Facial Image Inpainting

  • Yan Wang;Jitae Shin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권3호
    • /
    • pp.881-895
    • /
    • 2023
  • Modern image inpainting techniques based on deep learning have achieved remarkable performance, and more and more people are working on repairing more complex and larger missing areas, although this is still challenging, especially for facial image inpainting. For a face image with a huge missing area, there are very few valid pixels available; however, people have an ability to imagine the complete picture in their mind according to their subjective will. It is important to simulate this capability while maintaining the identity features of the face as much as possible. To achieve this goal, we propose a three-stage network model, which we refer to as the identity and structure feature refinement network (ISFRNet). ISFRNet is based on 1) a pre-trained pSp-styleGAN model that generates an extremely realistic face image with rich structural features; 2) a shallow structured network with a small receptive field; and 3) a modified U-net with two encoders and a decoder, which has a large receptive field. We choose structural similarity index (SSIM), peak signal-to-noise ratio (PSNR), L1 Loss and learned perceptual image patch similarity (LPIPS) to evaluate our model. When the missing region is 20%-40%, the above four metric scores of our model are 28.12, 0.942, 0.015 and 0.090, respectively. When the lost area is between 40% and 60%, the metric scores are 23.31, 0.840, 0.053 and 0.177, respectively. Our inpainting network not only guarantees excellent face identity feature recovery but also exhibits state-of-the-art performance compared to other multi-stage refinement models.

균형 잡힌 데이터 증강 기반 영상 감정 분류에 관한 연구 (A Study on Visual Emotion Classification using Balanced Data Augmentation)

  • 정치윤;김무섭
    • 한국멀티미디어학회논문지
    • /
    • 제24권7호
    • /
    • pp.880-889
    • /
    • 2021
  • In everyday life, recognizing people's emotions from their frames is essential and is a popular research domain in the area of computer vision. Visual emotion has a severe class imbalance in which most of the data are distributed in specific categories. The existing methods do not consider class imbalance and used accuracy as the performance metric, which is not suitable for evaluating the performance of the imbalanced dataset. Therefore, we proposed a method for recognizing visual emotion using balanced data augmentation to address the class imbalance. The proposed method generates a balanced dataset by adopting the random over-sampling and image transformation methods. Also, the proposed method uses the Focal loss as a loss function, which can mitigate the class imbalance by down weighting the well-classified samples. EfficientNet, which is the state-of-the-art method for image classification is used to recognize visual emotion. We compare the performance of the proposed method with that of conventional methods by using a public dataset. The experimental results show that the proposed method increases the F1 score by 40% compared with the method without data augmentation, mitigating class imbalance without loss of classification accuracy.

An Analysis on the Properties of Features against Various Distortions in Deep Neural Networks

  • Kang, Jung Heum;Jeong, Hye Won;Choi, Chang Kyun;Ali, Muhammad Salman;Bae, Sung-Ho;Kim, Hui Yong
    • 방송공학회논문지
    • /
    • 제26권7호
    • /
    • pp.868-876
    • /
    • 2021
  • Deploying deep neural network model training performs remarkable performance in the fields of Object detection and Instance segmentation. To train these models, features are first extracted from the input image using a backbone network. The extracted features can be reused by various tasks. Research has been actively conducted to serve various tasks by using these learned features. In this process, standardization discussions about encoding, decoding, and transmission methods are proceeding actively. In this scenario, it is necessary to analyze the response characteristics of features against various distortions that may occur in the data transmission or data compression process. In this paper, experiment was conducted to inject various distortions into the feature in the object recognition task. And analyze the mAP (mean Average Precision) metric between the predicted value output from the neural network and the target value as the intensity of various distortions was increased. Experiments have shown that features are more robust to distortion than images. And this points out that using the feature as transmission means can prevent the loss of information against the various distortions during data transmission and compression process.

Deep Learning-based Depth Map Estimation: A Review

  • Abdullah, Jan;Safran, Khan;Suyoung, Seo
    • 대한원격탐사학회지
    • /
    • 제39권1호
    • /
    • pp.1-21
    • /
    • 2023
  • In this technically advanced era, we are surrounded by smartphones, computers, and cameras, which help us to store visual information in 2D image planes. However, such images lack 3D spatial information about the scene, which is very useful for scientists, surveyors, engineers, and even robots. To tackle such problems, depth maps are generated for respective image planes. Depth maps or depth images are single image metric which carries the information in three-dimensional axes, i.e., xyz coordinates, where z is the object's distance from camera axes. For many applications, including augmented reality, object tracking, segmentation, scene reconstruction, distance measurement, autonomous navigation, and autonomous driving, depth estimation is a fundamental task. Much of the work has been done to calculate depth maps. We reviewed the status of depth map estimation using different techniques from several papers, study areas, and models applied over the last 20 years. We surveyed different depth-mapping techniques based on traditional ways and newly developed deep-learning methods. The primary purpose of this study is to present a detailed review of the state-of-the-art traditional depth mapping techniques and recent deep learning methodologies. This study encompasses the critical points of each method from different perspectives, like datasets, procedures performed, types of algorithms, loss functions, and well-known evaluation metrics. Similarly, this paper also discusses the subdomains in each method, like supervised, unsupervised, and semi-supervised methods. We also elaborate on the challenges of different methods. At the conclusion of this study, we discussed new ideas for future research and studies in depth map research.

멀티 브랜치 네트워크 구조 탐색을 사용한 구름 영역 분할 (Semantic Segmentation of Clouds Using Multi-Branch Neural Architecture Search)

  • 정치윤;문경덕;김무섭
    • 대한원격탐사학회지
    • /
    • 제39권2호
    • /
    • pp.143-156
    • /
    • 2023
  • 인공위성이 촬영한 영상의 내용을 정확하게 분석하기 위해서는 영상에 존재하는 구름 영역을 정확하게 인지하는 것이 필요하다. 최근 다양한 분야에서 딥러닝(deep learning) 모델이 뛰어난 성능을 보여줌에 따라 구름 영역 검출을 위해 딥러닝 모델을 적용한 방법들이 많이 제안되고 있다. 하지만 현재 구름 영역 검출 방법들은 의미 영역 분할 방법의 네트워크 구조를 그대로 사용하여 구름 검출 성능을 향상하는 데는 한계가 있다. 따라서 본 논문에서는 구름 검출 데이터 세트에 다중 브랜치 네트워크 구조 탐색을 적용하여 구름 영역 검출에 최적화된 네트워크 모델을 생성함으로써 구름 검출 성능을 향상하는 방법을 제안한다. 또한 구름 검출 성능을 향상하기 위하여 의미 영역 분할 모델의 학습 단계와 평가 단계의 평가 기준 불일치를 해소하기 위해 제안된 soft intersection over union (IoU) 손실 함수를 사용하고, 다양한 데이터 증강 방법을 적용하여 학습 데이터를 증가시켰다. 본 논문에서 제안된 방법의 성능을 검증하기 위하여 아리랑위성 3/3A호에서 촬영한 영상으로 구성된 구름 검출 데이터 세트를 사용하였다. 먼저 제안 방법과 의미 영역 분할 데이터 세트에서 탐색된 기존 네트워크 모델의 성능을 비교하였다. 실험 결과, 제안 방법의 mean IoU는 68.5%이며, 기존 모델보다 mIoU 측면에서 4%의 높은 성능을 보여주었다. 또한 soft IoU 손실 함수를 포함한 다섯 개의 손실 함수를 적용하여 손실 함수에 따른 구름 검출 성능을 분석하였으며, 실험 결과 본 연구에서 사용한 soft IoU 함수가 가장 좋은 성능을 보여주었다. 마지막으로 의미 영역 분할 분야에서 활용되는 최신 네트워크 모델과 제안 방법의 구름 검출 성능을 비교하였다. 실험 결과, 제안 모델이 의미 영역 분할 분야의 최신 모델들보다 mIoU와 정확도 측면에서 더 나은 성능을 보여주는 것을 확인하였다.