• 방송공학회논문지
• /
• 제25권6호
• /
• pp.935-943
• /
• 2020

본 논문에서는 위상 홀로그램의 고해상도 디스플레이를 위하여 딥러닝을 사용하는 방법을 제안한다. 일반적인 보간법을 사용하면 복원결과의 밝기가 낮아지고 노이즈와 잔상이 생기는 문제점이 발생한다. 이를 해결하고자 SISR(Single-Image Super Resolution) 분야에서 좋은 성능을 보였던 신경망 구조로 홀로그램을 학습시켰다. 그 결과로 복원결과에서 발생한 문제를 개선하며 해상도를 증가시킬 수 있었다. 또한 성능을 높이기 위해 채널 수를 조절하여 동일한 학습 시에 0.3dB 이상의 결과 상승을 보였다.

• 방송공학회논문지
• /
• 제28권3호
• /
• pp.293-301
• /
• 2023

표준화되지 않은 의료 데이터 수집 및 관리는 여전히 수동으로 진행되고 있어, 이 문제를 해결하기 위해 딥 러닝을 사용해 CT 데이터를 분류하는 연구들이 진행되고 있다. 하지만 대부분 연구에서는 기본적인 CT slice인 axial 평면만을 기반으로 모델을 개발하고 있다. CT 영상은 일반 이미지와 다르게 인체 구조만 묘사하기 때문에 CT scan을 재구성하는 것만으로도 더 풍부한 신체적 특징을 나타낼 수 있다. 이 연구는 axial 평면뿐만 아니라 CT 데이터를 2D로 변환하는 여러가지 방법들을 통해 보다 높은 성능을 달성할 수 있는 방법을 찾고자 한다. 훈련은 5가지 부위의 CT 스캔 1042개를 사용했고, 모델 평가를 위해 테스트셋 179개, 외부 데이터셋으로 448개를 수집했다. 딥러닝 모델 개발을 위해 ImageNet으로 사전 학습된 InceptionResNetV2를 백본으로 사용하였으며, 모델의 전체 레이어를 재 학습했다. 실험결과 신체 부위 분류에서는 재구성 데이터 모델이 99.33%를 달성하며 axial 모델보다 1.12% 더 높았고, 조영제 분류에서는 brain과 neck에서만 axial모델이 높았다. 결론적으로 axial slice로만 훈련했을 때 보다 해부학적 특징이 잘 나타나는 데이터로 학습했을 때 더 정확한 성능 달성이 가능했다.

• 한국멀티미디어학회논문지
• /
• 제22권11호
• /
• pp.1242-1250
• /
• 2019

Super resolution technique aims to convert a low-resolution image with coarse details to a corresponding high-resolution image with refined details. In the past decades, the performance is greatly improved due to progress of deep learning models. However, universal solution for various objects is a still challenging issue. We observe that learning super resolution with a general dataset has poor performance on faces. In this paper, we propose a super resolution fusion scheme that works well for both general- and face datasets to achieve more universal solution. In addition, object-specific feature extractor is employed for better reconstruction performance. In our experiments, we compare our fusion image and super-resolved images from one- of the state-of-the-art deep learning models trained with DIV2K and FFHQ datasets. Quantitative and qualitative evaluates show that our fusion scheme successfully works well for both datasets. We expect our fusion scheme to be effective on other objects with poor performance and this will lead to universal solutions.

• 전기전자학회논문지
• /
• 제26권3호
• /
• pp.408-415
• /
• 2022

본 논문에서는 효율적인 feature map 추출 네트워크를 이용한 2D 이미지에서의 3D 포인트 클라우드 재구축 기법을 제안한다. 본 논문에서 제안한 기법의 독창성은 다음과 같다. 첫 번째로, 메모리 측면에서 기존 기법보다 약 27% 더 효율적인 새로운 feature map 추출 네트워크를 사용한다. 제안하는 네트워크는 딥러닝 네트워크의 중간까지 크기 축소를 수행하지 않아, 3D 포인트 클라우드 재구축에 필요한 중요한 정보가 유실되지 않았다. 축소되지 않은 이미지 크기로 인해 발생하는 메모리 증가 문제는 채널의 개수를 줄이고 딥러닝 네트워크의 깊이를 얕게 효율적으로 구성하여 해결하였다. 두 번째로, 2D 이미지의 고해상도 feature를 보존하여 정확도를 기존 기법보다 향상시킬 수 있도록 하였다. 축소되지 않은 이미지로부터 추출한 feature map은 기존의 방법보다 자세한 정보가 담겨있어 3D 포인트 클라우드의 재구축 정확도를 향상시킬 수 있다. 세 번째로, 촬영 정보를 필요로 하지 않는 divergence loss를 사용한다. 2D 이미지뿐만 아니라 촬영 각도가 학습에 필요하다는 사항은 그만큼 데이터셋이 자세한 정보를 담고 있어야 하며 데이터셋의 구축을 어렵게 만드는 단점이다. 본 논문에서는 추가적인 촬영 정보 없이 무작위성을 통해 정보의 다양성을 늘려 3D 포인트 클라우드의 재구축 정확도가 높아질 수 있도록 하였다. 제안하는 기법의 성능을 객관적으로 평가하기 위해 ShapeNet 데이터셋을 이용하여 비교 논문들과 같은 방법으로 실험한 결과, 본 논문에서 제안하는 기법의 CD 값이 5.87, EMD 값이 5.81 FLOPs 값이 2.9G로 산출되었다. 한편, CD, EMD 수치가 낮을수록, 재구축한 3D 포인트 클라우드가 원본에 근접하는 정확도가 향상된 결과를 나타낸다. 또한, FLOPs 수치가 낮을수록 딥러닝 네트워크에 필요한 메모리가 적게 소요되는 결과를 나타낸다. 따라서, 제안하는 기법의 CD, EMD, FLOPs 성능평가 결과가 다른 논문의 기법들보다 메모리 측면에서 약 27%, 정확도 측면에서 약 6.3% 향상된 결과를 나타내어 객관적인 성능이 입증되었다.

• 대한원격탐사학회지
• /
• 제38권2호
• /
• pp.199-213
• /
• 2022

비지도 도메인 적응은 연단위 작물 분류를 위해 매년 반복적으로 양질의 훈련자료를 수집해야 하는 비실용적인 문제를 해결할 수 있다. 이 연구에서는 작물 분류를 위한 딥러닝 기반 비지도 도메인 적응 모델의 적용성을 평가하였다. 우리나라 마늘, 양파 주산지인 합천군과 창녕군을 대상으로 무인기 영상을 이용한 작물 분류 실험을 통해 deep adaptation network (DAN), deep reconstruction-classification network, domain adversarial neural network (DANN)의 3개의 비지도 도메인 적응 모델을 정량적으로 비교하였다. 비지도 도메인 적응 모델의 분류 성능을 평가하기 위해 소스 베이스라인 및 대상 베이스라인 모델로 convolutional neural networks (CNNs)을 추가로 적용하였다. 3개의 비지도 도메인 적응 모델은 소스 베이스라인 CNN보다 우수한 성능을 보였으나, 소스 도메인 영상과 대상 도메인 영상의 자료 분포 간 불일치 정도에 따라 서로 다른 분류 성능을 보였다. DAN의 분류 성능은 두 도메인 영상 간 불일치가 작을 때 다른 두 모델에 비해 분류 성능이 높은 반면에 DANN은 두 도메인 영상 간 불일치가 클 때 가장 우수한 분류 성능을 보였다. 따라서 신뢰할 수 있는 분류 결과를 생성하기 위해 두 도메인 영상의 분포가 일치하는 정도를 고려해서 최상의 비지도 도메인 적응 모델을 선택해야 한다.

• Investigative Magnetic Resonance Imaging
• /
• 제26권1호
• /
• pp.1-9
• /
• 2022

Artificial intelligence (AI) powered by deep learning (DL) has shown remarkable progress in image recognition tasks. Over the past decade, AI has proven its feasibility for applications in medical imaging. Various aspects of clinical practice in neuroimaging can be improved with the help of AI. For example, AI can aid in detecting brain metastases, predicting treatment response of brain tumors, generating a parametric map of dynamic contrast-enhanced MRI, and enhancing radiomics research by extracting salient features from input images. In addition, image quality can be improved via AI-based image reconstruction or motion artifact reduction. In this review, we summarize recent clinical applications of DL in various aspects of neuroimaging.

• ETRI Journal
• /
• 제44권6호
• /
• pp.1034-1046
• /
• 2022

The learning-based multiview stereo (MVS) methods for three-dimensional (3D) reconstruction generally use 3D volumes for depth inference. The quality of the reconstructed depth maps and the corresponding point clouds is directly influenced by the spatial resolution of the 3D volume. Consequently, these methods produce point clouds with sparse local regions because of the lack of the memory required to encode a high volume of information. Here, we apply the atrous spatial pyramid pooling (ASPP) module in MVS methods to obtain dense feature maps with multiscale, long-range, contextual information using high receptive fields. For a given 3D volume with the same spatial resolution as that in the MVS methods, the dense feature maps from the ASPP module encoded with superior information can produce dense point clouds without a high memory footprint. Furthermore, we propose a 3D loss for training the MVS networks, which improves the predicted depth values by 24.44%. The ASPP module provides state-of-the-art qualitative results by constructing relatively dense point clouds, which improves the DTU MVS dataset benchmarks by 2.25% compared with those achieved in the previous MVS methods.

• Journal of Multimedia Information System
• /
• 제9권2호
• /
• pp.103-112
• /
• 2022

Background: A presentation attack places the printed image or displayed video at the front of the sensor to deceive the biometric recognition system. Usually, presentation attackers steal a genuine user's biometric image and use it for presentation attack. In recent years, reconstruction attack and adversarial attack can generate high-quality fake images, and have high attack success rates. However, their attack rates degrade remarkably after image shooting. Methods: In order to comprehensively analyze the threat of presentation attack to palmprint recognition system, this paper makes six palmprint presentation attack datasets. The datasets were tested on texture coding-based recognition methods and deep learning-based recognition methods. Results and conclusion: The experimental results show that the presentation attack caused by the leakage of the original image has a high success rate and a great threat; while the success rates of reconstruction attack and adversarial attack decrease significantly.

• 대한영상의학회지
• /
• 제84권6호
• /
• pp.1309-1323
• /
• 2023

목적 크론병 환자의 자기공명영상 장운동기록(MR enterography; 이하 MRE)에서 단발 고속 스핀 에코기법(single-shot fast spin-echo; 이하 SSFSE)을 이용한 단일호흡영상(singlebreath-hold; 이하 SBH)과 다호흡영상(multiple-breath-hold; 이하 MBH)을 딥러닝 기반 재구성(deep-learning based reconstruction; 이하 DLR)의 유무에 따라 네 개의 영상에서 품질을 비교했다. 대상과 방법 이 연구는 후향적 연구로서, 크론병으로 MRE를 시행한 61명의 환자가 포함되었다. SBH와 MBH SSFSE 영상에서 각각 DLR과 고식적 재구성(conventional reconstruction; 이하 CR)을 시행한 영상을 획득했다. 두 명의 영상의학과 전문의가 네 가지 영상을 분석하여 전반적인 영상의 품질, 인공물, 선명도와 움직임 관련 신호 손실에 대하여 각각 5점 척도를 이용해 점수를 부여했다. 회장과 말단 회장, 결장에서 염증을 시사하는 세 가지 소견을 평가했다. 각 영상에 대해서 공간적 불일치 여부를 확인했고, 네 가지 영상에서 각각 다른 두 위치에서 신호 대 잡음비(signal-to-noise ratio; 이하 SNR)를 계산했다. 결과 SBH SSFSE 영상에서 DLR을 적용한 경우 CR보다 영상의 품질, 인공물, 선명도가 통계학적으로 유의하게 개선되었다. 네 가지 영상 중 SBH-DLR 영상에서 SNR이 가장 높게 나타났다(p < 0.001). 염증 소견에 대한 판독자 간 일치율은 좋음에서 매우 좋음으로 나타났고(κ = 0.76-0.95) 시퀀스 간 일치율은 매우 좋음으로 측정되었다(κ = 0.92-0.94). 공간적 불일치는 SBH 영상보다 MBH 영상에서 통계학적으로 유의하게 빈도가 높았다(p < 0.001). 결론 SBH-DLR 영상은 MBH-CR 영상과 비교했을 때 동등한 영상 품질과 성능을 보여주었다. 또한, MBH 영상에 비해 절반 이하의 시간과 단일 호흡만으로 영상을 획득할 수 있으며 공간 불일치를 줄일 수 있는 대체제로 사용할 수 있다.

• 방송공학회논문지
• /
• 제27권3호
• /
• pp.283-294
• /
• 2022

딥 러닝 네트워크에서 사용되는 특징 맵은 일반적으로 영상보다 데이터가 크며 특징 맵을 전송하기 위해서는 영상의 압축률보다 더 높은 압축률이 요구된다. 본 논문은 딥러닝 기반의 영상처리에서 객체의 크기에 대한 강인성을 가지는 FPN 구조의 네트워크에서 사용되는 피라미드 특징 맵을 높은 압축률로 전송하기 위해 제안한 복원-예측 네트워크를 통해 전송된 일부 계층의 피라미드 특징 맵으로 전송하지 않은 계층의 피라미드 특징 맵을 예측하며, 압축으로 인한 손상을 복원하는 구조를 제안한다. 제안한 방법의 COCO 데이터셋 2017 Train images에 대한 객체 탐지의 성능은 rate-precision 그래프에서 VTM12.0을 통해 특징 맵을 압축한 결과 대비 BD-rate 31.25%의 성능향상을 보였고, PCA와 DeepCABAC을 통한 압축을 수행한 방법 대비 BD-rate 57.79%의 성능향상을 보였다.