• 한국콘텐츠학회:학술대회논문집
• /
• 한국콘텐츠학회 2018년도 춘계 종합학술대회 논문집
• /
• pp.459-460
• /
• 2018

In this paper, we present a data augmentation method that generates synthetic plant disease images using Generative Adversarial Networks (GANs). We propose a training scheme that first uses classical data augmentation techniques to enlarge the training set and then further enlarges the data size and its diversity by applying GAN techniques for synthetic data augmentation. Our method is demonstrated on a limited dataset of 2789 images of tomato plant diseases (Gray mold, Canker, Leaf mold, Plague, Leaf miner, Whitefly etc.).

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권4호
• /
• pp.1486-1501
• /
• 2021

The removal of accessories from the face is one of the essential pre-processing stages in the field of face recognition. However, despite its importance, a robust solution has not yet been provided. This paper proposes a network and dataset construction methodology to remove only the glasses from facial images effectively. To obtain an image with the glasses removed from an image with glasses by the supervised learning method, a network that converts them and a set of paired data for training is required. To this end, we created a large number of synthetic images of glasses being worn using facial attribute transformation networks. We adopted the conditional GAN (cGAN) frameworks for training. The trained network converts the in-the-wild face image with glasses into an image without glasses and operates stably even in situations wherein the faces are of diverse races and ages and having different styles of glasses.

• 지구물리와물리탐사
• /
• 제25권3호
• /
• pp.140-161
• /
• 2022

탄성파 탐사 자료 획득 시 자료의 일부가 손실되는 문제가 발생할 수 있으며 이를 위해 자료 보간이 필수적으로 수행된다. 최근 기계학습 기반 탄성파 자료 보간법 연구가 활발히 진행되고 있으며, 특히 영상처리 분야에서 이미지 초해상화에 활용되고 있는 CNN (Convolutional Neural Network) 기반 알고리즘과 GAN (Generative Adversarial Network) 기반 알고리즘이 탄성파 탐사 자료 보간법으로도 활용되고 있다. 본 연구에서는 손실된 탄성파 탐사 자료를 높은 정확도로 복구하는 보간법을 찾기 위해 CNN 기반 알고리즘인 U-Net과 GAN 기반 알고리즘인 cWGAN (conditional Wasserstein Generative Adversarial Network)을 탄성파 탐사 자료 보간 모델로 사용하여 성능 평가 및 결과 비교를 진행하였다. 이때 예측 과정을 Case I과 Case II로 나누어 모델 학습 및 성능 평가를 진행하였다. Case I에서는 규칙적으로 50% 트레이스가 손실된 자료만을 사용하여 모델을 학습하였고, 생성된 모델을 규칙/불규칙 및 샘플링 비율의 조합으로 구성된 총 6가지 테스트 자료 세트에 적용하여 모델 성능을 평가하였다. Case II에서는 6가지 테스트 자료와 동일한 형식으로 샘플링된 자료를 이용하여 해당 자료별 모델을 생성하였고, 이를 Case I과 동일한 테스트 자료 세트에 적용하여 결과를 비교하였다. 결과적으로 cWGAN이 U-Net에 비해 높은 정확도의 예측 성능을 보였으며, 정량적 평가지수인 PSNR과 SSIM에서도 cWGAN이 높은 값이 나타나는 것을 확인하였다. 하지만 cWGAN의 경우 예측 결과에서 추가적인 잡음이 생성되었으며, 잡음을 제거하고 정확도를 개선하기 위해 앙상블 작업을 수행하였다. Case II에서 생성된 cWGAN 모델들을 이용하여 앙상블을 수행한 결과, 성공적으로 잡음이 제거되었으며 PSNR과 SSIM 또한 기존의 개별 모델 보다 향상된 결과를 나타내었다.

• 대한방사선기술학회지:방사선기술과학
• /
• 제46권4호
• /
• pp.315-323
• /
• 2023

Post-mortem computed tomography (PMCT) is commonly employed in the field of forensic pathology. PMCT was mainly performed using a whole-body scan with a wide field of view (FOV), which lead to a decrease in spatial resolution due to the increased pixel size. This study aims to evaluate the potential for developing a super-resolution model based on conditional generative adversarial networks (CGAN) to enhance the image quality of CT. 1761 low-resolution images were obtained using a whole-body scan with a wide FOV of the head phantom, and 341 high-resolution images were obtained using the appropriate FOV for the head phantom. Of the 150 paired images in the total dataset, which were divided into training set (96 paired images) and validation set (54 paired images). Data augmentation was perform to improve the effectiveness of training by implementing rotations and flips. To evaluate the performance of the proposed model, we used the Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index Measure (SSIM) and Deep Image Structure and Texture Similarity (DISTS). Obtained the PSNR, SSIM, and DISTS values of the entire image and the Medial orbital wall, the zygomatic arch, and the temporal bone, where fractures often occur during head trauma. The proposed method demonstrated improvements in values of PSNR by 13.14%, SSIM by 13.10% and DISTS by 45.45% when compared to low-resolution images. The image quality of the three areas where fractures commonly occur during head trauma has also improved compared to low-resolution images.

• 천문학회보
• /
• 제44권2호
• /
• pp.78.1-78.1
• /
• 2019

There are a huge number of faint objects that have not been observed due to the lack of large and deep surveys. In this study, we demonstrate that a deep learning approach can produce a better quality deep image from a single pass imaging so that could be an alternative of conventional image stacking technique or the expensive large and deep surveys. Using data from the Sloan Digital Sky Survey (SDSS) stripe 82 which provide repeatedly scanned imaging data, a training data set is constructed: g-, r-, and i-band images of single pass data as an input and r-band co-added image as a target. Out of 151 SDSS fields that have been repeatedly scanned 34 times, 120 fields were used for training and 31 fields for validation. The size of a frame selected for the training is 1k by 1k pixel scale. To avoid possible problems caused by the small number of training sets, frames are randomly selected within that field each iteration of training. Every 5000 iterations of training, the performance were evaluated with RMSE, peak signal-to-noise ratio which is given on logarithmic scale, structural symmetry index (SSIM) and difference in SSIM. We continued the training until a GAN model with the best performance is found. We apply the best GAN-model to NGC0941 located in SDSS stripe 82. By comparing the radial surface brightness and photometry error of images, we found the possibility that this technique could generate a deep image with statistics close to the stacked image from a single-pass image.

• 한국측량학회지
• /
• 제40권3호
• /
• pp.177-185
• /
• 2022

본 연구에서는 딥러닝을 통해 고해상도 광학 위성영상에 동종센서로 촬영한 영상을 참조하여 폐색 영역을 복원하는 방법을 제안하였다. 패치 단위로 분할된 영상에서 원본 영상의 화소 분포를 최대한 유지하며 폐색 영역을 모의한 영상과 주변 영상의 자연스러운 연속성을 위해 ConvNeXt 블록을 적용한 CycleGAN (Cycle Generative Adversarial Network) 방법을 사용하여 실험을 진행하였고 이를 3개의 실험지역에 대해 분석하였다. 또한, 학습패치 크기를 512*512화소로 하는 경우와 2배 확장한 1024*1024화소 크기의 적용 결과도 비교하였다. 서로 특징이 다른 3개의 지역에 대하여 실험한 결과, ConvNeXt CycleGAN 방법론이 기존의 CycleGAN을 적용한 영상, Histogram matching 영상과 비교하여 개선된 R² 값을 보여줌을 확인하였다. 학습에 사용되는 패치 크기별 실험의 경우 1024*1024화소의 패치를 사용한 결과, 약 0.98의 R²값이 산출되었으며 영상밴드별 화소 분포를 비교한 결과에서도 큰 패치 크기로 학습한 모의 결과가 원본 영상과 더 유사한 히스토그램 분포를 나타내었다. 이를 통해, 기존의 CycleGAN을 적용한 영상 및 Histogram matching 영상보다 발전된 ConvNeXt CycleGAN을 사용할 때 원본영상과 유사한 모의 결과를 도출할 수 있었고, 성공적인 모의를 수행할 수 있음을 확인하였다.

• 지구물리와물리탐사
• /
• 제26권2호
• /
• pp.37-51
• /
• 2023

그라운드-롤(ground roll)은 육상 탄성파 탐사 자료에서 가장 흔하게 나타나는 일관성 잡음(coherent noise)이며 탐사를 통해 얻고자 하는 반사 이벤트 신호보다 훨씬 큰 진폭을 가지고 있다. 따라서 탄성파 자료 처리에서 그라운드-롤 제거는 매우 중요하고 필수적인 과정이다. 그라운드-롤 제거를 위해 주파수-파수 필터링, 커브릿(curvelet) 변환 등 여러 제거 기술이 개발되어 왔으나 제거 성능과 효율성을 개선하기 위한 방법에 대한 수요는 여전히 존재한다. 최근에는 영상처리 분야에서 개발된 딥러닝 기법들을 활용하여 탄성파 자료의 그라운드-롤을 제거하고자 하는 연구도 다양하게 수행되고 있다. 이 논문에서는 그라운드-롤 제거를 위해 CNN (convolutional neural network) 또는 cGAN (conditional generative adversarial network)을 기반으로 하는 세가지 모델(DnCNN (De-noiseCNN), pix2pix, CycleGAN)을 적용한 연구들을 소개하고 수치 예제를 통해 상세히 설명하였다. 알고리듬 비교를 위해 동일한 현장에서 취득한 송신원 모음을 훈련 자료와 테스트 자료로 나누어 모델을 학습하고, 모델 성능을 평가하였다. 이러한 딥러닝 모델은 현장자료를 사용하여 훈련할 때, 그라운드-롤이 제거된 자료가 필요하므로 주파수-파수 필터링으로 그라운드-롤을 제거하여 정답자료로 사용하였다. 딥러닝 모델의 성능 평가 및 훈련 결과 비교는 정답 자료와의 유사성을 기본으로 상관계수와 SSIM (structural similarity index measure)과 같은 정량적 지표를 활용하였다. 결과적으로 DnCNN 모델이 가장 좋은 성능을 보였으며, 다른 모델들도 그라운드-롤 제거에 활용될 수 있음을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제24권12호
• /
• pp.1624-1631
• /
• 2021

With the continued development of image processing technology, we live in a time when it is difficult to visually discriminate processed (or tampered) images from real images. However, as the risk of fake images being misused for crime increases, the importance of image forensic science for identifying fake images is emerging. Currently, various deep learning-based identifiers have been studied, but there are still many problems to be used in real situations. Due to the inherent characteristics of deep learning that strongly relies on given training data, it is very vulnerable to evaluating data that has never been viewed. Therefore, we try to find a way to improve generalization ability of deep learning-based fake image identifiers. First, images with various contents were added to the training dataset to resolve the over-fitting problem that the identifier can only classify real and fake images with specific contents but fails for those with other contents. Next, color spaces other than RGB were exploited. That is, fake image identification was attempted on color spaces not considered when creating fake images, such as HSV and YCbCr. Finally, dropout, which is commonly used for generalization of neural networks, was used. Through experimental results, it has been confirmed that the color space conversion to HSV is the best solution and its combination with the approach of increasing the training dataset significantly can greatly improve the accuracy and generalization ability of deep learning-based identifiers in identifying fake images that have never been seen before.

• 로봇학회논문지
• /
• 제15권2호
• /
• pp.197-204
• /
• 2020

In this paper, we present a learning platform for robotic grasping in real world, in which actor-critic deep reinforcement learning is employed to directly learn the grasping skill from raw image pixels and rarely observed rewards. This is a challenging task because existing algorithms based on deep reinforcement learning require an extensive number of training data or massive computational cost so that they cannot be affordable in real world settings. To address this problems, the proposed learning platform basically consists of two training phases; a learning phase in simulator and subsequent learning in real world. Here, main processing blocks in the platform are extraction of latent vector based on state representation learning and disentanglement of a raw image, generation of adapted synthetic image using generative adversarial networks, and object detection and arm segmentation for the disentanglement. We demonstrate the effectiveness of this approach in a real environment.

• 한국정보전자통신기술학회논문지
• /
• 제15권5호
• /
• pp.380-386
• /
• 2022

본 논문은 적대적 생성 신경망 기법의 하나인 Pix2Pix를 활용하여 컬러색상을 입히는 경우 학습된 이미지의 빛 반사 정도에 따라 예측결과가 손상되어 나오는 부분에 집중하여 Pix2Pix 모델 적용 전 이미지 전처리 프로세스 및 모델 최적화를 위한 파라미터 테이블을 구성한다. 기존 논문에 나온 Pix2Pix 모델을 활용하여 실생활에 적용하기 위해서는 해상도에 대한 확장성을 고려해야한다. 학습 및 예측결과 이미지 해상도를 키우기 위해서는 동시에 모델의 커널 사이즈 등을 같이 맞춰주는 부분을 수정해줘야 하는데 이부분은 파라미터로 튜닝 가능하도록 설계했다. 또한 본 논문에서는 예측결과가 빛 반사에 의해 손상된 부분만 별도 처리하는 로직을 같이 구성하여 예측결과를 왜곡시키지 않는 전처리 로직을 구성하였다. 따라서 활용성을 개선하기 위하여 Pix2Pix 모델의 학습이미지에 공통적인 빛반사 튜닝 필터를 적용하는 부분과 파라미터 구성부분을 추가하여 모델 정확도를 개선하였다.