• Title/Summary/Keyword: GAN(Generative Adversarial Network

Search Result 176, Processing Time 0.024 seconds

Restoration of Ghost Imaging in Atmospheric Turbulence Based on Deep Learning

  • Chenzhe Jiang;Banglian Xu;Leihong Zhang;Dawei Zhang
    • Current Optics and Photonics
    • /
    • v.7 no.6
    • /
    • pp.655-664
    • /
    • 2023
  • Ghost imaging (GI) technology is developing rapidly, but there are inevitably some limitations such as the influence of atmospheric turbulence. In this paper, we study a ghost imaging system in atmospheric turbulence and use a gamma-gamma (GG) model to simulate the medium to strong range of turbulence distribution. With a compressed sensing (CS) algorithm and generative adversarial network (GAN), the image can be restored well. We analyze the performance of correlation imaging, the influence of atmospheric turbulence and the restoration algorithm's effects. The restored image's peak signal-to-noise ratio (PSNR) and structural similarity index map (SSIM) increased to 21.9 dB and 0.67 dB, respectively. This proves that deep learning (DL) methods can restore a distorted image well, and it has specific significance for computational imaging in noisy and fuzzy environments.

Reconstructing the cosmic density field based on the generative adversarial network.

  • Shi, Feng
    • The Bulletin of The Korean Astronomical Society
    • /
    • v.45 no.1
    • /
    • pp.50.1-50.1
    • /
    • 2020
  • In this topic, I will introduce a recent work on reconstructing the cosmic density field based on the GAN. I will show the performance of the GAN compared to the traditional Unet architecture. I'd also like to discuss a 3-channels-based 2D datasets for the training to recover the 3D density field. Finally, I will present some performance tests based on the test datasets.

  • PDF

GAN-based Automated Generation of Web Page Metadata for Search Engine Optimization (검색엔진 최적화를 위한 GAN 기반 웹사이트 메타데이터 자동 생성)

  • An, Sojung;Lee, O-jun;Lee, Jung-Hyeon;Jung, Jason J.;Yong, Hwan-Sung
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2019.05a
    • /
    • pp.79-82
    • /
    • 2019
  • This study aims to design and implement automated SEO tools that has applied the artificial intelligence techniques for search engine optimization (SEO; Search Engine Optimization). Traditional Search Engine Optimization (SEO) on-page optimization show limitations that rely only on knowledge of webpage administrators. Thereby, this paper proposes the metadata generation system. It introduces three approaches for recommending metadata; i) Downloading the metadata which is the top of webpage ii) Generating terms which is high relevance by using bi-directional Long Short Term Memory (LSTM) based on attention; iii) Learning through the Generative Adversarial Network (GAN) to enhance overall performance. It is expected to be useful as an optimizing tool that can be evaluated and improve the online marketing processes.

  • PDF

Comparison of Paired and Unpaired Image-to-image Translation for 18F-FDG Delayed PET Generation (18F-FDG PET 지연영상 생성에 대한 딥러닝 이미지 생성 방법론 비교)

  • ALMASLAMANI MUATH;Kangsan Kim;Byung Hyun Byun;Sang-Keun Woo
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2023.07a
    • /
    • pp.179-181
    • /
    • 2023
  • 본 논문에서는 GAN 기반의 영상 생성 방법론을 이용해 delayed PET 영상을 생성하는 연구를 수행하였다. PET은 양전자를 방출하는 방사성 동위원소를 표지한 방사성의약품의 체내 분포를 시각화함으로서 암 세포 진단에 이용되는 의료영상 기법이다. 하지만 PET의 스캔 과정에서 방사성의약품이 체내에 분포하는 데에 걸리는 시간이 오래 걸린다는 문제점이 존재한다. 따라서 본 연구에서는 방사성의약품이 충분히 분포되지 않은 상태에서 얻은 PET 영상을 통해 목표로 하는 충분히 시간이 지난 후에 얻은 PET 영상을 생성하는 모델을 GAN (generative adversarial network)에 기반한 image-to-image translation(I2I)를 통해 수행했다. 특히, 생성 전후의 영상 간의 영상 쌍을 고려한 paired I2I인 Pix2pix와 이를 고려하지 않은 unpaired I2I인 CycleGAN 두 가지의 방법론을 비교하였다. 연구 결과, Pix2pix에 기반해 생성한 delayed PET 영상이 CycleGAN을 통해 생성한 영상에 비해 영상 품질이 좋음을 확인했으며, 또한 실제 획득한 ground-truth delayed PET 영상과의 유사도 또한 더 높음을 확인할 수 있었다. 결과적으로, 딥러닝에 기반해 early PET을 통해 delayed PET을 생성할 수 있었으며, paired I2I를 적용할 경우 보다 높은 성능을 기대할 수 있었다. 이를 통해 PET 영상 획득 과정에서 방사성의약품의 체내 분포에 소요되는 시간을 딥러닝 모델을 통해 줄여 PET 이미징 과정의 시간적 비용을 절감하는 데에 크게 기여할 수 있을 것으로 기대된다.

  • PDF

Combining Conditional Generative Adversarial Network and Regression-based Calibration for Cloud Removal of Optical Imagery (광학 영상의 구름 제거를 위한 조건부 생성적 적대 신경망과 회귀 기반 보정의 결합)

  • Kwak, Geun-Ho;Park, Soyeon;Park, No-Wook
    • Korean Journal of Remote Sensing
    • /
    • v.38 no.6_1
    • /
    • pp.1357-1369
    • /
    • 2022
  • Cloud removal is an essential image processing step for any task requiring time-series optical images, such as vegetation monitoring and change detection. This paper presents a two-stage cloud removal method that combines conditional generative adversarial networks (cGANs) with regression-based calibration to construct a cloud-free time-series optical image set. In the first stage, the cGANs generate initial prediction results using quantitative relationships between optical and synthetic aperture radar images. In the second stage, the relationships between the predicted results and the actual values in non-cloud areas are first quantified via random forest-based regression modeling and then used to calibrate the cGAN-based prediction results. The potential of the proposed method was evaluated from a cloud removal experiment using Sentinel-2 and COSMO-SkyMed images in the rice field cultivation area of Gimje. The cGAN model could effectively predict the reflectance values in the cloud-contaminated rice fields where severe changes in physical surface conditions happened. Moreover, the regression-based calibration in the second stage could improve the prediction accuracy, compared with a regression-based cloud removal method using a supplementary image that is temporally distant from the target image. These experimental results indicate that the proposed method can be effectively applied to restore cloud-contaminated areas when cloud-free optical images are unavailable for environmental monitoring.

Generation of High-Resolution Chest X-rays using Multi-scale Conditional Generative Adversarial Network with Attention (주목 메커니즘 기반의 멀티 스케일 조건부 적대적 생성 신경망을 활용한 고해상도 흉부 X선 영상 생성 기법)

  • Ann, Kyeongjin;Jang, Yeonggul;Ha, Seongmin;Jeon, Byunghwan;Hong, Youngtaek;Shim, Hackjoon;Chang, Hyuk-Jae
    • Journal of Broadcast Engineering
    • /
    • v.25 no.1
    • /
    • pp.1-12
    • /
    • 2020
  • In the medical field, numerical imbalance of data due to differences in disease prevalence is a common problem. It reduces the performance of a artificial intelligence network, leading to difficulties in learning a network with good performance. Recently, generative adversarial network (GAN) technology has been introduced as a way to address this problem, and its ability has been demonstrated by successful applications in various fields. However, it is still difficult to achieve good results in solving problems with performance degraded by numerical imbalances because the image resolution of the previous studies is not yet good enough and the structure in the image is modeled locally. In this paper, we propose a multi-scale conditional generative adversarial network based on attention mechanism, which can produce high resolution images to solve the numerical imbalance problem of chest X-ray image data. The network was able to produce images for various diseases by controlling condition variables with only one network. It's efficient and effective in that the network don't need to be learned independently for all disease classes and solves the problem of long distance dependency in image generation with self-attention mechanism.

A Study on the Loss Functions of GAN Models (GAN 모델에서 손실함수 분석)

  • Lee, Cho-Youn;Park, JiSu;Shon, Jin Gon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.10a
    • /
    • pp.942-945
    • /
    • 2019
  • 현재 딥러닝은 컴퓨터 분야에서 이미지 처리 방법으로 활용도가 높아지면서 딥러닝 모델 개발 연구가 활발히 진행되고 있다. 딥러닝 모델 중에서 이미지 생성모델은 대표적으로 GAN(Generative Adversarial Network, 생성적 적대 신경망) 모델을 활용하고 있다. GAN은 생성기 네트워크와 판별기 네트워크를 이용하여 진짜 같은 이미지를 생성한다. 생성된 이미지는 실제 이미지와의 오차를 최소화해야 하며 이때 사용하는 함수를 손실함수라고 한다. GAN에서 손실함수는 이미지를 생성하는 학습이 불안정하여 이미지 품질이 떨어지는 문제가 있다. 개선된 GAN 관련 연구가 진행되고 있지만 완전한 문제 해결에는 부족하다. 본 논문은 7개의 GAN 모델에서 사용하는 손실함수를 분류하고 특징을 분석한다.

GAN-based research for high-resolution medical image generation (GAN 기반 고해상도 의료 영상 생성을 위한 연구)

  • Ko, Jae-Yeong;Cho, Baek-Hwan;Chung, Myung-Jin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.05a
    • /
    • pp.544-546
    • /
    • 2020
  • 의료 데이터를 이용하여 인공지능 기계학습 연구를 수행할 때 자주 마주하는 문제는 데이터 불균형, 데이터 부족 등이며 특히 정제된 충분한 데이터를 구하기 힘들다는 것이 큰 문제이다. 본 연구에서는 이를 해결하기 위해 GAN(Generative Adversarial Network) 기반 고해상도 의료 영상을 생성하는 프레임워크를 개발하고자 한다. 각 해상도 마다 Scale 의 Gradient 를 동시에 학습하여 빠르게 고해상도 이미지를 생성해낼 수 있도록 했다. 고해상도 이미지를 생성하는 Neural Network 를 고안하였으며, PGGAN, Style-GAN 과의 성능 비교를 통해 제안된 모델이 양질의 고해상도 의료영상 이미지를 더 빠르게 생성할 수 있음을 확인하였다. 이를 통해 인공지능 기계학습 연구에 있어서 의료 영상의 데이터 부족, 데이터 불균형 문제를 해결할 수 있는 Data augmentation 이나, Anomaly detection 등의 연구에 적용할 수 있다.

Deep Learning Music Genre Classification System Model Improvement Using Generative Adversarial Networks (GAN) (생성적 적대 신경망(GAN)을 이용한 딥러닝 음악 장르 분류 시스템 모델 개선)

  • Bae, Jun
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.24 no.7
    • /
    • pp.842-848
    • /
    • 2020
  • Music markets have entered the era of streaming. In order to select and propose music that suits the taste of music consumers, there is an active demand and research on an automatic music genre classification system. We propose a method to improve the accuracy of genre unclassified songs, which was a lack of the previous system, by using a generative adversarial network (GAN) to further develop the automatic voting system for deep learning music genre using Softmax proposed in the previous paper. In the previous study, if the spectrogram of the song was ambiguous to grasp the genre of the song, it was forced to leave it as an unclassified song. In this paper, we proposed a system that increases the accuracy of genre classification of unclassified songs by converting the spectrogram of unclassified songs into an easy-to-read spectrogram using GAN. And the result of the experiment was able to derive an excellent result compared to the existing method.

Wind field prediction through generative adversarial network (GAN) under tropical cyclones (생성적 적대 신경망 (GAN)을 통한 태풍 바람장 예측)

  • Na, Byoungjoon;Son, Sangyoung
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.370-370
    • /
    • 2021
  • 태풍으로 인한 피해를 줄이기 위해 경로, 강도 및 폭풍해일의 사전 예측은 매우 중요하다. 이중, 태풍의 경로와는 달리 강도 및 폭풍해일의 예측에 있어서 바람장은 수치 모델의 초기 입력값으로 요구되기 때문에 정확한 바람장 정보는 필수적이다. 대기 바람장 예측 방법은 크게 해석적 모델링, 라디오존데 측정과 위성 사진을 통한 산출로 구분할 수 있다. Holland의 해석적 모델링은 비교적 적은 입력값이 필요하지만 정확도가 낮고, 라디오존데 측정은 정확도가 높지만 점 측정에 가깝기 때문에 이차원 바람장을 산출하기에 한계가 있다. 위성 사진을 통한 바람장 산출은 위성기술의 고도화로 관측 채널 수 및 시공간 해상도가 크게 증가하고 있기 때문에 다양한 기법들이 개발되고 있다. 본 연구에서는 생성적 적대 신경망 (Generative Adversarial Network, GAN)을 통해 일련의 연속된 과거 적외 채널 위성 사진 흐름의 패턴을 학습시켜 미래 위성 사진을 예측하고, 예측된 연속적인 위성 사진들의 교차상관 (cross-correlation)을 통해 바람장을 산출하였다. GAN을 적용함에 있어 2011년부터 2019년까지 한반도 근방에 접근했던 태풍 중에 4등급 이상인 68개의 태풍의 한 시간 간격으로 촬영된 총 15,683개의 위성 사진을 학습시켜 생성된 이미지들은 실측 위성 사진들과 매우 유사한 것으로 나타났다. 또한, 생성된 이미지들의 교차상관으로 얻어진 바람장 벡터들의 풍향, 풍속, 벡터 일관성 및 수치 모델과의 비교를 통해 각각의 벡터들의 품질 계수를 구하고 정확도가 높은 벡터들만 결과에 포함하였다. 마지막으로 국내 6개의 라디오존데 관측점에서의 실측 벡터와의 비교를 통해 본 연구 결과의 실효성을 검증하였다. 본 연구에서 확장하여, 이와 같이 AI 기법과 이미지 교차상관 기법을 사용하여 얻어진 바람장으로부터 태풍 강도예측에 필요한 요소인 태풍의 눈의 위치, 최고 속도와 태풍 반경을 직접적으로 산출할 수 있고. 이러한 위성 사진을 기반으로 한 바람장은 단순화된 해석적 바람장을 대체하여 폭풍 해일 모델링의 예측 성능 개선에 기여할 것으로 보여진다.

  • PDF