• 제목/요약/키워드: Conditional generative adversarial network

검색결과 34건 처리시간 0.027초

섬유 드레이프 이미지를 활용한 드레이프 생성 모델 구현에 관한 연구 (A Study on the implementation of the drape generation model using textile drape image)

  • 손재익;김동현;최윤성
    • 스마트미디어저널
    • /
    • 제10권4호
    • /
    • pp.28-34
    • /
    • 2021
  • 드레이프는 의상의 외형을 결정하는 요인 중 하나로 섬유·패션 산업에서 매우 중요한 요소 중 하나이다. 코로나 바이러스의 영향으로 비대면 거래가 활성화되고 있는 시점에서, 드레이프값을 요구하는 업체들이 많아지고 있다. 하지만 중소기업이나 영세 기업의 경우, 드레이프를 측정하는 것에 대한 시간과 비용적 부담을 느껴, 드레이프를 측정하는 데에 어려움을 겪고 있다. 따라서 본 연구는 디지털 물성을 측정하여 생성된 3D 시뮬레이션 이미지를 통해 조건부 적대적 생성 신경망을 이용하여 입력된 소재의 물성값에 대한 드레이프 이미지 생성을 목표로 하였다. 기존 보유한 736개의 디지털 물성값을 통해, 드레이프 이미지를 생성하였으며, 이를 모델 학습에 이용하였다. 이후 생성 모델을 통해 나온 이미지 샘플에 대하여 드레이프 값을 계산하였다. 실제 드레이프 실험 값과 생성 드레이프 값 비교결과, 첨두수의 오차는 0.75개였으며, 드레이프값의 평균 오차는 7.875의 오차를 보임을 확인할 수 있었다.

Land Use and Land Cover Mapping from Kompsat-5 X-band Co-polarized Data Using Conditional Generative Adversarial Network

  • Jang, Jae-Cheol;Park, Kyung-Ae
    • 대한원격탐사학회지
    • /
    • 제38권1호
    • /
    • pp.111-126
    • /
    • 2022
  • Land use and land cover (LULC) mapping is an important factor in geospatial analysis. Although highly precise ground-based LULC monitoring is possible, it is time consuming and costly. Conversely, because the synthetic aperture radar (SAR) sensor is an all-weather sensor with high resolution, it could replace field-based LULC monitoring systems with low cost and less time requirement. Thus, LULC is one of the major areas in SAR applications. We developed a LULC model using only KOMPSAT-5 single co-polarized data and digital elevation model (DEM) data. Twelve HH-polarized images and 18 VV-polarized images were collected, and two HH-polarized images and four VV-polarized images were selected for the model testing. To train the LULC model, we applied the conditional generative adversarial network (cGAN) method. We used U-Net combined with the residual unit (ResUNet) model to generate the cGAN method. When analyzing the training history at 1732 epochs, the ResUNet model showed a maximum overall accuracy (OA) of 93.89 and a Kappa coefficient of 0.91. The model exhibited high performance in the test datasets with an OA greater than 90. The model accurately distinguished water body areas and showed lower accuracy in wetlands than in the other LULC types. The effect of the DEM on the accuracy of LULC was analyzed. When assessing the accuracy with respect to the incidence angle, owing to the radar shadow caused by the side-looking system of the SAR sensor, the OA tended to decrease as the incidence angle increased. This study is the first to use only KOMPSAT-5 single co-polarized data and deep learning methods to demonstrate the possibility of high-performance LULC monitoring. This study contributes to Earth surface monitoring and the development of deep learning approaches using the KOMPSAT-5 data.

Eyeglass Remover Network based on a Synthetic Image Dataset

  • Kang, Shinjin;Hahn, Teasung
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권4호
    • /
    • pp.1486-1501
    • /
    • 2021
  • The removal of accessories from the face is one of the essential pre-processing stages in the field of face recognition. However, despite its importance, a robust solution has not yet been provided. This paper proposes a network and dataset construction methodology to remove only the glasses from facial images effectively. To obtain an image with the glasses removed from an image with glasses by the supervised learning method, a network that converts them and a set of paired data for training is required. To this end, we created a large number of synthetic images of glasses being worn using facial attribute transformation networks. We adopted the conditional GAN (cGAN) frameworks for training. The trained network converts the in-the-wild face image with glasses into an image without glasses and operates stably even in situations wherein the faces are of diverse races and ages and having different styles of glasses.

R2와 어텐션을 적용한 유넷 기반의 영상 간 변환에 관한 연구 (Image-to-Image Translation Based on U-Net with R2 and Attention)

  • 임소현;전준철
    • 인터넷정보학회논문지
    • /
    • 제21권4호
    • /
    • pp.9-16
    • /
    • 2020
  • 영상 처리 및 컴퓨터 비전 분야에서 하나의 영상을 통해 다른 영상으로 재구성하거나 새로운 영상을 생성하는 문제는 하드웨어의 발전에 따라 꾸준히 주목받고 있다. 그러나 컴퓨터를 통해 생성한 이미지를 사람의 눈으로 바라봤을 때 자연스럽지 않다는 문제 또한 계속해서 대두되고 있다. 최근 딥러닝 분야에 대한 연구가 활발히 진행됨에 따라 이를 활용한 영상 생성 및 개선 문제 또한 활발히 연구되고 있으며 그 중에서도 적대적 생성 신경망(Generative Adversarial Network)이라는 네트워크가 영상 생성 분야에 있어 좋은 결과를 보이고 있다. 적대적 생성 신경망이 제안된 이후 이를 기반으로 하는 다양한 네트워크가 제시됨에 따라 영상 생성 분야에서 더 자연스러운 영상을 생성하는 것이 가능해졌다. 그 중 pix2pix은 조건 적대적 생성 신경망 모델로 다양한 데이터셋에서도 좋은 성능을 보이는 범용적인 네트워크이다. pix2pix는 U-Net을 기반으로 두고 있으나 U-Net을 기반으로 하는 네트워크 중에서는 더 좋은 성능을 보이는 네트워크가 다수 존재한다. 때문에 본 연구에서는 pix2pix의 U-Net에 다양한 네트워크를 적용해 영상을 생성하고 그 결과를 상호 비교 평가한다. 각 네트워크를 통해 생성된 영상을 통해 기존의 U-Net을 사용한 pix2pix 모델보다 어텐션, R2, 어텐션-R2 네트워크를 적용한 pix2pix 모델이 더 좋은 성능을 보이는 것을 확인하고 그 중 가장 성능이 뛰어난 네트워크의 한계점을 향후 연구로 제시한다.

그라운드-롤 제거를 위한 CNN과 GAN 기반 딥러닝 모델 비교 분석 (Comparison of CNN and GAN-based Deep Learning Models for Ground Roll Suppression)

  • 조상인;편석준
    • 지구물리와물리탐사
    • /
    • 제26권2호
    • /
    • pp.37-51
    • /
    • 2023
  • 그라운드-롤(ground roll)은 육상 탄성파 탐사 자료에서 가장 흔하게 나타나는 일관성 잡음(coherent noise)이며 탐사를 통해 얻고자 하는 반사 이벤트 신호보다 훨씬 큰 진폭을 가지고 있다. 따라서 탄성파 자료 처리에서 그라운드-롤 제거는 매우 중요하고 필수적인 과정이다. 그라운드-롤 제거를 위해 주파수-파수 필터링, 커브릿(curvelet) 변환 등 여러 제거 기술이 개발되어 왔으나 제거 성능과 효율성을 개선하기 위한 방법에 대한 수요는 여전히 존재한다. 최근에는 영상처리 분야에서 개발된 딥러닝 기법들을 활용하여 탄성파 자료의 그라운드-롤을 제거하고자 하는 연구도 다양하게 수행되고 있다. 이 논문에서는 그라운드-롤 제거를 위해 CNN (convolutional neural network) 또는 cGAN (conditional generative adversarial network)을 기반으로 하는 세가지 모델(DnCNN (De-noiseCNN), pix2pix, CycleGAN)을 적용한 연구들을 소개하고 수치 예제를 통해 상세히 설명하였다. 알고리듬 비교를 위해 동일한 현장에서 취득한 송신원 모음을 훈련 자료와 테스트 자료로 나누어 모델을 학습하고, 모델 성능을 평가하였다. 이러한 딥러닝 모델은 현장자료를 사용하여 훈련할 때, 그라운드-롤이 제거된 자료가 필요하므로 주파수-파수 필터링으로 그라운드-롤을 제거하여 정답자료로 사용하였다. 딥러닝 모델의 성능 평가 및 훈련 결과 비교는 정답 자료와의 유사성을 기본으로 상관계수와 SSIM (structural similarity index measure)과 같은 정량적 지표를 활용하였다. 결과적으로 DnCNN 모델이 가장 좋은 성능을 보였으며, 다른 모델들도 그라운드-롤 제거에 활용될 수 있음을 확인하였다.

Generation of global coronal field extrapolation from frontside and AI-generated farside magnetograms

  • Jeong, Hyunjin;Moon, Yong-Jae;Park, Eunsu;Lee, Harim;Kim, Taeyoung
    • 천문학회보
    • /
    • 제44권1호
    • /
    • pp.52.2-52.2
    • /
    • 2019
  • Global map of solar surface magnetic field, such as the synoptic map or daily synchronic frame, does not tell us real-time information about the far side of the Sun. A deep-learning technique based on Conditional Generative Adversarial Network (cGAN) is used to generate farside magnetograms from EUVI $304{\AA}$ of STEREO spacecrafts by training SDO spacecraft's data pairs of HMI and AIA $304{\AA}$. Farside(or backside) data of daily synchronic frames are replaced by the Ai-generated magnetograms. The new type of data is used to calculate the Potential Field Source Surface (PFSS) model. We compare the results of the global field with observations as well as those of the conventional method. We will discuss advantage and disadvantage of the new method and future works.

  • PDF

GAN 및 물리과정 기반 모델 결합을 통한 Hybrid 강우예측모델 개발 (Development of hybrid precipitation nowcasting model by using conditional GAN-based model and WRF)

  • 최수연;김연주
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.100-100
    • /
    • 2023
  • 단기 강우 예측에는 주로 물리과정 기반 수치예보모델(NWPs, Numerical Prediction Models) 과 레이더 기반 확률론적 방법이 사용되어 왔으며, 최근에는 머신러닝을 이용한 레이더 기반 강우예측 모델이 단기 강우 예측에 뛰어난 성능을 보이는 것을 확인하여 관련 연구가 활발히 진행되고 있다. 하지만 머신러닝 기반 모델은 예측 선행시간 증가 시 성능이 크게 저하되며, 또한 대기의 물리적 과정을 고려하지 않는 Black-box 모델이라는 한계점이 존재한다. 본 연구에서는 이러한 한계를 극복하기 위해 머신러닝 기반 blending 기법을 통해 물리과정 기반 수치예보모델인 Weather Research and Forecasting (WRF)와 최신 머신러닝 기법 (cGAN, conditional Generative Adversarial Network) 기반 모델을 결합한 Hybrid 강우예측모델을 개발하고자 하였다. cGAN 기반 모델 개발을 위해 1시간 단위 1km 공간해상도의 레이더 반사도, WRF 모델로부터 산출된 기상 자료(온도, 풍속 등), 유역관련 정보(DEM, 토지피복 등)를 입력 자료로 사용하여 모델을 학습하였으며, 모델을 통해 물리 정보 및 머신러닝 기반 강우 예측을 생성하였다. 이렇게 생성된cGAN 기반 모델 결과와 WRF 예측 결과를 결합하는 머신러닝 기반 blending 기법을 통해Hybrid 강우예측 결과를 최종적으로 도출하였다. 본 연구에서는 Hybrid 강우예측 모델의 성능을 평가하기 위해 수도권 및 안동댐 유역에서 발생한 호우 사례를 기반으로 최대 선행시간 6시간까지 모델 예측 결과를 분석하였다. 이를 통해 물리과정 기반 모델과 머신러닝 기반 모델을 결합하는 Hybrid 기법을 적용하여 높은 정확도와 신뢰도를 가지는 고해상도 강수 예측 자료를 생성할 수 있음을 확인하였다.

  • PDF

Application of Deep Learning: A Review for Firefighting

  • Shaikh, Muhammad Khalid
    • International Journal of Computer Science & Network Security
    • /
    • 제22권5호
    • /
    • pp.73-78
    • /
    • 2022
  • The aim of this paper is to investigate the prevalence of Deep Learning in the literature on Fire & Rescue Service. It is found that deep learning techniques are only beginning to benefit the firefighters. The popular areas where deep learning techniques are making an impact are situational awareness, decision making, mental stress, injuries, well-being of the firefighter such as his sudden fall, inability to move and breathlessness, path planning by the firefighters while getting to an fire scene, wayfinding, tracking firefighters, firefighter physical fitness, employment, prediction of firefighter intervention, firefighter operations such as object recognition in smoky areas, firefighter efficacy, smart firefighting using edge computing, firefighting in teams, and firefighter clothing and safety. The techniques that were found applied in firefighting were Deep learning, Traditional K-Means clustering with engineered time and frequency domain features, Convolutional autoencoders, Long Short-Term Memory (LSTM), Deep Neural Networks, Simulation, VR, ANN, Deep Q Learning, Deep learning based on conditional generative adversarial networks, Decision Trees, Kalman Filters, Computational models, Partial Least Squares, Logistic Regression, Random Forest, Edge computing, C5 Decision Tree, Restricted Boltzmann Machine, Reinforcement Learning, and Recurrent LSTM. The literature review is centered on Firefighters/firemen not involved in wildland fires. The focus was also not on the fire itself. It must also be noted that several deep learning techniques such as CNN were mostly used in fire behavior, fire imaging and identification as well. Those papers that deal with fire behavior were also not part of this literature review.

Application of Deep Learning to Solar Data: 1. Overview

  • Moon, Yong-Jae;Park, Eunsu;Kim, Taeyoung;Lee, Harim;Shin, Gyungin;Kim, Kimoon;Shin, Seulki;Yi, Kangwoo
    • 천문학회보
    • /
    • 제44권1호
    • /
    • pp.51.2-51.2
    • /
    • 2019
  • Multi-wavelength observations become very popular in astronomy. Even though there are some correlations among different sensor images, it is not easy to translate from one to the other one. In this study, we apply a deep learning method for image-to-image translation, based on conditional generative adversarial networks (cGANs), to solar images. To examine the validity of the method for scientific data, we consider several different types of pairs: (1) Generation of SDO/EUV images from SDO/HMI magnetograms, (2) Generation of backside magnetograms from STEREO/EUVI images, (3) Generation of EUV & X-ray images from Carrington sunspot drawing, and (4) Generation of solar magnetograms from Ca II images. It is very impressive that AI-generated ones are quite consistent with actual ones. In addition, we apply the convolution neural network to the forecast of solar flares and find that our method is better than the conventional method. Our study also shows that the forecast of solar proton flux profiles using Long and Short Term Memory method is better than the autoregressive method. We will discuss several applications of these methodologies for scientific research.

  • PDF

Application of Deep Learning to Solar Data: 2. Generation of Solar UV & EUV images from magnetograms

  • Park, Eunsu;Moon, Yong-Jae;Lee, Harim;Lim, Daye
    • 천문학회보
    • /
    • 제44권1호
    • /
    • pp.81.3-81.3
    • /
    • 2019
  • In this study, we apply conditional Generative Adversarial Network, which is one of the deep learning method, to the image-to-image translation from solar magentograms to solar UV and EUV images. For this, we train a model using pairs of SDO/AIA 9 wavelength UV and EUV images and their corresponding SDO/HMI line-of-sight magnetograms from 2011 to 2017 except August and September each year. We evaluate the model by comparing pairs of SDO/AIA images and corresponding generated ones in August and September. Our results from this study are as follows. First, we successfully generate SDO/AIA like solar UV and EUV images from SDO/HMI magnetograms. Second, our model has pixel-to-pixel correlation coefficients (CC) higher than 0.8 except 171. Third, our model slightly underestimates the pixel values in the view of Relative Error (RE), but the values are quite small. Fourth, considering CC and RE together, 1600 and 1700 photospheric UV line images, which have quite similar structures to the corresponding magnetogram, have the best results compared to other lines. This methodology can be applicable to many scientific fields that use several different filter images.

  • PDF