• 대한원격탐사학회지
• /
• 제34권6_3호
• /
• pp.1415-1425
• /
• 2018

다목적실용위성 5호는 국내 최초로 영상레이더(SAR)가 탑재된 지구관측위성이다. SAR 영상은 위성에 부착된 안테나로부터 방사된 마이크로파가 물체로부터 반사된 신호를 수신하여 생성된다. SAR는 대기 중의 입자의 크기에 비해 파장이 긴 마이크로파를 사용하기 때문에 구름이나 안개 등을 투과할 수 있으며, 주야간 구분 없이 고해상도의 영상을 얻을 수 있다. 하지만, SAR 영상에는 색상 정보가 부재하는 제한점이 존재한다. 이러한 SAR 영상의 제한점을 극복하기 위해, 도메인 변환을 위해 개발된 딥러닝 모델인 Cycle GAN을 활용하여 SAR 영상에 색상을 대입하는 연구를 수행하였다. Cycle GAN은 unpaired 데이터셋 기반의 무감독 학습으로 인해 학습이 불안정하다. 따라서 Cycle GAN의 학습 불안정성을 해소하고, 색상 구현의 성능을 향상하기 위해 다중 크기 식별자를 적용한 MS Cycle GAN을 제안하였다. MS Cycle GAN과 Cycle GAN의 색상 구현 성능을 비교하기 위하여 두 모델이 Florida 데이터셋을 학습하여 생성한 영상을 정성적 및 정량적으로 비교하였다. 다양한 크기의 식별자가 도입된 MS Cycle GAN은 기존의 Cycle GAN과 비교하여 학습 결과에서 생성자 및 식별자 손실이 대폭 감소되었고, 나뭇잎, 강, 토지 등의 영역 특성에 부합하는 색상이 구현되는 것을 확인하였다.

• 한국음향학회지
• /
• 제39권4호
• /
• pp.292-302
• /
• 2020

기계학습 알고리즘은 소나 및 레이더를 포함한 다양한 분야에서 사용되고 있다. 최근 개발된 GAN(Generative Adversarial Networks)의 변형인 Cycle-Consistency Generative Adversarial Network(CycleGAN)은 쌍을 이루지 않은 이미지-이미지 변환에 대해 검증된 네트워크이다. 본 논문에서는 높은 품질로 수중 선박 엔진음을 변환시킬 수 있는 변형된 CycleGAN을 제안한다. 제안된 네트워크는 수중 음향을 기존영역에서 목표영역으로 변환시키는 생성자 모델과 데이터를 참과 거짓으로 구분하는 개선된 식별자 그리고 변환된 수환 일관성(Cycle Consistency) 손실함수로 구성된다. 제안된 CycleGAN의 정량 및 정성분석은 공개적으로 사용 가능한 수중 데이터 ShipsEar을 사용하여 기존 알고리즘들과 Mel-cepstral분포, 구조적 유사 지수, 최소 거리 비교, 평균 의견 점수를 평가 및 비교함으로써 수행되었고, 분석결과는 제안된 네트워크의 유효성을 입증하였다.

• 한국음향학회지
• /
• 제41권3호
• /
• pp.351-358
• /
• 2022

심층 생성 모델의 일종인 Generative Adversarial Network(GAN)과 Variational AutoEncoder(VAE)는 비병렬 학습 데이터를 사용한 음성 변환에 새로운 방법론을 제시하고 있다. 특히, Conditional Cycle-Consistent Generative Adversarial Network(CC-GAN)과 Cycle-Consistent Variational AutoEncoder(CycleVAE)는 다수 화자 사이의 음성 변환에 우수한 성능을 보이고 있다. 그러나, CC-GAN과 CycleVAE는 비교적 적은 수의 화자를 대상으로 연구가 진행되어왔다. 본 논문에서는 100 명의 한국어 화자 데이터를 사용하여 CC-GAN과 CycleVAE의 음성 변환 성능과 확장 가능성을 실험적으로 분석하였다. 실험 결과 소규모 화자의 경우 CC-GAN이 Mel-Cepstral Distortion(MCD) 기준으로 4.5 % 우수한 성능을 보이지만 대규모 화자의 경우 CycleVAE가 제한된 학습 시간 안에 12.7 % 우수한 성능을 보였다.

• 한국측량학회지
• /
• 제40권3호
• /
• pp.177-185
• /
• 2022

본 연구에서는 딥러닝을 통해 고해상도 광학 위성영상에 동종센서로 촬영한 영상을 참조하여 폐색 영역을 복원하는 방법을 제안하였다. 패치 단위로 분할된 영상에서 원본 영상의 화소 분포를 최대한 유지하며 폐색 영역을 모의한 영상과 주변 영상의 자연스러운 연속성을 위해 ConvNeXt 블록을 적용한 CycleGAN (Cycle Generative Adversarial Network) 방법을 사용하여 실험을 진행하였고 이를 3개의 실험지역에 대해 분석하였다. 또한, 학습패치 크기를 512*512화소로 하는 경우와 2배 확장한 1024*1024화소 크기의 적용 결과도 비교하였다. 서로 특징이 다른 3개의 지역에 대하여 실험한 결과, ConvNeXt CycleGAN 방법론이 기존의 CycleGAN을 적용한 영상, Histogram matching 영상과 비교하여 개선된 R² 값을 보여줌을 확인하였다. 학습에 사용되는 패치 크기별 실험의 경우 1024*1024화소의 패치를 사용한 결과, 약 0.98의 R²값이 산출되었으며 영상밴드별 화소 분포를 비교한 결과에서도 큰 패치 크기로 학습한 모의 결과가 원본 영상과 더 유사한 히스토그램 분포를 나타내었다. 이를 통해, 기존의 CycleGAN을 적용한 영상 및 Histogram matching 영상보다 발전된 ConvNeXt CycleGAN을 사용할 때 원본영상과 유사한 모의 결과를 도출할 수 있었고, 성공적인 모의를 수행할 수 있음을 확인하였다.

• 대한원격탐사학회지
• /
• 제38권1호
• /
• pp.33-43
• /
• 2022

This study presents a method to restore an optical satellite image with distortion and occlusion due to fog, haze, and clouds to one that minimizes degradation factors by referring to the same type of peripheral image. Specifically, the time and cost of re-photographing were reduced by partially occluding a region. To maintain the original image's pixel value as much as possible and to maintain restored and unrestored area continuity, a simulation restoration technique modified with the Cycle Generative Adversarial Network (CycleGAN) method was developed. The accuracy of the simulated image was analyzed by comparing CycleGAN and histogram matching, as well as the pixel value distribution, with the original image. The results show that for Site 1 (out of three sites), the root mean square error and R² of CycleGAN were 169.36 and 0.9917, respectively, showing lower errors than those for histogram matching (170.43 and 0.9896, respectively). Further, comparison of the mean and standard deviation values of images simulated by CycleGAN and histogram matching with the ground truth pixel values confirmed the CycleGAN methodology as being closer to the ground truth value. Even for the histogram distribution of the simulated images, CycleGAN was closer to the ground truth than histogram matching.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.908-909
• /
• 2023

Recently, several generative models have emerged and are being used in various industries. Among them, Cycle GAN is still used in various fields such as style transfer, medical care and autonomous driving. In this paper, we propose two methods to improve the performance of these Cycle GAN model. The ReLU activation function previously used in the generator was changed to Leaky ReLU. And a new loss function is proposed that considers the semantic level rather than focusing only on the pixel level through the VGG feature extractor. The proposed model showed quality improvement on the test set in the art domain, and it can be expected to be applied to other domains in the future to improve performance.

• 한국BIM학회 논문집
• /
• 제12권1호
• /
• pp.55-61
• /
• 2022

Recently, demand for designing own space is increasing as the rapid growth of home furnishing market. However, there is a limitation that it is not easy to compare the style between before construction view and after view. This study aims to translate real image into another style with GAN model learned with interior images. To implement this, first we established style criteria and collected modern, natural, and classic style images, and experimented with ResNet, UNet, Gradient penalty concept to CycleGAN algorithm. As a result of training, model recognize common indoor image elements, such as floor, wall, and furniture, and suitable color, material was converted according to interior style. On the other hand, the form of furniture, ornaments, and detailed pattern expressions are difficult to be recognized by CycleGAN model, and the accuracy lacked. Although UNet converted images more radically than ResNet, it was more stained. The GAN algorithm allowed us to represent results within 2 seconds. Through this, it is possible to quickly and easily visualize and compare the front and after the interior space style to be constructed. Furthermore, this GAN will be available to use in the design rendering include interior.

• 한국컴퓨터정보학회논문지
• /
• 제25권9호
• /
• pp.63-69
• /
• 2020

이미지-이미지 변환은 입력 이미지를 통해서 목적 이미지를 만들어내는 기술로 최근 비지도 학습 구조인 GAN을 활용하여 더 실제와 같은 이미지를 만들어내는 높은 성과를 보였다. 이에 따라 GAN을 활용한 이미지-이미지 변환 연구는 다양하게 진행되고 있다. 이때 일반적으로 이미지-이미지 변환은 하나의 속성 변환을 목표한다. 그러나 실제 생활에서 사용되고 얻을 수 있는 자료들은 한 가지 특징으로 설명하기 힘든 다양한 특징으로 이루어진다. 그래서 다양한 속성을 활용하기 위하여 속성별로 이미지 생성 과정을 나누어 학습할 수 있도록 하는 다중 속성 변화를 목표로 한다면 더 이미지-이미지 변환의 역할을 잘 수행할 수 있을 것이다. 본 논문에서는 GAN을 활용한 이미지-이미지 변환 구조 중 높은 성과를 보인 CycleGAN을 활용해 이중 속성 변환 구조인 Multi CycleGAN을 제안한다. 이 구조는 입력 도메인을 두 가지의 속성에 대하여 학습하기 위하여 3개의 도메인이 양방향 학습을 진행하는 이중 변환 구조를 구현하였다. 새로운 구조를 통해 생성된 이미지와 기존 이미지-이미지 변환 구조들을 통해 생성된 이미지를 비교할 수 있도록 실험을 진행하였다. 실험 결과 새로운 구조를 통한 이미지는 입력 도메인의 속성을 유지하며 목표한 속성이 적용되는 높은 성능을 보였다. 이 구조를 활용한다면 앞으로 더 다양한 이미지를 생성하는 일이 가능지기 때문에 더 다양한 분야에서의 이미지 생성의 활용을 기대할 수 있다.

• 한국전자통신학회논문지
• /
• 제18권2호
• /
• pp.349-354
• /
• 2023

최근 인테리어에 관심을 가지는 인구가 증가함에 따라 세계적으로 인테리어 시장이 크게 성장하고 있으며, 글로벌 인테리어 업체들은 다양한 인테리어 요소에 대한 시뮬레이션 서비스를 개발하여 제공하고 있다. 벽지의 디자인은 가장 중요한 인테리어 요소임에도 불구하고, 기존 벽지 디자인 시뮬레이션 서비스들은 예상되는 결과물과 실제 결과물 간 차이, 긴 시뮬레이션 작업시간, 전문적인 기술의 필요 등의 단점으로 인해 사용에 어려움이 있다. 본 논문에서는 벽지 인테리어 시뮬레이션을 위한 Cycle GAN(: Generative Adversarial Networks) 기반의 벽지 이미지 변환 기법을 제안한다. 제안하는 기법은 다양한 모양의 벽지가 사용된 인테리어 이미지 데이터를 기반으로 모델을 학습하여, 사용자에게 짧은 시간 내에 벽지 인테리어 시뮬레이션을 제공할 수 있다.

• 한국해양공학회지
• /
• 제36권1호
• /
• pp.32-40
• /
• 2022

Underwater optical images face various limitations that degrade the image quality compared with optical images taken in our atmosphere. Attenuation according to the wavelength of light and reflection by very small floating objects cause low contrast, blurry clarity, and color degradation in underwater images. We constructed an image data of the Korean sea and enhanced it by learning the characteristics of underwater images using the deep learning techniques of CycleGAN (cycle-consistent adversarial network), UGAN (underwater GAN), FUnIE-GAN (fast underwater image enhancement GAN). In addition, the underwater optical image was enhanced using the image processing technique of Image Fusion. For a quantitative performance comparison, UIQM (underwater image quality measure), which evaluates the performance of the enhancement in terms of colorfulness, sharpness, and contrast, and UCIQE (underwater color image quality evaluation), which evaluates the performance in terms of chroma, luminance, and saturation were calculated. For 100 underwater images taken in Korean seas, the average UIQMs of CycleGAN, UGAN, and FUnIE-GAN were 3.91, 3.42, and 2.66, respectively, and the average UCIQEs were measured to be 29.9, 26.77, and 22.88, respectively. The average UIQM and UCIQE of Image Fusion were 3.63 and 23.59, respectively. CycleGAN and UGAN qualitatively and quantitatively improved the image quality in various underwater environments, and FUnIE-GAN had performance differences depending on the underwater environment. Image Fusion showed good performance in terms of color correction and sharpness enhancement. It is expected that this method can be used for monitoring underwater works and the autonomous operation of unmanned vehicles by improving the visibility of underwater situations more accurately.