• International journal of advanced smart convergence
• /
• 제13권2호
• /
• pp.195-204
• /
• 2024

In this paper, we investigate the comparative performance of two leading object detection architectures, YOLOv7 and Detection Transformer (DETR), across varying levels of data augmentation using CycleGAN. Our experiments focus on chest scan images within the context of biomedical informatics, specifically targeting the detection of abnormalities. The study reveals that YOLOv7 consistently outperforms DETR across all levels of augmented data, maintaining better performance even with 75% augmented data. Additionally, YOLOv7 demonstrates significantly faster convergence, requiring approximately 30 epochs compared to DETR's 300 epochs. These findings underscore the superiority of YOLOv7 for object detection tasks, especially in scenarios with limited data and when rapid convergence is essential. Our results provide valuable insights for researchers and practitioners in the field of computer vision, highlighting the effectiveness of YOLOv7 and the importance of data augmentation in improving model performance and efficiency.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2019년도 춘계학술대회
• /
• pp.338-340
• /
• 2019

최근 네트워크의 발달로 인해 데이터가 축적되는 속도와 크기가 증가되고 있다. 이 데이터들을 분류하는데 많은 어려움이 있는데 그 어려움 중에 하나가 라벨링의 어려움이다. 라벨링은 보통 사람이 진행하게 되는데 모든 사람이 같은 방식으로 데이터를 이해를 하는데 무리가 있어 동일한 기준으로 라벨링하는 것은 매우 어렵다는 문제가 있다. 이를 해결하기 위해 본 논문에서는 GAN을 이용하여 입력 이미지를 기반으로 새로운 이미지를 생성하고 이를 학습을 하는 데 사용을 하여 입력 데이터를 간접적으로 학습할 수 있게 구현하였다. 이를 통해 학습 데이터의 개수를 늘려 분류의 정확도를 높일 수 있을 것으로 사료된다.

• 한국건설순환자원학회논문집
• /
• 제9권3호
• /
• pp.303-310
• /
• 2021

교량의 균열은 교량의 상태를 나타내는 중요한 요소이며 주기적인 모니터링 대상이다. 그러나 전문가가 육안으로 점검하는 것은 비용, 시간, 신뢰성 면에서 문제가 있다. 따라서 최근에는 이러한 문제를 극복하기 위해 자동화 가능한 딥러닝 모델을 적용하기 위한 연구가 시작되었다. 딥러닝 모델은 예측할 상황에 대한 충분한 데이터가 필요하지만 교량 균열 데이터는 상대적으로 얻기가 어렵다. 특히 교량의 설계, 위치, 공법에 따라 교량 균열의 형상이 달라질 수 있어 특정 상황에서 많은 양의 균열 데이터를 수집하기 어려움이 따른다. 본 연구에서는 적대적 생성 신경망(Generative Adversarial Network, GAN)을 통해 불충분한 균열 데이터를 생성하고 학습하는 균열 탐지 모델을 개발했다. 본 연구에서는 GAN을 이용하여 주어진 균열 데이터와 통계적으로 유사한 데이터를 성공적으로 생성했으며, 생성된 이미지를 사용하지 않을 때보다 생성된 이미지를 사용할 때 약 3% 더 높은 정확도로 균열 감지가 가능했다. 이러한 접근 방식은 교량의 균열 검출이 필요하지만 균열 데이터는 충분하지 않거나 하나의 클래스에 대한 데이터가 상대적으로 적을 때 감지 모델의 성능을 효과적으로 향상시킬 것으로 기대된다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제25권5호
• /
• pp.1-9
• /
• 2019

본 논문에서는 강우시 빗방울로 인해 왜곡된 연안 파랑 비디오 영상에서 빗방울 제거와 제거된 영역에 대한 배경 정보를 복원하기 위한 적대적생성신경망을 이용한 영상 강화 방법을 제안하고자 한다. 영상 변환에 널리 사용되는 Pix2Pix 네트워크와 현재 단일 이미지에 대한 빗방울 제거에 좋은 성능을 보여주고 있는 Attentive GAN을 실험 대상 모델로 구현하고, 빗방울 제거를 위한 공개 데이터 셋을 이용하여 두 모델을 학습한 후 빗방울 왜곡 연안 파랑 영상의 빗방울 제거 및 배경 정보 복원 성능을 평가하였다. 연안 파랑 비디오에 영상에 대한 빗방울 왜곡 보정 성능을 향상시키기 위해 실제 연안에서 빗방울 유무가 짝을 이룬 데이터 셋을 직접 획득한 후 사전 학습된 모델에 대하여 전이 학습에 사용하여 빗방울 왜곡 보정에 대한 성능 향상을 확인하였다. 모델의 성능은 빗방울 왜곡 영상으로부터 파랑 정보 복원 성능을 최대 신호 대 잡음비와 구조적 유사도를 이용하여 평가하였으며, 전이 학습을 통해 파인 튜닝된 Pix2Pix 모델이 연안 파랑 비디오 영상의 빗방울 왜곡에 대한 가장 우수한 복원 성능을 보였다.

• 한국멀티미디어학회논문지
• /
• 제25권1호
• /
• pp.1-9
• /
• 2022

Ship detection in synthetic aperture radar (SAR) images is an important application in marine monitoring for the military and civilian domains. Over the past decade, object detection has achieved significant progress with the development of convolutional neural networks (CNNs) and lot of labeled databases. However, due to difficulty in collecting and labeling SAR images, it is still a challenging task to solve SAR ship detection CNNs. To overcome the problem, some methods have employed conventional data augmentation techniques such as flipping, cropping, and affine transformation, but it is insufficient to achieve robust performance to handle a wide variety of types of ships. In this paper, we present a novel and effective approach for deep SAR ship detection, that exploits label-rich Electro-Optical (EO) images. The proposed method consists of two components: a data augmentation network and a ship detection network. First, we train the data augmentation network based on conditional generative adversarial network (cGAN), which aims to generate additional SAR images from EO images. Since it is trained using unpaired EO and SAR images, we impose the cycle-consistency loss to preserve the structural information while translating the characteristics of the images. After training the data augmentation network, we leverage the augmented dataset constituted with real and translated SAR images to train the ship detection network. The experimental results include qualitative evaluation of the translated SAR images and the comparison of detection performance of the networks, trained with non-augmented and augmented dataset, which demonstrates the effectiveness of the proposed framework.

• 스마트미디어저널
• /
• 제8권2호
• /
• pp.46-57
• /
• 2019

In recent research, deep learning-based methods have achieved state-of-the-art performance in various computer vision tasks. However, these methods are commonly supervised, and require huge amounts of annotated data to train. Acquisition of data demands an additional costly effort, particularly for the tasks where it becomes challenging to obtain large amounts of data considering the time constraints and the requirement of professional human diligence. In this paper, we present a data level synthetic sampling solution to learn from small and imbalanced data sets using Generative Adversarial Networks (GANs). The reason for using GANs are the challenges posed in various fields to manage with the small datasets and fluctuating amounts of samples per class. As a result, we present an approach that can improve learning with respect to data distributions, reducing the partiality introduced by class imbalance and hence shifting the classification decision boundary towards more accurate results. Our novel method is demonstrated on a small dataset of 2789 tomato plant disease images, highly corrupted with class imbalance in 9 disease categories. Moreover, we evaluate our results in terms of different metrics and compare the quality of these results for distinct classes.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권7호
• /
• pp.1794-1806
• /
• 2023

This study presents a method for capturing photographs of users as input and converting them into 2D character animation sprites using a generative adversarial network-based artificial intelligence network. Traditionally, 2D character animations have been created by manually creating an entire sequence of sprite images, which incurs high development costs. To address this issue, this study proposes a technique that combines motion videos and sample 2D images. In the 2D sprite generation process that uses the proposed technique, a sequence of images is extracted from real-life images captured by the user, and these are combined with character images from within the game. Our research aims to leverage cutting-edge deep learning-based image manipulation techniques, such as the GAN-based motion transfer network (impersonator) and background noise removal (U² -Net), to generate a sequence of animation sprites from a single image. The proposed technique enables the creation of diverse animations and motions just one image. By utilizing these advancements, we focus on enhancing productivity in the game and animation industry through improved efficiency and streamlined production processes. By employing state-of-the-art techniques, our research enables the generation of 2D sprite images with various motions, offering significant potential for boosting productivity and creativity in the industry.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 추계학술발표대회
• /
• pp.609-612
• /
• 2018

기계학습 분야에서 분류 문제를 해결하기 위해 다양한 알고리즘들이 연구되고 있다. 하지만 기존에 연구된 분류 알고리즘 대부분은 각 클래스에 속한 데이터 수가 거의 같다는 가정하에 학습을 진행하기 때문에 각 클래스의 데이터 수가 불균형한 경우 분류 정확도가 다소 떨어지는 현상을 보인다. 이러한 문제를 해결하기 위해 본 논문에서는 Conditional Generative Adversarial Networks(CGAN)을 활용하여 데이터 수의 균형을 맞추는 오버샘플링 기법을 제안한다. CGAN은 데이터 수가 적은 클래스에 속한 데이터 특징을 학습하고 실제 데이터와 유사한 데이터를 생성한다. 이를 통해 클래스별 데이터의 수를 맞춰 분류 알고리즘의 분류 정확도를 높인다. 실제 수집된 데이터를 이용하여 CGAN을 활용한 오버샘플링 기법이 효과가 있음을 보이고 기존 오버샘플링 기법들과 비교하여 기존 기법들보다 우수함을 입증하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 춘계학술발표대회
• /
• pp.293-296
• /
• 2018

생성적 적대 네트워크를 활용하여 텍스트, 스케치 등 다양한 자원으로부터 이미지를 생성하기 위한 연구는 활발하게 진행되고 있으며 많은 실용적인 연구가 존재한다. 하지만 기존 연구들은 텍스트나 스케치 등 각 하나의 자원을 통해 이미지를 생성하기 때문에 설명이 부족한 텍스트, 실제 이미지와 상이한 스케치와 같이 자원의 정보가 불완전한 경우에는 제대로 된 이미지를 생성하지 못한다는 한계가 있다. 본 논문에서는 기존 연구의 한계점올 극복하기 위해 텍스트와 스케치 두 개의 자원을 동시에 활용하여 이미지를 생성하는 새로운 생성 기법 TS-GAN 을 제안한다. TS-GAN 은 두 단계로 이루어져 있으며 각 단계를 통해 더욱 사실적인 이미지를 생성한다. 본 논문에서 제안한 기법은 컴퓨터 비전 분야에서 많이 활용되는 CUB 데이터세트를 사용하여 이미지 생성 결과의 우수성을 보인다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권4호
• /
• pp.1486-1501
• /
• 2021

The removal of accessories from the face is one of the essential pre-processing stages in the field of face recognition. However, despite its importance, a robust solution has not yet been provided. This paper proposes a network and dataset construction methodology to remove only the glasses from facial images effectively. To obtain an image with the glasses removed from an image with glasses by the supervised learning method, a network that converts them and a set of paired data for training is required. To this end, we created a large number of synthetic images of glasses being worn using facial attribute transformation networks. We adopted the conditional GAN (cGAN) frameworks for training. The trained network converts the in-the-wild face image with glasses into an image without glasses and operates stably even in situations wherein the faces are of diverse races and ages and having different styles of glasses.