• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 춘계학술발표대회
• /
• pp.497-500
• /
• 2022

High-quality images and videos are being generated as technologies for deep learning-based image style translation and conversion of static images into dynamic images have developed. However, it takes a lot of time and resources to manually transform images, as well as professional knowledge due to the difficulty of natural image transformation. Therefore, in this paper, we study natural style mixing through a style conversion network using GAN and natural dynamic image generation using the First Order Motion Model network (FOMM).

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.908-909
• /
• 2023

Recently, several generative models have emerged and are being used in various industries. Among them, Cycle GAN is still used in various fields such as style transfer, medical care and autonomous driving. In this paper, we propose two methods to improve the performance of these Cycle GAN model. The ReLU activation function previously used in the generator was changed to Leaky ReLU. And a new loss function is proposed that considers the semantic level rather than focusing only on the pixel level through the VGG feature extractor. The proposed model showed quality improvement on the test set in the art domain, and it can be expected to be applied to other domains in the future to improve performance.

• 대한임베디드공학회논문지
• /
• 제18권5호
• /
• pp.241-248
• /
• 2023

GAN (Generative Adversarial Networks) creates highly sophisticated counterfeit products by learning real images or text and inferring commonalities. Therefore, it can be useful in fields that require the creation of large-scale images or graphics. In this paper, we implement GAN-based game character creation AI that can dramatically reduce illustration design work costs by providing expansion and automation of game character image creation. This is very efficient in game development as it allows mass production of various character images at low cost.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.934-936
• /
• 2022

현재 사회적인(COVID-19) 영향으로 메타버스에 대한 수요가 급증하였지만, 메타버스 플랫폼 진입을 지원하는 XR(AR/VR) 장비의 높은 가격대와 전문성 요구로 폭넓은 수요층을 포괄하기 어려운 상황이다. 본 논문에서는 이러한 수요층의 어려움을 개선하고자 웹 캠이나 스마트폰 카메라로 생성된 개인의 사진 이미지를 StyleGAN 딥러닝 기술과 접목시켜 캐릭터를 생성해 Mediapipe를 활용하여 모션 측정 및 제어를 처리하는 서비스를 제안하여 메타버스 시장의 대중화에 기여하고자 한다.

• 전자통신동향분석
• /
• 제35권4호
• /
• pp.91-102
• /
• 2020

Recently, generative adversarial networks (GANs) is a field of research that has rapidly emerged wherein many studies conducted shows overwhelming results. Initially, this was at the level of imitating the training dataset. However, the GAN is currently useful in many fields, such as transformation of data categories, restoration of erased parts of images, copying facial expressions of humans, and creation of artworks depicting a dead painter's style. Although many outstanding research achievements have been attracting attention recently, GANs have encountered many challenges. First, they require a large memory facility for research. Second, there are still technical limitations in processing high-resolution images over 4K. Third, many GAN learning methods have a problem of instability in the training stage. However, recent research results show images that are difficult to distinguish whether they are real or fake, even with the naked eye, and the resolution of 4K and above is being developed. With the increase in image quality and resolution, many applications in the field of design and image and video editing are now available, including those that draw a photorealistic image as a simple sketch or easily modify unnecessary parts of an image or a video. In this paper, we discuss how GANs started, including the base architecture and latest technologies of GANs used in high-resolution, high-quality image creation, image and video editing, style translation, content transfer, and technology.

• 한국컴퓨터정보학회논문지
• /
• 제29권3호
• /
• pp.11-20
• /
• 2024

AI(Artificial Intelligence)의 다양한 모델 중 생성 모델, 특히 GAN(Generative Adversarial Network)은 이미지 처리, 밀도 추정, 스타일 전이 등 다양한 응용 분야에서 성공을 거두었다. 이러한 GAN은 CGAN(Conditional GAN), CycleGAN, BigGAN 등의 방식으로 확장 및 개선되었지만 재난 시뮬레이션, 의료 분야, 도시 계획 등 특정 분야에서는 데이터 부족과 불안정한 학습에 의한 이미지 왜곡 문제로 실제 시스템 적용에 문제가 되고 있다. 본 논문에서는 클래스 항목을 판별하는 ACGAN(Auxiliary Classifier GAN) 구조를 기반으로 기존 PGGAN(Progressive Growing of GAN)의 점진적 학습 방식을 활용한 새로운 점진적 단계의 학습 방법론 PST(Progressive Step Training)를 제안한다. PST 모델은 기존 방법 대비 70.82% 빠른 안정화, 51.3% 낮은 표준 편차, 후반 고해상도의 안정적 손실값 수렴 그리고 94.6% 빠른 손실 감소를 달성한다.

• 한국음향학회지
• /
• 제39권4호
• /
• pp.292-302
• /
• 2020

기계학습 알고리즘은 소나 및 레이더를 포함한 다양한 분야에서 사용되고 있다. 최근 개발된 GAN(Generative Adversarial Networks)의 변형인 Cycle-Consistency Generative Adversarial Network(CycleGAN)은 쌍을 이루지 않은 이미지-이미지 변환에 대해 검증된 네트워크이다. 본 논문에서는 높은 품질로 수중 선박 엔진음을 변환시킬 수 있는 변형된 CycleGAN을 제안한다. 제안된 네트워크는 수중 음향을 기존영역에서 목표영역으로 변환시키는 생성자 모델과 데이터를 참과 거짓으로 구분하는 개선된 식별자 그리고 변환된 수환 일관성(Cycle Consistency) 손실함수로 구성된다. 제안된 CycleGAN의 정량 및 정성분석은 공개적으로 사용 가능한 수중 데이터 ShipsEar을 사용하여 기존 알고리즘들과 Mel-cepstral분포, 구조적 유사 지수, 최소 거리 비교, 평균 의견 점수를 평가 및 비교함으로써 수행되었고, 분석결과는 제안된 네트워크의 유효성을 입증하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제10권11호
• /
• pp.473-482
• /
• 2021

최근 딥러닝을 이용한 한글 생성 모델이 연구되고 있으나, 한글 폰트의 구조가 복잡하고 많은 폰트 데이터가 필요하여 상당한 시간과 자원을 필요로 할 뿐 아니라 스타일이 제대로 변환되지 않는 경우도 발생한다. 이러한 문제점을 보완하기 위하여, 본 논문에서는 한글의 초성, 중성, 종성의 구성요소를 기반으로 최소 글자를 사용하는 한글 폰트 생성 모델인 CKFont 모델을 제안한다. CKFont 모델은 GAN을 사용하는 한글 자동 생성 모델로, 28개의 글자와 초/중/종성 구성요소를 이용하여 다양한 스타일의 모든 한글을 생성할 수 있다. 구성요소로부터 로컬 스타일 정보를 획득함으로써, 글로벌 정보 획득보다 정확하고 정보 손실을 줄일 수 있다. 실험 결과 스타일을 자연스럽게 변환되지 못하는 경우를 감소시키고 폰트의 품질이 향상되었다. 한글 폰트를 생성하는 다른 모델들과 비교하여, 본 연구에서 제안하는 CKFont는 최소 글자를 사용하는 모델로, 모델의 구조가 간결하여 폰트를 생성하는 시간과 자원이 절약되는 효율적인 모델이다. 구성요소를 이용하는 방법은 다른 언어 폰트의 변환은 물론 다양한 이미지 변환과 합성에도 사용될 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 춘계학술발표대회
• /
• pp.544-546
• /
• 2020

의료 데이터를 이용하여 인공지능 기계학습 연구를 수행할 때 자주 마주하는 문제는 데이터 불균형, 데이터 부족 등이며 특히 정제된 충분한 데이터를 구하기 힘들다는 것이 큰 문제이다. 본 연구에서는 이를 해결하기 위해 GAN(Generative Adversarial Network) 기반 고해상도 의료 영상을 생성하는 프레임워크를 개발하고자 한다. 각 해상도 마다 Scale 의 Gradient 를 동시에 학습하여 빠르게 고해상도 이미지를 생성해낼 수 있도록 했다. 고해상도 이미지를 생성하는 Neural Network 를 고안하였으며, PGGAN, Style-GAN 과의 성능 비교를 통해 제안된 모델이 양질의 고해상도 의료영상 이미지를 더 빠르게 생성할 수 있음을 확인하였다. 이를 통해 인공지능 기계학습 연구에 있어서 의료 영상의 데이터 부족, 데이터 불균형 문제를 해결할 수 있는 Data augmentation 이나, Anomaly detection 등의 연구에 적용할 수 있다.

• 한국빅데이터학회지
• /
• 제7권1호
• /
• pp.173-185
• /
• 2022

현재 한국의 웹툰은 세계 디지털 만화 시장을 선도하고 있다. 웹툰은 세계 각국 다양한 언어로 서비스되고 있으며 웹툰의 IP(지식재산권)를 이용해 제작된 드라마와 영화가 크게 흥행하면서 웹툰의 영상화 작업도 점점 많아지고 있다. 그러나 이러한 웹툰의 성공과 함께 웹툰 작가의 노동 환경이 중요한 문제로 떠오르고 있다. 「2021년 만화 이용자 실태조사」에 따르면, 웹툰 작가의 하루 평균 작업시간은 10.5시간이며 일주일 평균 5.9일을 창작활동에 사용한다. 작가들은 매주 많은 분량의 그림을 그려야 하는데, 웹툰 간의 경쟁은 더욱 치열해지고 있으며 회 당 작가가 그려야 할 분량은 점점 늘어가고 있다. 따라서, 이 연구에서는 딥러닝 기술을 이용하여 웹툰 배경 이미지를 생성하고 웹툰 제작에 활용할 것을 제안한다. 웹툰의 주요 인물은 작가의 독창성이 상당 부분 포함되는 영역이지만, 배경 그림은 비교적 반복적이며 독창성이 필요하지 않은 영역이기 때문에, 작가의 작화 스타일과 유사한 배경 그림을 생성할 수 있다면 웹툰 제작에 유용하게 사용될 수 있다. 배경 생성은 image-to-image translation에서 좋은 성능을 보여주고 있는 CycleGAN과 카툰(cartoon) 스타일에 특화된 CartoonGAN을 이용한다. 이러한 생성은 과도한 업무환경에 처한 작가들의 노동 시간을 단축하고 웹툰과 기술의 융합에 기여할 것으로 기대된다.