• 한국컴퓨터정보학회논문지
• /
• 제26권4호
• /
• pp.11-19
• /
• 2021

이상 객체란 일반적이고 평범한 행동을 취하는 객체가 아닌 비정상적이고 흔하지 않은 행동을 하여 관찰이나 감시·감독을 필요로 하는 사람, 물체, 기계 장치 등을 뜻한다. 이를 사람의 지속적인 개입 없이 인공지능 알고리즘을 통해 탐지하기 위해서 광학 흐름 기법을 활용한 시간적 특징의 특이도를 관찰하는 방법이 많이 활용되고 있으며, 이 기법은 정해진 표현 범위가 없는 수많은 이상 행동을 식별하기에 적합하다. 본 연구에서는 생성적 적대 신경망(Generative Adversarial Network, GAN)으로 입력 영상 프레임을 광학 흐름 영상으로 변환하는 알고리즘을 학습시켜 비정상적인 상황을 식별한다. 특히 생성적 적대 신경망 모델이 입력 영상에 대한 중요한 특징 정보를 학습하고, 그 외 불필요한 이상치를 제외시키기 위한 전처리 과정과 학습 후 테스트 데이터셋에서 식별 정확도를 높이기 위한 후처리 과정을 고도화하여 전체적인 모델의 이상 행동 식별 성능을 향상시키는 기법을 제안한다. 이상 행동을 탐지하기 위한 학습 데이터셋으로 UCSD Pedestrian, UMN Unusual Crowd Activity를 활용하였으며, UCSD Ped2 데이터셋에서 프레임 레벨 AUC 0.9450, EER 0.1317의 수치를 보이며 이전 연구에서 도출된 성능 지표 대비 성능 향상이 확인되었다.

• 한국음향학회지
• /
• 제38권6호
• /
• pp.670-677
• /
• 2019

음성 또는 음향 이벤트 신호에서 발생하는 배경 잡음은 인식기의 성능을 저하시키는 원인이 되며, 잡음에 강인한 특징을 찾는데 많은 노력을 필요로 한다. 본 논문에서는 딥러닝을 기반으로 다중작업 오토인코더(Multi-Task AutoEncoder, MTAE) 와 와설스타인식 생성적 적대 신경망(Wasserstein GAN, WGAN)의 장점을 결합하여, 잡음이 섞인 음향신호에서 잡음과 음성신호를 추정하는 네트워크를 제안한다. 본 논문에서 제안하는 MTAE-WGAN는 구조는 구배 페널티(Gradient Penalty) 및 누설 Leaky Rectified Linear Unit (LReLU) 모수 Parametric ReLU (PReLU)를 활용한 변수 초기화 작업을 통해 음성과 잡음 성분을 추정한다. 직교 구배 페널티와 파라미터 초기화 방법이 적용된 MTAE-WGAN 구조를 통해 잡음에 강인한 음성특징 생성 및 기존 방법 대비 음소 오인식률(Phoneme Error Rate, PER)이 크게 감소하는 성능을 보여준다.

• 한국정보통신학회논문지
• /
• 제26권9호
• /
• pp.1305-1311
• /
• 2022

최근 모바일 단말기 및 개인형 컴퓨터의 비약적인 발전과 신경망 기술의 등장으로 영상을 활용한 실시간 안면 교체가 가능해졌다. 특히, 순환 적대적 생성 신경망은 상호 연관성이 없는 이미지 데이터를 활용한 안면 교체가 가능하게 만들었다. 본 논문에서는 적은 학습 데이터와 시간으로 안면 교체의 품질을 높일 수 있는 입력 데이터 처리 기법을 제안한다. 제안 방식은 사전에 학습된 신경망을 통해서 추출된 안면의 특이점 정보와 안면의 구조와 표정에 영향을 미치는 주요 이미지 정보를 결합함으로써 안면 표정과 구조를 보존하면서 이미지 품질을 향상시킬 수 있다. 인공지능 기반의 무참조 품질 메트릭 중의 하나인 blind/referenceless image spatial quality evaluator (BRISQUE) 점수를 활용하여 제안 방식의 성능을 정량적으로 분석하고 기존 방식과 비교한다. 성능 분석 결과에 따르면 제안 방식은 기존 방식 대비 약 4.6%~14.6% 개선된 BRISQUE 점수를 나타내었다.

• 인터넷정보학회논문지
• /
• 제21권4호
• /
• pp.9-16
• /
• 2020

영상 처리 및 컴퓨터 비전 분야에서 하나의 영상을 통해 다른 영상으로 재구성하거나 새로운 영상을 생성하는 문제는 하드웨어의 발전에 따라 꾸준히 주목받고 있다. 그러나 컴퓨터를 통해 생성한 이미지를 사람의 눈으로 바라봤을 때 자연스럽지 않다는 문제 또한 계속해서 대두되고 있다. 최근 딥러닝 분야에 대한 연구가 활발히 진행됨에 따라 이를 활용한 영상 생성 및 개선 문제 또한 활발히 연구되고 있으며 그 중에서도 적대적 생성 신경망(Generative Adversarial Network)이라는 네트워크가 영상 생성 분야에 있어 좋은 결과를 보이고 있다. 적대적 생성 신경망이 제안된 이후 이를 기반으로 하는 다양한 네트워크가 제시됨에 따라 영상 생성 분야에서 더 자연스러운 영상을 생성하는 것이 가능해졌다. 그 중 pix2pix은 조건 적대적 생성 신경망 모델로 다양한 데이터셋에서도 좋은 성능을 보이는 범용적인 네트워크이다. pix2pix는 U-Net을 기반으로 두고 있으나 U-Net을 기반으로 하는 네트워크 중에서는 더 좋은 성능을 보이는 네트워크가 다수 존재한다. 때문에 본 연구에서는 pix2pix의 U-Net에 다양한 네트워크를 적용해 영상을 생성하고 그 결과를 상호 비교 평가한다. 각 네트워크를 통해 생성된 영상을 통해 기존의 U-Net을 사용한 pix2pix 모델보다 어텐션, R2, 어텐션-R2 네트워크를 적용한 pix2pix 모델이 더 좋은 성능을 보이는 것을 확인하고 그 중 가장 성능이 뛰어난 네트워크의 한계점을 향후 연구로 제시한다.

• 한국해양공학회지
• /
• 제36권1호
• /
• pp.32-40
• /
• 2022

Underwater optical images face various limitations that degrade the image quality compared with optical images taken in our atmosphere. Attenuation according to the wavelength of light and reflection by very small floating objects cause low contrast, blurry clarity, and color degradation in underwater images. We constructed an image data of the Korean sea and enhanced it by learning the characteristics of underwater images using the deep learning techniques of CycleGAN (cycle-consistent adversarial network), UGAN (underwater GAN), FUnIE-GAN (fast underwater image enhancement GAN). In addition, the underwater optical image was enhanced using the image processing technique of Image Fusion. For a quantitative performance comparison, UIQM (underwater image quality measure), which evaluates the performance of the enhancement in terms of colorfulness, sharpness, and contrast, and UCIQE (underwater color image quality evaluation), which evaluates the performance in terms of chroma, luminance, and saturation were calculated. For 100 underwater images taken in Korean seas, the average UIQMs of CycleGAN, UGAN, and FUnIE-GAN were 3.91, 3.42, and 2.66, respectively, and the average UCIQEs were measured to be 29.9, 26.77, and 22.88, respectively. The average UIQM and UCIQE of Image Fusion were 3.63 and 23.59, respectively. CycleGAN and UGAN qualitatively and quantitatively improved the image quality in various underwater environments, and FUnIE-GAN had performance differences depending on the underwater environment. Image Fusion showed good performance in terms of color correction and sharpness enhancement. It is expected that this method can be used for monitoring underwater works and the autonomous operation of unmanned vehicles by improving the visibility of underwater situations more accurately.

• Imaging Science in Dentistry
• /
• 제52권4호
• /
• pp.393-398
• /
• 2022

Purpose: This study proposed a generative adversarial network (GAN) model for T2-weighted image (WI) synthesis from proton density (PD)-WI in a temporomandibular joint(TMJ) magnetic resonance imaging (MRI) protocol. Materials and Methods: From January to November 2019, MRI scans for TMJ were reviewed and 308 imaging sets were collected. For training, 277 pairs of PD- and T2-WI sagittal TMJ images were used. Transfer learning of the pix2pix GAN model was utilized to generate T2-WI from PD-WI. Model performance was evaluated with the structural similarity index map (SSIM) and peak signal-to-noise ratio (PSNR) indices for 31 predicted T2-WI (pT2). The disc position was clinically diagnosed as anterior disc displacement with or without reduction, and joint effusion as present or absent. The true T2-WI-based diagnosis was regarded as the gold standard, to which pT2-based diagnoses were compared using Cohen's ĸ coefficient. Results: The mean SSIM and PSNR values were 0.4781(±0.0522) and 21.30(±1.51) dB, respectively. The pT2 protocol showed almost perfect agreement(ĸ=0.81) with the gold standard for disc position. The number of discordant cases was higher for normal disc position (17%) than for anterior displacement with reduction (2%) or without reduction (10%). The effusion diagnosis also showed almost perfect agreement(ĸ=0.88), with higher concordance for the presence (85%) than for the absence (77%) of effusion. Conclusion: The application of pT2 images for a TMJ MRI protocol useful for diagnosis, although the image quality of pT2 was not fully satisfactory. Further research is expected to enhance pT2 quality.

• 한국측량학회지
• /
• 제40권4호
• /
• pp.359-364
• /
• 2022

원격탐사 영상의 변화탐지는 카메라의 광학적 요인, 계절적 요인, 토지피복 특성에 의해 오류가 발생한다. 본 연구에서는 CycleGAN (Cycle Generative Adversarial Network) 방법을 사용하여 촬영 각도에 따른 영상 내 건물 기울기를 모의 조정하였고, 이렇게 모의한 영상을 변화탐지에 활용하여 탐지 정확도 향상에 기여하도록 하였다. CycleGAN 기반으로 두 개 시기 영상 중 한 시기 영상을 기준으로 건물의 기울기를 다른 한 영상 내 건물에 유사하게 모의하였고 원 영상과 건물 기울기에 대한 오류를 비교 분석하였다. 실험자료로는 서로 다른 시기에 다른 각도로 촬영되었고, 건물이 밀집한 도시지역을 포함한 Kompsat-3A 고해상도 위성영상을 사용하였다. 실험 결과, 영상 내 건물 영역에 대하여 두 영상의 건물에 의한 오탐지 화소 수가 원 영상에서는 12,632개, CycleGAN 기반 모의 영상에서는 1,730개로 약 7배 감소하는 것으로 나타났다. 따라서, 제안 방법이 건물 기울기로 인한 탐지오류를 감소시킬 수 있음을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 추계학술발표대회
• /
• pp.976-979
• /
• 2019

사회가 발전함에 따라 사람들의 의류 소비 패턴 매장 매출보다 모바일 쇼핑몰 매출이 늘고 있다. 스마트 뱅킹, 쇼핑몰 애플리케이션 등 모바일 서비스가 일상생활로 스며들면서 모바일로 의류를 구매하는 것은 쉬워졌다. 하지만, 온라인이라는 특성상 옷을 택배로 받고, 입어야 옷이 어울리는 지 아닌 지를 판단할 수 있다는 고질적인 문제점이 있다. 이러한 문제점은 반품 또는 교환으로 이루어지고 이는 쇼핑몰과 소비자 모두에게 굉장히 낭비되는 비용이다. 본 논문에서는 사람의 사진에 옷을 입힌 사진을 제공함으로써, 사람이 옷을 실제로 입지 않더라도 그 때의 fit 을 제공하고자 한다. 이때, 단순한 합성이 아니라, 딥러닝 중 GAN(Generative Adversarial Network)를 사용해 기존 기술의 문제점을 해결하고자 한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2019년도 제60차 하계학술대회논문집 27권2호
• /
• pp.255-256
• /
• 2019

한글 폰트를 만드는 데는 자음+모음 조합으로 약 11,500자 정도의 글자가 필요하다. 디자이너가 글자 하나씩 전부 디자인 하는 것도 굉장한 부담요소이고, 한글폰트를 제작하는데 있어 3개월 이상의 소요 기간과 3000만 원 이상의 비용부담 또한 무시 못 할 요소이다. 게다가 카피라이트 폰트에 대한 저작권 문제 또한 골칫거리다. 그래서 이를 최소한으로 하고자 딥 러닝의 방식중 하나인 GAN(생성적 적대 신경망)을 통해서 디자이너가 399자만 작성하고 나머지는 컴퓨터가 디자이너의 폰트 디자인을 인식하고 자동으로 만들어 주는 프로그램을 고안하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.479-481
• /
• 2023

Generative Adversarial Networks (GANs) have facilitated substantial improvement in single-image super-resolution (SR) by enabling the generation of photo-realistic images. However, the high memory requirements of GAN-based SRs (mainly generators) lead to reduced performance and increased energy consumption, making it difficult to implement them onto resource-constricted devices. In this study, we propose an efficient and compressed architecture for the SR-GAN (generator) model using the model compression technique Knowledge Distillation. Our approach involves the transmission of knowledge from a heavy network to a lightweight one, which reduces the storage requirement of the model by 58% with also an increase in their performance. Experimental results on various benchmarks indicate that our proposed compressed model enhances performance with an increase in PSNR, SSIM, and image quality respectively for x4 super-resolution tasks.