• Title/Summary/Keyword: 복원 이미지 모델

Search Result 79, Processing Time 0.026 seconds

A Study on the Characteristics of a series of Autoencoder for Recognizing Numbers used in CAPTCHA (CAPTCHA에 사용되는 숫자데이터를 자동으로 판독하기 위한 Autoencoder 모델들의 특성 연구)

  • Jeon, Jae-seung;Moon, Jong-sub
    • Journal of Internet Computing and Services
    • /
    • v.18 no.6
    • /
    • pp.25-34
    • /
    • 2017
  • Autoencoder is a type of deep learning method where input layer and output layer are the same, and effectively extracts and restores characteristics of input vector using constraints of hidden layer. In this paper, we propose methods of Autoencoders to remove a natural background image which is a noise to the CAPTCHA and recover only a numerical images by applying various autoencoder models to a region where one number of CAPTCHA images and a natural background are mixed. The suitability of the reconstructed image is verified by using the softmax function with the output of the autoencoder as an input. And also, we compared the proposed methods with the other method and showed that our methods are superior than others.

Comparison of Adversarial Example Restoration Performance of VQ-VAE Model with or without Image Segmentation (이미지 분할 여부에 따른 VQ-VAE 모델의 적대적 예제 복원 성능 비교)

  • Tae-Wook Kim;Seung-Min Hyun;Ellen J. Hong
    • Journal of the Institute of Convergence Signal Processing
    • /
    • v.23 no.4
    • /
    • pp.194-199
    • /
    • 2022
  • Preprocessing for high-quality data is required for high accuracy and usability in various and complex image data-based industries. However, when a contaminated hostile example that combines noise with existing image or video data is introduced, which can pose a great risk to the company, it is necessary to restore the previous damage to ensure the company's reliability, security, and complete results. As a countermeasure for this, restoration was previously performed using Defense-GAN, but there were disadvantages such as long learning time and low quality of the restoration. In order to improve this, this paper proposes a method using adversarial examples created through FGSM according to image segmentation in addition to using the VQ-VAE model. First, the generated examples are classified as a general classifier. Next, the unsegmented data is put into the pre-trained VQ-VAE model, restored, and then classified with a classifier. Finally, the data divided into quadrants is put into the 4-split-VQ-VAE model, the reconstructed fragments are combined, and then put into the classifier. Finally, after comparing the restored results and accuracy, the performance is analyzed according to the order of combining the two models according to whether or not they are split.

Design and Implementation of AR Model based Automatic Identification and Restoration Scheme for Line Scratches in Old Films (AR 모델 기반의 고전영화의 긁힘 손상의 자동 탐지 및 복원 시스템 설계와 구현)

  • Han, Ngoc-Soc;Kim, Seong-Whan
    • The KIPS Transactions:PartB
    • /
    • v.17B no.1
    • /
    • pp.47-54
    • /
    • 2010
  • Old archived film shows two major defects: line scratch and blobs. In this paper, we present a design and implementation of an automatic video restoration system for line scratches observed in archived film. We use autoregressive (AR) image model because we can make stochastic and specifically autoregressive image generation process with our PAST-PRESENT model and Sampling Pattern. We designed locality maximizing scanning pattern, which can generate nearly stationary time-like series of pixels, which is a strong requirement for a stochastic series to be autoregressive. The sampled pixel series undergoes filtering and model fitting using Durbin-Levinson algorithm before interpolation process. We designed three-stage film restoration system, which includes (1) film acquisition from VHS tapes, (2) simple line scratch detection and restoration, and (3) manual blob identification and sophisticated inpainting scheme. We implemented film acquisition and simple inpainting scheme on Texas Instruments DSP board TMS320DM642 EVM, and implemented our AR inpainting scheme on PC for sophisticated restoration. We experimented our scheme with two old Korean films: "Viva Freedom" and "Robot Tae-Kwon-V", and the experimental results show that our scheme improves Bertalmio's scheme for subjective quality (MOS), objective quality (PSNR), and especially restoration ratio (RR), which reflects how much similar to the manual inpainting results.

A Study on the Restoration of Korean Traditional Palace Image by Adjusting the Receptive Field of Pix2Pix (Pix2Pix의 수용 영역 조절을 통한 전통 고궁 이미지 복원 연구)

  • Hwang, Won-Yong;Kim, Hyo-Kwan
    • The Journal of Korea Institute of Information, Electronics, and Communication Technology
    • /
    • v.15 no.5
    • /
    • pp.360-366
    • /
    • 2022
  • This paper presents a AI model structure for restoring Korean traditional palace photographs, which remain only black-and-white photographs, to color photographs using Pix2Pix, one of the adversarial generative neural network techniques. Pix2Pix consists of a combination of a synthetic image generator model and a discriminator model that determines whether a synthetic image is real or fake. This paper deals with an artificial intelligence model by adjusting a receptive field of the discriminator, and analyzes the results by considering the characteristics of the ancient palace photograph. The receptive field of Pix2Pix, which is used to restore black-and-white photographs, was commonly used in a fixed size, but a fixed size of receptive field is not suitable for a photograph which consisting with various change in an image. This paper observed the result of changing the size of the existing fixed a receptive field to identify the proper size of the discriminator that could reflect the characteristics of ancient palaces. In this experiment, the receptive field of the discriminator was adjusted based on the prepared ancient palace photos. This paper measure a loss of the model according to the change in a receptive field of the discriminator and check the results of restored photos using a well trained AI model from experiments.

Single Image Super-resolution using Recursive Residual Architecture Via Dense Skip Connections (고밀도 스킵 연결을 통한 재귀 잔차 구조를 이용한 단일 이미지 초해상도 기법)

  • Chen, Jian;Jeong, Jechang
    • Journal of Broadcast Engineering
    • /
    • v.24 no.4
    • /
    • pp.633-642
    • /
    • 2019
  • Recently, the convolution neural network (CNN) model at a single image super-resolution (SISR) have been very successful. The residual learning method can improve training stability and network performance in CNN. In this paper, we propose a SISR using recursive residual network architecture by introducing dense skip connections for learning nonlinear mapping from low-resolution input image to high-resolution target image. The proposed SISR method adopts a method of the recursive residual learning to mitigate the difficulty of the deep network training and remove unnecessary modules for easier to optimize in CNN layers because of the concise and compact recursive network via dense skip connection method. The proposed method not only alleviates the vanishing-gradient problem of a very deep network, but also get the outstanding performance with low complexity of neural network, which allows the neural network to perform training, thereby exhibiting improved performance of SISR method.

Image-adaptive lossless image compression (영상 적응형 무손실 이미지 압축)

  • OH Hyun-Jong;Won Jong-woo;Jang Euee S.
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2003.11a
    • /
    • pp.61-64
    • /
    • 2003
  • 무손실 이미지 압축은 (Lossless Image Compression)은 손실이미지 압축(Lossy Image Compression)에 비해, 압축률(compression ratio)은 떨어지지만, 반면 원이미지와 복원이미지가 완전히 일치하므로, 원인이미지의 품질을 그대로 유지학 수 있다. 따라서, 이미지의 품질(Quality)과 압축효율(compression ratio)은 서로 상반된 관계에 있으며, 지금도 좀 더 놀은 압축효과를 얻으려는 여러 무손실 압축 방법이 발표되고 있다. 무손실 이미지 압축은 이미지의 정확성과 정밀성이 요구되는, 의료영양분야에서 가장 널리 쓰이고 있으며, 그밖에, 원본이미지를 기본으로 다른 이미지프로세싱이 필요한 경우, 압축 복원을 반복적으로 수행할 필요가 있을 때, 기타 사진 예술분야, 원격 영상 등 정밀성이 요구되는 분양에서 쓰이고 있다. [7]. 무손실 이미지 압축의 가장 대표적인 CALIC[3]과 JPEG_LS[2]를 들 수 있다. CALIC은 비교적 높은 압축률을 나타내지만, 3-PASS의 과정을 거치는 복잡도가 지적되고 있다. 반면 JPEG-LS는 압축률은 CALIC에 미치지 못하지만 빠른 코딩/디코딩 속도를 보인다. 본 논문에서는 여거 가지의 예측 모드를 두어, 블록단위별로 주변 CONTEXT에 따라, 최상의 예측 모드를 판단하여, 이를 적용, 픽셀의 여러 값을 최소화하였다. 그 후 적응산술 부호기(Adaptive arithmetc coder)를 이용하여, 인코딩을 하였다. 이때 최대 에러값은 64를 넘지 않게 했으며, 또한 8*8블록별로 에러의 최대값을 측정하여 그 값을 $0\~7$까지의 8개의 대표값으로 양자화하는 방법을 통하여 그에 따라 8개의 보호화 심볼 모델중 알맞은 모델에 적용하였다. 이를 통해, 그 소화값의 확률 구간을 대폭 넓힘으로써, 에러 이미지가 가지고 있는 엔트로피에 좀 근접하게 코딩을 할 수 있게 되었다. 이 방법은 실제로 Arithmetic Coder를 이용하는 다른 압축 방법에 그리고 적용할 수 있다. 실험 결과 압축효율은 JPEG-LS보다 약 $5\%$의 압축 성능 개선이 있었으며, CALIC과는 대등한 압축률을 보이며, 부호화/복호화 속도는 CALIC보다 우수한 것으로 나타났다.

  • PDF

TrapMI: Protecting Training Data to Evade Model Inversion Attack on Split Learning (TrapMI: 분할 학습에서 모델 전도 공격을 회피할 수 있는 훈련 데이터 보호 방법)

  • Hyun-Sik Na;Dae-Seon Choi
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.234-236
    • /
    • 2023
  • Edge AI 환경에서의 DNNs 학습 방법 중 하나인 분할 학습은 모델 전도 공격으로 인해 입력 데이터의 프라이버시가 노출될 수 있다. 본 논문에서는 분할 학습 환경에서의 모델 전도 공격에 대한 기존 방어 기술들의 한계점을 회피할 수 있는 TrapMI 기술을 제안하고, 이를 통해 입력 이미지를 원 본 데이터 세트의 도메인에서 특정 타겟 이미지 도메인으로 이동시킴으로써 이미지 복원의 가능성을 최소화시킨다. 추가적으로, 테스트 과정에서 타겟 이미지의 정보를 알 수 없는 제약을 회피하기 위해 AutoGenerator를 구축한 후 실험을 통해 원본 데이터 보호 성능을 검증한다.

Personal-Fit Virtual Try-On iOS Mobile Service using 3D Human body and Clothing model reconstruction (3D 인체 및 의상복원을 사용한 개인체형맞춤 가상착용 iOS 모바일 서비스 설계 및 개발)

  • Yoo, Seungwon;Oh, Sangmin;Ahn, Heejune
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2022.11a
    • /
    • pp.193-195
    • /
    • 2022
  • 본 논문에서는 3차원 스캔 없이 이미지 입력만을 사용한 개인 체형을 고려한 모바일 가상 착용 시스템의 전체 과정을 설계하고 개발하였다. 이를 위하여 이미지상 인물의 자세와 체형의 추정을 통하여 3차원 인체모델(SMPL)을 추정하는 최근의 방식을 이용하였고, 앞 뒷면 의상 이미지를 2차원 texture 매핑과 평면 triangle mesh로 복원하고 의상 봉제 (sewing) 시뮬레이션을 사용하여 3차원 의상 모델을 생성하는 방법을 새롭게 개발하였다. 또한 이를 활용한 3차원 개인화된 가상 착용 모바일 앱과 서비스를 Flask와 iOS 환경에서 SceneKit을 활용하여 개발하였다. 이를 통하여 단순히 의상의 매칭과 스타일 뿐 아니라 사이즈에 따른 착용 Fit을 구매 전에 확인할 수 있는 전체 서비스를 실현 및 검증하였다.

  • PDF

Image Based Modeling Method Use to Geometric Constraint (기하학적 제약을 이용한 영상기반 모델링 기법)

  • 김동환;서상현;윤경현
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10b
    • /
    • pp.502-504
    • /
    • 2001
  • 본 논문에서는 영상기반 모델링에서 3차원의 기하학적 제약을 이용한 모델링을 다루고 있다. 기존에 이러한 연구가 많이 진행되어져 왔으나, 여기에서는 새로운 방법에 의한 모델링을 시도하였다. 이러한 접근방법은 이해하기가 쉽고, 편리하며, 간단한 모델링에 적용이 용이하다. 또한, 영상평면 정보와 3차원의 정보를 가지고 있기 때문에 기존의 3차원 복원 이론과 혼합하여 적용할 수 있다. 영상기반 모델링(IBM, Image Based Modeling)의 핵심은 2차원 영상에서 사라진 깊이 정보를 어떻게 찾는가에 있다. 기존에는 3차원 복원을 위하여 투영된 영상평면의 점을 이용하거나, 이미지 상에서의 소실점을 찾거나, 2차원의 벡터와 3차원의 공간 좌표의 특정한 평면에 놓여있는 벡터와의 관계를 이용하여 깊이 정보를 복원하였다. 이러한 접근 방법은 사용자가 선택한 2차원 좌표로부터 3차원 좌표를 구하는 것이다. 본 논문에서는 기존의 방법과 다르게 3차원 원시 기하모델의 제약을 이용하여 사용자가 3차원 원시 기하모델을 2차원 영상에 투영하고, 그 정보를 이용하여 영상의 3차원 정보를 찾아 나가는 방법을 소개한다. 또한, 선형적인 최적화 기능을 넣어 관사 모델을 구하였다.

  • PDF

Survey of the Model Inversion Attacks and Defenses to ViT (ViT 기반 모델 역전 공격 및 방어 기법들에 대한 연구)

  • Miseon Yu;Yunheung Peak
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.15-17
    • /
    • 2023
  • ViT(Vision Transformer)는 트랜스포머 구조에 이미지를 패치들로 나눠 한꺼번에 인풋으로 입력하는 모델이다. CNN 기반 모델보다 더 적은 훈련 계산량으로 다양한 이미지 인식 작업에서 SOTA(State-of-the-art) 성능을 보이면서 다양한 비전 작업에 ViT 를 적용하는 연구가 활발히 진행되고 있다. 하지만, ViT 모델도 AI 모델 훈련시에 생성된 그래디언트(Gradients)를 이용해 원래 사용된 훈련 데이터를 복원할 수 있는 모델 역전 공격(Model Inversion Attacks)에 안전하지 않음이 증명되고 있다. CNN 기반의 모델 역전 공격 및 방어 기법들은 많이 연구되어 왔지만, ViT 에 대한 관련 연구들은 이제 시작 단계이고, CNN 기반의 모델과 다른 특성이 있기에 공격 및 방어 기법도 새롭게 연구될 필요가 있다. 따라서, 본 연구는 ViT 모델에 특화된 모델 역전 공격 및 방어 기법들의 특징을 서술한다.