• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.69-72
• /
• 2024

모델 역추론 공격은 공격 대상 네트워크를 훈련하기 위해 사용되는 훈련 데이터셋 중 개인 데이터셋을 공개 데이터셋을 사용하여 개인 훈련 데이터셋을 복원하는 것이다. 모델 역추론 방법 중 적대적 생성 신경망을 사용하여 모델 역추론 공격을 하는 과거의 논문들은 딥러닝 모델 전체의 역추론에만 초점을 맞추기 때문에, 이를 통해 얻은 원본 이미지의 개인 데이터 정보는 제한적이다. 따라서, 본 연구는 대상 모델의 중간 출력을 사용하여 개인 데이터에 대한 더 품질 높은 정보를 얻는데 초점을 맞춘다. 본 논문에서는 적대적 생성 신경망 모델이 원본 이미지를 생성하기 위해 사용되는 계층별 역추론 공격 방법을 소개한다. MNIST 데이터셋으로 훈련된 적대적 생성 신경망 모델을 사용하여, 원본 이미지가 대상 모델의 계층을 통과하면서 얻은 중간 계층의 출력 데이터를 기반으로 원본 이미지를 재구성하고자 한다. GMI 의 공격 방식을 참고하여 공격 모델의 손실 함수를 구성한다. 손실 함수는 사전 손실 및 정체성 손실항을 포함하며, 역전파를 통해서 원본 이미지와 가장 유사하게 복원할 수 있는 표현 벡터 Z 를 찾는다. 원본 이미지와 공격 이미지 사이의 유사성을 분류 라벨의 정확도, SSIM, PSNR 값이라는 세 가지 지표를 사용하여 평가한다. 공격이 이루어지는 계층에서 복원한 이미지와 원본 이미지를 세 가지 지표를 가지고 평가한다. 실험 결과, 공격 이미지가 원본 이미지의 대상 분류 라벨을 정확하게 가지며 원본 이미지의 필체를 유사하게 복원하였음을 보여준다. 평가 지표 또한 원본 이미지와 유사하다는 것을 나타낸다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.139-143
• /
• 2021

본 논문에서는 꾸준히 연구되어 오던 이미지 복원 문제에서 초해상화와 인페인팅이라는 복합적 이미지 복원을 동시에 처리하는 해결 방법을 제안한다. 초해상화는 국지적 픽셀 정보를 이용하여 고해상도의 영상을 복원하고, 인페인팅은 이미지 전체 정보를 활용하여 영상 내 비어 있는 영역을 생성해야 하므로, 이러한 두 가지 영상 복원 기법을 동시에 수행하는 것은 상당히 어려운 문제이다. 그렇기에 인페인팅과 초해상화는 이미지 복원에서 널리 활용되는 기술인 만큼 동시에 해결할 수 있는 기법에 대한 수요는 있음에도 지금까지 거의 연구되지 않았다. 본 논문은 초해상화 및 인페인팅 합동 처리에 있어 복합적인 정보를 모두 다뤄야하는 네트워크가 서로의 성능을 저하시키지 않도록 개략적 복원 네트워크 (Coarse network), 디테일 복원 네트워크 (Refinement network), 초해상화 네트워크 (SR network)로 분리하여 초해상화 및 인페인팅 합동 처리를 수행하며, 각 단계마다 결과 영상을 얻어 스케일 별 정답 영상과 손실함수를 계산하여 복합적인 성능을 올릴 수 있는 방법을 제시한다. 또한 순차적 단일 모델에 비하여 인페인팅과 초해상화를 합동 학습하는 제안 모델이 개선된 화질의 결과 영상을 획득할 수 있다는 것을 실험적으로 보인다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2022.10a
• /
• pp.374-375
• /
• 2022

Recently, Metaverse service has been widely used to naturally communicate with a remote location, freeing from time and spatial constraints. In order to produce such contents, it is necessary to restore and synthesize a 3D model based on real space data. In this paper, a 3D-generated reconstruction model is produced based on continuous images using multiple cameras and a technique to correct the reconstructed 3D model is presented. For this. offline multi-camera setup was performed, errors were analyzed on the 3D model created through images obtained from various angles, and correction was performed using a matching technique between image frames. It is expected that 3D reconstructed data can be utilized in various service fields such as culture, tourism, and medical care.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2002.11b
• /
• pp.487-490
• /
• 2002

이미지를 기반으로 3차원 모델을 생성하기 위한 방법은 많은 사람들의 연구의 대상이 되어 왔다. 본 연구에서는 연속적으로 획득된 여러 장의 이미지로부터 특징점을 추출한 후, 사영복원과 유클리디언 복원을 이용하여 특징점에 대응되는 3차원 데이터를 계산하는 방법을 구현하였고, 이렇게 얻은 3차원 데이터에 텍스쳐 매핑을 결합하여, 보다 사실적인 3차원 모델을 생성할 수 있는 시스템을 구현하였다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2022.05a
• /
• pp.104-107
• /
• 2022

autoencoder deep learning model has excellent ability to restore abnormal data to normal data, so it is not appropriate for anomaly detection. In addition, the Inpainting method, which is a method of restoring hidden data after masking (masking) a part of the data, has a problem in that the restoring ability is poor for noisy images. In this paper, we use a method of modifying and improving the MLP-Mixer model to mask the image at a certain ratio and to reconstruct the image by delivering compressed information of the masked image to the model. After constructing a model learned with normal data from the MVTec AD dataset, a reconstruction error was obtained by inputting normal and abnormal images, respectively, and anomaly detection was performed through this. As a result of the performance evaluation, it was found that the proposed method has superior anomaly detection performance compared to the existing method.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2002.11b
• /
• pp.93-96
• /
• 2002

불연속선에 의해 생성된 기하학적 착시에서 특징 점들을 추출하는 시각 모델을 제안한다. 기하학적 착시는 선이나 원으로 구성된 것으로서 인간의 정보처리 경로를 통해 발생하는 인지현상중의 하나이다. 이러한 인지 현상은 외부 세계에 존재하는 동일한 강도의 물리적 에너지를 주변자극의 영향 때문에 실제와 다르게 해석하는 현상이다. 착시 그림들로부터 착시 윤곽을 이루는 특징 점을 추출하는 시각 모델을 제안한다. 제안된 인식 모델은 윤곽 추출, 시각 특징 추출, 시각특징 복원, 유도 자극 추출, 이미지 복원 및 이미지 연산 단계로 구성된다. 제안된 모델은 불연속적인 선에 의해 나타나는 착시 윤곽에서 특징 자극들을 추출한다.

• Journal of Korea Society of Industrial Information Systems
• /
• v.24 no.5
• /
• pp.17-25
• /
• 2019

In this paper, we introduce the technology to convert a single human image into a fashion show animation video clip. The technology can help the customers confirm the dynamic fitting result when combined with the virtual try on technique as well as the interesting experience to a normal person of being a fashion model. We developed an extended technique of full human 2D to 3D inverse modeling based on SMPLify human body inverse modeling technique, and a rigged model animation method. The 3D shape deformation of the full human from the body model was performed by 2 part deformation in the image domain and reconstruction using the estimated depth information. The quality of resultant animation videos are made to be publically available for evaluation. We consider it is a promising approach for commercial application when supplemented with the post - processing technology such as image segmentation technique, mapping technique and restoration technique of obscured area.

• The KIPS Transactions:PartB
• /
• v.17B no.3
• /
• pp.183-188
• /
• 2010

A factorization-based 3D reconstruction system is realized to recover 3D scene from an image sequence. The image sequence is captured from uncalibrated perspective camera from several views. Many matched feature points over all images are obtained by feature tracking method. Then, these data are supplied to the 3D reconstruction module to obtain the projective reconstruction. Projective reconstruction is converted to Euclidean reconstruction by enforcing several metric constraints. After many triangular meshes are obtained, realistic reconstruction of 3D models are finished by texture mapping. The developed system is implemented in C++, and Qt library is used to implement the system user interface. OpenGL graphics library is used to realize the texture mapping routine and the model visualization program. Experimental results using synthetic and real image data are included to demonstrate the effectiveness of the developed system.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2003.11a
• /
• pp.326-329
• /
• 2003

영상이나 이미지로부터 3차원 정보를 복원해내기 위한 기술은 컴퓨터 비젼과 그래픽스 분야에서 많은 연구의 대상이 되어 왔다. 본 연구에서는 연속적으로 획득된 여러 장의 이미지로부터 특징점을 추출한 후 그 점들로부터 프로젝티브 복원을 하고 카메라 파라메터를 계산하여 유클리디언 공간으로 변환시켜 3차원 데이터를 계산하는 방법을 구현하였다. 계산된 3차원 데이터와 가장 적합한 폴리곤을 선택하고 텍스쳐 매핑을 하는 방법을 결합하여 사실적인 3차원 모델을 생성할 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.686-688
• /
• 2020

본 논문에서는 U-Net 모델을 이용하여 정교하고 반복되는 패턴을 가진 인쇄물에 대한 비지도 학습을 통한 딥러닝 기반 이상치탐지(Anomaly Detection) 방법을 제안하였다. 인쇄물(카드)의 비정상 패턴 검출을 위하여 촬영한 영상으로부터 카드 영역을 분리한 이미지로 구성된 Dataset을 구축하였고 정상 이미지와 동일한 이미지를 출력하기 위해, 정상 이미지와 마스크 이미지 쌍의 Training dataset을 U-Net으로 학습하였다. Test dataset의 이미지를 입력으로 넣어 생성된 마스크 결과를 원본 마스크 이미지와 비교하여 이상 여부를 판단하는 본 논문의 방법이 정상, 비정상 인쇄물을 잘 구분하는 것을 확인하였다. 또한 정상과 비정상 이미지 각각을 학습한 지도학습 기반 CNN 분류 방법을 입력 영상과 복원 영상 간의 복원 오차를 비교하여 객체의 이상 여부를 판별하는 본 논문의 방법과 비교 평가하였다. 본 논문을 통해 U-Net을 사용하여 별도로 데이터에 대한 label 취득 없이 이상치를 검출할 수 있음을 확인할 수 있었다.