• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권7호
• /
• pp.2997-3017
• /
• 2020

With the advancement in the field of image processing, images are being processed using various image processing algorithms. Nowadays, many efficient content-aware image resizing techniques are being used to safeguard the prominent regions and to generate better results that are visually appealing and pleasing while resizing. Advancements in the new display device with varying screen size demands the development of efficient image resizing algorithm. This paper presents a survey on various image retargeting methods, comparison of image retargeting results based on performance, and also exposes the main challenges in image retargeting such as content preservation of important regions, distortion minimization, and improving the efficiency of image retargeting methods. After reviewing literature from researchers it is suggested that the use of the single operator in image retargeting such as scaling, cropping, seam carving, and warping is not sufficient for obtaining satisfactory results, hence it is essential to combine multiple image retargeting operators. This survey is useful for the researchers interested in content-aware image retargeting.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2011년도 춘계학술발표대회
• /
• pp.469-472
• /
• 2011

본 논문에서는 모바일 기기의 디스플레이 비율을 고려한 복합적 Image retargeting 기법을 제안한다. 제안 기법은 다양한 비율을 가지는 광시야각 영상을 모바일기기에서 디스플레이하고자 할 때 줄어드는 과정에서 영상 내의 주요 영역의 손실을 최소화하고 자연스러운 결과 영상을 만들어내기 위해 영상의 saliency를 분석하여 에너지 분포와 gravity center를 구한다. 분석된 에너지 분포를 통해 영상을 동일한 에너지량을 가진 n개의 영역으로 분할하고 각 영역의 분포 특징에 따라 crop, linear scaling, seam carving의 기법을 최적의 영역에 복합적으로 적용하여 영상을 retargeting한다. 끝으로 제안하는 기법의 결과영상과 기존 기법의 결과 영상을 비교하여 제안 기법의 강점을 검증한다.

• 한국정보통신학회논문지
• /
• 제15권4호
• /
• pp.943-950
• /
• 2011

이 논문에서는 2D 및 3D 영상의 어텐션량을 측정하여 정지 및 동영상의 재설정 및 압축처리 기법을 제시하였다. 2D 어텐션은 세 개의 주요 구성, 즉, 영상의 세기, 컬러 및 방향성을 고려하였으며, 3D 영상에서 깊이 정보를 고려하였다. 시각적 어텐션은 관심있고 흥미있는 영역이나 객체를 검출하기 위해 희소성을 정량화하는 기법에 의해 구하였다. 왜곡된 스테레오 영상에서 변화된 깊이 정보를 어텐션 확률에 정합시켜서 최종적으로 저위 HVS 반응을 실제 어텐션 확률과 종합하여 스테레오 왜곡 예측기를 설계하였다. 결과로 기존 모델에 비해 효과적인 어텐션 기법을 개발하였으며 이를 비디오 재설정에 적용하여 성능을 입증하였다.

• 대한전자공학회논문지SP
• /
• 제48권5호
• /
• pp.63-71
• /
• 2011

본 논문에서는 영상이 가지는 컨텐츠를 보호하면서 영상의 크기를 실시간으로 변환하는 영상 리타겟팅 방법에 대하여 제안한다. 기존의 컨텐츠 기반의 영상 리타겟팅 기법인 seam carving은 영상의 크기 조절 시 다이나믹 프로그래밍(Dynamic Programming) 기법을 사용하기 때문에 반복적인 누적 최소 에너지 맵의 갱신 과정이 반드시 필요하다. 이 갱신 과정에서 전체 영상을 탐색해야 하므로 많은 연산량이 요구되며, 이로 인한 처리 시간 지연이 불가피하다. 제안하는 방법은 이러한 누적 최소 에너지 맵의 갱신으로 인한 처리 시간 지연을 개선하기 위하여, 우선 계산된 누적 최소 에너지 맵에서 seam이 될 수 있는 모든 후보들이 영향을 미치는 영역을 계산한다. 이 후보들의 영역을 이용하여 여러 개의 seam을 동시에 추출함으로써 누적 최소 에너지 맵의 갱신 횟수가 줄어들기 때문에, 전체 연산량이 줄어들어 빠른 처리가 가능하면서도 영상의 화질은 기존의 seam carving 기법과 비슷하게 유지할 수 있다. 실험 결과는 제안하는 방법이 영상이 가지고 있는 컨텐츠를 보존하면서 실시간으로 영상의 크기를 조절할 수 있음을 보여준다.

• 한국컴퓨터정보학회논문지
• /
• 제18권11호
• /
• pp.77-86
• /
• 2013

본 논문에서는 동영상의 주요 컨텐츠를 보존하면서 영상의 크기를 변환하는 고속 동영상 리타겟팅 기법을 제안한다. 기존의 Seam Carving에서는 seam을 하나씩 구할 때마다 누적 에너지의 갱신이 발생하며, 여기서 누적 에너지는 동적계획법을 이용하여 계산하기 때문에 전체 연산시간의 지연은 불가피하다. 본 논문에서는 전체 동영상을 특징이 서로 비슷한 scene으로 나누고, 각 scene의 첫 프레임에서는 seam이 될 수 있는 모든 후보들 중 복수개의 seam을 추출하여 누적 에너지의 갱신과정을 줄여 고속화한다. 또한 scene의 두 번째 프레임부터 인접한 프레임 상호간에 상관성을 이용하여, 연속하는 프레임은 누적 에너지를 계산하지 않고 이전 프레임의 seam 정보를 참조한 계산만으로 모든 seam을 추출한다. 따라서 제안하는 시스템은 누적 에너지에 계산되는 연산량을 대폭 줄였으며 전체 프레임의 분석도 필요하지 않아 고속화가 가능하고, 컨텐츠의 떨림 현상은 발생하지 않는다. 실험 결과는 제안하는 방법이 처리 속도와 메모리 사용량 면에서 실시간 처리에 적합하고, 영상이 가지고 있는 컨텐츠를 보존하면서 영상의 크기를 조절할 수 있음을 보여준다.

• 방송공학회논문지
• /
• 제21권1호
• /
• pp.66-75
• /
• 2016

본 논문은 다시점 영상처리 기술을 이용하여 무안경 3차원 디스플레이의 크로스톡(Crosstalk)을 저감하는 새로운 방법을 제안한다. 크로스톡은 현 시점 영상 정보를 주변 시점 영상 정보와 섞여 보이게 하여 출력 3차원 영상을 매우 흐리게 만든다. 무안경 3차원 디스플레이의 크로스톡을 저감하기 위해, 제안한 방법은 다시점 영상에 적응적 깊이 재배치와 시점 미분값 기반 크로스톡 역보상 필터를 적용한다. 또한, 제안한 방법은 에피폴라 영상 화소 보간법을 이용하여 넘침 및 아래 넘침 화소를 보상하여 영상 왜곡을 최소화한다. 실험 결과는 제안한 방법이 기존 방법보다 3차원 영상 품질을 향상시키면서 크로스톡을 효율적으로 저감함을 보여준다.

• IEIE Transactions on Smart Processing and Computing
• /
• 제5권1호
• /
• pp.1-4
• /
• 2016

In this paper, we present an algorithm for adjusting the position of a user-specified object considering image aesthetics. Specifically, the user-specified object is positioned according to the rule of thirds by inserting or deleting unimportant seam lines from the image. To find such seam lines, a novel weight map is designed using the spatial and color distances from the object. We also design and analyze two approaches to seam carving and insertion. Experimental results show that the proposed method can be used as an effective semi-automatic image recomposition scheme.

• 방송공학회논문지
• /
• 제27권3호
• /
• pp.437-450
• /
• 2022

생성적 적대 신경망(GAN, Generative Adversarial Networks)는 이미지 생성 분야에서 주목할 만한 발전을 이루었다. 하지만 큰 데이터 셋에서 불안정한 모습을 보인다는 한계 때문에 다양한 응용 분야에 쉽게 적용하기 어렵다. 단일 이미지 생성적 적대 신경망은 한장의 이미지의 내부 분포를 잘 학습하여 다양한 영상을 생성하는 분야이다. 큰 데이터셋이 아닌 단 한장만 학습함으로써 안정적인 학습이 가능하며 이미지 리타겟팅, 이미지 조작, super resolution 등 다양한 분야에 활용 가능하다. 본 논문에서는 SinGAN, ConSinGAN, InGAN, DeepSIM, 그리고 One-Shot GAN 총 다섯 개의 단일 이미지 생성적 적대 신경망을 살펴본다. 우리는 각각의 단일 이미지 생성적 적대 신경망 모델들의 성능을 비교하고 장단점을 분석한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (B)
• /
• pp.236-239
• /
• 2008

본 논문에서는 영상의 중요한 정보를 유지하는 동시에 영상의 왜곡을 막으며, 영상의 크기를 줄이는 방법을 제시한다. 영상의 각 픽셀의 중요도를 측정 후, 가장 중요하지 않은 픽셀들을 제거하는데, 이 때 단순히 중요하지 않은 픽셀들을 제거하면, 이로 인해 영상의 왜곡이 생길 뿐 아니라 중요하지 않은 픽셀들이 가지고 있던 정황에 대한 정보도 잃게 된다. 이를 막기 위해 제시된 방법은 중요하지 않은 픽셀들을 제거한 후에, 그 픽셀들의 중요도를 주변으로 확산시키는 방법을 이용하여 영상의 왜곡을 막고, 영상의 정황을 보다 효과적으로 전달하며 영상 리타겟팅을 수행한다. 실험 결과는 제시된 방법의 효율성을 보여준다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(A)
• /
• pp.442-445
• /
• 2011

본 논문에서는 3차원 head-tracked 디스플레이를 이용하여 스테레오 영상을 리타겟팅 하는 방법을 제안한다. 제안한 방법은 카메라 간격을 조절함으로써 사용자 시점에 맞는 스테레오 영상을 제공한다. 특히 중간 시점 영상 생성 시 발생하는 비폐색 영역에 대해 스테레오 일관성을 고려한 홀 필링(hole filling)을 적용하여 보다 편안하고, 개인별로 최적화 된 입체감 및 깊이감을 제공하도록 한다. 제안한 방법을 검증하기 위해 3차원 그래픽 모델을 이용해 결과 영상을 비교하였으며, 사용성 테스트를 통해 리타겟팅 된 스테레오 영상이 사용자가 입체영상을 인지하는데 미치는 효과를 확인하였다.