• Journal of the Korea Society of Computer and Information
• /
• v.19 no.2
• /
• pp.57-65
• /
• 2014

The role of sound in producing 3D animation clip is one of the important factor to maximize the immersive effects of the scene. Especially interaction between video and sound makes the scene expressions more apparent, which is diversely applied in video production. One of these interaction techniques, the out-focussing technique is frequently used in both real video and 3D animation field. But in 3D animation, out-focussing is not easily implemented as in music videos or explosion scenes in real video shots. This paper analyzes the sound data to synchronize the depth of field with it. The novel out-focussing technique is proposed, where the object's field of depth is controlled by beat rhythm in the sound data.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.01a
• /
• pp.257-260
• /
• 2021

본 논문에서는 카메라의 포커싱과 아웃포커싱에 의해 이미지에서 뿌옇게 표현되는 DoF(Depth of field, 피사계 심도) 영역을 쿼드트리(Quadtree) 기반의 합성곱 신경망을 통해 빠르게 찾는 방법을 제안한다. 우리의 접근 방식은 RGB채널기반의 상호-상관 필터를 이용하여 DoF영역을 이미지로부터 효율적으로 분류하고, 적응형 트리인 쿼드트리를 기반으로 유의미한 영역만을 분류한다. 이 과정에서 손실 없이 온전하게 DoF영역을 추출하기 위한 필터링 과정을 거친다. 이러한 과정에서 얻어진 이미지 패치들은 전체 이미지에 비해 적은 영역으로 나타나며, 이 적은 개수의 패치들을 이용하여 네트워크 단계에서 사용할 이미지-DoF가중치 맵 데이터 쌍을 설정한다. 네트워크 과정에서 학습할 때 사용되는 데이터는 이미지와 상호-상관 필터 기반으로 추출된 DoF 가중치 맵을 이용한다. 본 논문에서 제안하는 쿼드트리 기반 합성곱 신경망은 이미지로부터 포커싱과 아웃포커싱된 DoF영역을 자동으로 추출하는 과정을 학습시키기 위해 사용된다. 결과적으로 학습에 필요한 데이터 영역이 줄어듦으로써 학습 시간과 메모리를 절약했으며, 테스트 결과로 얻은 DoF 가중치 이미지는 입력 이미지에서 DoF영역을 더욱더 빠른 시간 내에 찾아낸다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2020.07a
• /
• pp.429-432
• /
• 2020

본 논문에서는 카메라의 포커싱과 아웃포커싱에 의해 이미지에서 뿌옇게 표현되는 DoF(Depth of field, 피사계 심도) 영역을 합성곱 신경망을 통해 찾는 방법을 제안한다. 우리의 접근 방식은 RGB채널기반의 상호-상관 필터를 이용하여 DoF영역을 이미지로부터 효율적으로 분류하고, 합성곱 신경망 네트워크에 학습하기 위한 데이터를 구축하며, 이렇게 얻어진 데이터를 이용하여 이미지-DoF가중치 맵 데이터 쌍을 설정한다. 학습할 때 사용되는 데이터는 이미지와 상호-상관 필터 기반으로 추출된 DoF 가중치 맵을 이용하며, 네트워크 학습 단계에서 수렴률을 높이기 위해 스무딩을 과정을 한번 더 적용한 결과를 사용한다. 본 논문에서 제안하는 합성곱 신경망은 이미지로부터 포커싱과 아웃포커싱된 DoF영역을 자동으로 추출하는 과정을 학습시키기 위해 사용된다. 테스트 결과로 얻은 DoF 가중치 이미지는 입력 이미지에서 DoF영역을 빠른 시간 내에 찾아내며, 제안하는 방법은 DoF영역을 사용자의 ROI(Region of interest)로 활용하여 NPR렌더링, 객체 검출 등 다양한 곳에 활용이 가능하다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.01a
• /
• pp.253-256
• /
• 2021

본 논문에서는 합성곱 신경망을 통해 학습된 DoF(피사계 심도, Depth of field) 네트워크 아키텍처를 이용하여 객체 인식, 시점 추적, 문자 인식, 비사실적 렌더링 등 다양한 애플리케이션에 적용할 수 있는 사후 필터링 기법에 대해 살펴본다. 일반적으로 영상은 포커싱과 아웃포커싱에 의해 사용자의 관심표현이 결정되며, 이를 이용하여 영상 내 중요도를 판단한다. 영상 내에는 수많은 콘텐츠들이 혼재되어 있기 때문에 사용자가 집중적으로 보고 있는 콘텐츠를 찾아내기 어렵다. 본 논문에서는 사용자가 흥미롭고 집중적으로 보고 있는 영역을 DoF 네트워크로 학습시키고, 이를 통해 이전 기법으로는 표현할 수 없었던 DoF 기반 객체 인식, 시점 추적, 문자 인식, 비사실적 렌더링을 효율적으로 표현해낸다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2011.11a
• /
• pp.442-444
• /
• 2011

본 논문에서는 접사에서의 주요 객체 검출과 검출된 주요객체의 가장 최적화된 구도를 사용자에게 안내하는 방법을 제안한다. 대부분의 접사는 주요객체에 초점을 맞추고 배경이 되는 영역은 아웃 포커싱 기법을 사용하여 촬영한다는 점에서 착안하여 주요 객체를 검출하고 검출된 주요객체와 사진 구도의 3등분할점과 구도점의 상관관계에 대하여 계산하여 최적의 구도라고 판단되는 화면으로 사용자를 유도한다. 제안하는 방법으로의 실험했을 때 좋은 결과를 얻는 것을 확인할 수 있었다.

• Journal of the Korea Society of Computer and Information
• /
• v.26 no.3
• /
• pp.51-57
• /
• 2021

In this paper, we propose a method to find the DoF(Depth of field) that is blurred in an image by focusing and out-focusing the camera through a efficient convolutional neural network. Our approach uses the RGB channel-based cross-correlation filter to efficiently classify the DoF region from the image and build data for learning in the convolutional neural network. A data pair of the training data is established between the image and the DoF weighted map. Data used for learning uses DoF weight maps extracted by cross-correlation filters, and uses the result of applying the smoothing process to increase the convergence rate in the network learning stage. The DoF weighted image obtained as the test result stably finds the DoF region in the input image. As a result, the proposed method can be used in various places such as NPR(Non-photorealistic rendering) rendering and object detection by using the DoF area as the user's ROI(Region of interest).

• The Journal of the Korea Contents Association
• /
• v.11 no.8
• /
• pp.123-133
• /
• 2011

In this paper, we propose a new method for toon shading using 3D texture which renders 3d objects in a cartoon style. The conventional toon shading using 1D texture displays shading tone by computing the relative position and orientation between a light vector and surface normal. The 1D texture alone has limits to express the various tone change according to any viewing condition. Therefore Barla et. al. replaces a 1D texture with a 2D texture whose the second dimension corresponds to the view-dependent effects such as level-of-abstraction, depthof-field. The proposed scheme extends 2D texture to 3D texture by adding one dimension with the geometric information of 3D objects such as curvature, saliency, and coordinates. This approach supports two kinds of extensions for cartoon style diversification. First, we support "shape exaggeration effect" to emphasize silhouette or highlight according to the geometric information of 3D objects. Second, we further incorporate "cartoon specific effect", which is examples of screen tone and out focusing frequently appeared in cartoons. We demonstrate the effectiveness of our approach through examples that include a number of 3d objects rendered in various cartoon style.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.183-184
• /
• 2023

스토리를 제대로 전달하려는 관점에서 제작자는 관객들이 무엇을 보게 할 것인가에 대한 고민이 필요하다. 즉, 관객의 시선을 시종일관 끌고 다녀야 한다. 그러한 관점과 더불어 관객이 일상에서 익숙한 공간감을 스크린 내에서도 확보해 줄 필요가 있다. 그러기 위해서는 영상의 깊이를 충분히 고려해야 하는데 이는 관객의 시선을 유도하는 반면에 현실 공간감을 확보하는 것이다. 스크린 내의 물체들을 자연 그대로의 원근감을 갖도록 촬영 환경을 구성하는 것도 필요하지만 스토리를 전개하는 피사체를 배경과 분리시킴으로써 자연스럽게 초점과 영점을 맞출 수 있도록 장면을 구현하는 것이다. 이를 위해서 제작(production) 단계에서는 촬영기법으로, 후반작업(post-production) 단계에서는 아웃 포커싱 등의 효과를 적용하는 방법 등이 고려될 수 있다. 본 논문에서는 영상의 깊이를 확보해야만 하는 이유와 이의 방법 등을 고찰해 본다.

• Journal of the Korea Computer Graphics Society
• /
• v.14 no.3
• /
• pp.31-46
• /
• 2008

The depth of field is the range that the objects inside of this range treated to be focused. Objects that are placed out of this range are out of focus and become blurred. In computer graphics, generating depth of field effects gives a great reality to rendered images. The previous researches on the depth of field in computer graphics can be divided into two major categories. One of them is the distributed ray tracing that samples the lens area against each pixel. It is possible to obtain precise results without noise if enough number of samples are taken. However, to make a good result, a great number of samples are needed, resulting in an enormous timing requirement. The other approach is the method that approximates depth of field effect by post-processing an image and its depth values computed using a pin-hole camera. Though the second technique is not that physically correct like distributed ray tracing, many approaches which using this idea have been introduced because it is much faster than the first approach. But the post-processing have some limitations because of the lack of ray information. In this paper, we first present an improvement technique that corrects the previous post-processing methods and then propose another one that accelerates the distributed ray tracing by using a radiance caching method.