• Journal of Broadcast Engineering
• /
• v.24 no.3
• /
• pp.440-451
• /
• 2019

We propose a system that allows three dimensional manipulation of face in video. The 3D face manipulation of the proposed system overlays the 3D face model with the user 's manipulation on the face region of the video frame, and it allows 3D manipulation of the video in real time unlike existing applications or methods. To achieve this feature, first, the 3D morphable face model is registered with the image. At the same time, user's manipulation is applied to the registered model. Finally, the frame image mapped to the model as texture, and the texture-mapped and deformed model is rendered. Since this process requires lots of operations, parallel processing is adopted for real-time processing; the system is divided into modules according to functionalities, and each module runs in parallel on each thread. Experimental results show that specific parts of the face in video can be manipulated in real time.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.72-75
• /
• 2020

조립 부품 이미지에 해당하는 3D CAD 모델 매칭 기술은 최근 로봇 조립 기술의 발전으로 필요성이 대두되고 있다. 이미지 기반 3 차원 모델 매칭 연구는 진행되어 왔지만 가구 부품 이미지와는 특성이 다른 RGB[5] 이미지나 스케치 이미지를 다루는[1] 접근들이었다. 딥러닝을 사용하는 스케치 이미지 기반 3 차원 물제 검색 연구에서는 대부분 3 차원 이미지를 다각도에서 렌더링한 view 이미지들에서 feature를 추출하고 pooling 하여 하나의 feature를 출력한다. 그러나 기존의 view pooling 방식은 단순한 평균 방식으로, 부품 이미지에 따른 view를 반영하기에는 한계가 있었다. 따라서 본 논문에서는 조립 부품 이미지 기반 3 차원 물체 검색을 위해 query 부품 이미지에 따라 다른 view 이미지에 집중할 수 있는 방식의 attentional view pooling을 제안한다. 또한 조립 부품 데이터의 특성 상 class 당 CAD 모델이 하나인 상황이므로 학습 데이터가 터무니없이 부족하여 이를 해결하기 위한 학습 데이터 증강 방법을 제안한다. 실험은 의자 부품 11가지에 대해 진행하였고 이를 통해 제안하는 방식의 성능을 입증하였다.

• Journal of Korea Game Society
• /
• v.8 no.1
• /
• pp.49-58
• /
• 2008

In this paper, we propose a texture generation scheme for 3D avatars from three or more human face photos. First, we manually mark image positions corresponding to vertices of a given UVW map. Then, a face texture is automatically generated from the photo images. The proposed texture generation scheme extremely reduces the amount of manual work compared with the classical methods such as Photoshop-based schemes. The generated textures are photorealistic since the textures fully reflect the naturalness of the original photos. The texture creation scheme can be applied to any kind of mesh structures of 3D models and mesh structures need not be changed to accommodate the given textures. We created face textures from several triplets of photos and mapped them to 3D avatar faces. Experimental results showed that visual realism of avatar faces is much enhanced by the face textures.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.11a
• /
• pp.143-144
• /
• 2010

3차원 메쉬는 전송과 저장에 많은 저장 공간을 필요로 한다. 따라서 3차원 메쉬의 효과적인 전송 및 렌더링을 위해서는 3차원 객체에 대한 압축이 필수적이다. 이에 본 논문은 점진적 전송을 위한 기하 정보 압축 기법을 제안한다. 제안하는 알고리즘은 점진적 전송에서 각 레벨마다 추가되는 점의 기하 정보를 예측하는 효과적인 방법을 사용한다. 구체적으로 제안하는 기법은 상위 레벨의 점들을 이용하여 2차 곡면을 추정하고, 추정된 곡면을 통해 기하 정보를 예측 부호화한다. 실험 결과는 제안하는 알고리즘이 기하 정보 압축률을 향상시킬 수 있음을 보여준다.

• Electronics and Telecommunications Trends
• /
• v.31 no.3
• /
• pp.81-90
• /
• 2016

현재, 극장 사운드를 중심으로 객체기반 오디오 기술을 포함하는 하이브리드 포맷의 사운드 서비스가 점차 확산되고 있으며, 미국, 유럽, 한국 등에서는 차세대 방송용 오디오에 객체기반 오디오 기술의 도입을 적극적으로 고려하고 있다. 객체기반 오디오 기술은 콘텐츠의 제작단계에서 재생환경을 고려할 필요가 없고, 현장의 음향을 신호와 3차원 공간정보로 구분하여 음향공간의 정보를 그대로 표현함으로써, 재생단말에서 3차원 공간정보를 활용하여 재생할 수 있게 한다. 이러한 객체기반 실감음향 기술개발을 위해서는 편리한 제작 및 3차원 공간정보 표현 기술이 필요하며, 청취환경에서는 객체기반 실감음향 콘텐츠를 제작자의 의도대로 렌더링할 수 있는 재생 및 제어 기술이 필요하다. 이에 객체기반 실감음향 기술이 포함되는 하이브리드 오디오 기술의 현황에 대하여 살펴보고자 한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.11a
• /
• pp.88-89
• /
• 2014

본 논문에서는 미리 모델링된 실객체에 대한 3차원 모델을 변형하면서 애니메이션을 정의하고, 실사 객체를 추적하면서 카메라 뷰 상의 실사 객체에 애니메이션을 적용하는 방법을 제안한다. 애니메이션 정의는 라플라시안 기반 메쉬 변형 방법으로 3차원 모델을 변형시키며 키프레임을 지정함으로써 이루어진다. 정의된 애니메이션은 실제 환경에서 추적된 실사 객체의 영상으로부터 모델에 텍스처를 입힌 뒤, 카메라 포즈를 이용하여 객체 위치에 객체 모델을 렌더링할 때 적용된다. 제안된 방법을 통해 사용자가 원하는 대로 실제 환경에 대한 카메라 뷰 상에서 실사 객체가 변형되는 모습을 용이하게 보여줄 수 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10c
• /
• pp.16-18
• /
• 2001

3차원 영상을 처리하는데 있어 래스터라이제이션은 프레임 버퍼에 저장될 픽셀을 구하는 과정이다. 여러 개의 픽셀로 구성되는 폴리곤을 렌더링하기 위해서 스캔라인 방식 또는 반 평면 함수를 이용한 타일 트래버설 방식 등이 사용되고 있다. 본 논문에서 기반으로 하고 있는 타일 트래버설 방식은 스캔라인 방식에 비해 메모리 효율 및 텍스쳐 캐쉬의 지역성에서 이점을 가지고 있으나 복잡한 탐색 과정 때문에 파이프라인 구조로 구현하기는 어렵다. 본 논문에서 제안하는 구조는 분기 예측 기법을 적용하여 트래버설 과정에서의 분기로 인해 발생되는 파이프라인 지연을 기존의 트래버설 구조에 비해 약 30% 정도 줄임으로써 고성능 3차원 그래픽 가속기에 적합한 스캔 컨버젼 유닛을 제안하였다

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.11a
• /
• pp.157-158
• /
• 2016

본 논문에서는 구글 탱고 플랫폼을 이용한 실내 3차원 지도 취득과 이를 이용한 증강 내비게이션을 구현하는 방법을 제시한다. 취득한 3차원 지도는 가공을 통해 서버로 전송된다. 내비게이션은 초기 위치를 QR 코드로 파악하고 목적지와의 관계를 통해 가속도 센서와 방향 센서를 사용하여 올바른 길로 인도한다. 증강현실을 구현하기 위해 길 안내화면은 기기의 카메라를 통해 현실을 배경으로 하였고, OpenGL ES 라이브러리를 활용하여, 직진, 좌회전, 우회전 총 세 개의 화살표를 렌더링 한 후 카메라위에 중첩하였다. 증강 내비게이션을 통해 사용자는 스마트폰의 화면만 보고 실내에서 안전하게 장애물을 피하며 빠르게 목적지까지 도착할 수 있게 된다.

• Journal of Korea Game Society
• /
• v.15 no.5
• /
• pp.99-108
• /
• 2015

To identify the location of the object and improve the realism in 3D game, shadow mapping is widely used to compute the depth values of vertices in view of the light position. Since the depth value of the shadow map is calculated by the world coordinate, the depth values of the static object don't need to be updated. In this paper, (1) in order to improve the rendering speed, using multiple render targets the depth values of static objects stored only once are separated from those of dynamic objects stored each time. And (2) in order to improve the shadow quality in the quarter view 3D game, the position of the light is located close to dynamic objects traveled along the camera each time. The effectiveness of the proposed method is verified by the experiments according to the different static and dynamics object configuration in 3D game.

• Journal of Korea Society of Industrial Information Systems
• /
• v.9 no.2
• /
• pp.23-31
• /
• 2004

This paper focuses on a boundary surface based ray casting. In general the boundary surface based ray casting is processed in two stages. The first stage finds boundary surfaces and stores them into buffers. The second stage calculates a distance from a viewpoint to the voxels of the interested area by projecting boundary surfaces on the view plane, and then starts to traverse a volume data space with the distance. Our approach differs from the general boundary surface based ray casting in processing the first stage of it. Contrast to the typical boundary surface based ray casting where all boundary surfaces of volume data are stored into buffers, they are projected on the planes aligned to the axis of volume data coordinates and these projected data are stored into 6 buffers. Such maneuver shortens time for ray casting, and reduces memory usage because it can be carried out independently from the amount of the volume data.