• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.37 no.4C
• /
• pp.277-282
• /
• 2012

In this paper, we present a real-time eye contact system for realistic telepresence using a Kinect depth camera. In order to generate the eye contact image, we capture a pair of color and depth video. Then, the foreground single user is separated from the background. Since the raw depth data includes several types of noises, we perform a joint bilateral filtering method. We apply the discontinuity-adaptive depth filter to the filtered depth map to reduce the disocclusion area. From the color image and the preprocessed depth map, we construct a user mesh model at the virtual viewpoint. The entire system is implemented through GPU-based parallel programming for real-time processing. Experimental results have shown that the proposed eye contact system is efficient in realizing eye contact, providing the realistic telepresence.

• Journal of Ubiquitous Convergence Technology
• /
• v.2 no.2
• /
• pp.67-77
• /
• 2008

Representation of various types of information in an interactive virtual reality environment on mobile devices had been an attractive and valuable research in this new era. Our main focus is presenting spatial indoor location sensing information in 3D perception in mind to replace the traditional 2D floor map using handheld PDA. Designation of 3D virtual reality by Virtual Reality Modeling Language (VRML) demonstrates its powerful ability in providing lots of useful positioning information for PDA user in real-time situation. Furthermore, by interpolating portal culling algorithm would reduce the 3D graphics rendering time on low power processing PDA significantly. By fully utilizing the CC2420 chipbased sensor nodes, wireless sensor network was established to locate user position based on Received Signal Strength Indication (RSSI) signals. Implementation of RSSI-based indoor tracking method is low-cost solution. However, due to signal diffraction, shadowing and multipath fading, high accuracy of sensing information is unable to obtain even though with sophisticated indoor estimation methods. Therefore, low complexity and flexible accuracy refinement algorithm was proposed to obtain high precision indoor sensing information. User indoor position is updated synchronously in virtual reality to real physical world. Moreover, assignment of magnetic compass could provide dynamic orientation information of user current viewpoint in real-time.

• Journal of Broadcast Engineering
• /
• v.21 no.6
• /
• pp.878-888
• /
• 2016

This paper proposes an efficient method to remove the boundary artifacts of rendered views caused by damaged depth maps in the 3D video system. First, characteristics of boundary artifacts with the compression noise in depth maps are carefully studied. Then, the artifacts suppression method is proposed by the iterative projection onto convex sets (POCS) algorithm with setting the convex set in pixel and frequency domain. The proposed method is applied to both texture and depth maps separately during view rendering. The simulation results show the boundary artifacts are greatly reduced with improving the quality of synthesized views.

• Journal of the Korea Computer Graphics Society
• /
• v.8 no.1
• /
• pp.29-35
• /
• 2002

In virtual endoscopy, it is important to produce high quality perspective images in real-time. However, it is more significant to devise a navigation method that can make a virtual camera move through in human cavities such as colon and bronchus without collision and let the user control the camera intuitively. We propose an efficient navigation method, which generates 2D depth map during rendering the current frame, then determines position and direction of camera using the depth information. It offers collision-free navigation and allows us to control the camera as we want. Also it does not require preprocessing step and additional data structures.

• Journal of KIISE:Computer Systems and Theory
• /
• v.32 no.6
• /
• pp.314-323
• /
• 2005

This paper proposes a real-time 3D visualization system for situational awareness of Air force operations. This 3D system of situational awareness supports a high-level commander of Air force during the war game operations. These situation aware supporting data such as the aircraft track data of radar, aircraft schedule database, map and satellite image data are integrated into one structured data and those are visualized as 3D structure. By using an Out-of-Core method, we can visualize a 3D huge data in real-time in mobile notebook environment. The experiment shows several examples of 3D visualization supporting situation awareness for Air force operation.

• KIPS Transactions on Software and Data Engineering
• /
• v.6 no.12
• /
• pp.581-586
• /
• 2017

This paper proposes a GPU based water surface animation and rendering technique for interactive applications such as games. On the water surface, a lot of physical phenomenon occurs including reflection and refraction depending on the viewing direction. When we represent the water surface, not only showing them in real time, but also make them adjusted automatically. In our implementation, we are able to capture the reflection and refraction through render-to-texture technique and then modify the texture coordinates for applying separate DU/DV map. Also, we make the amount of ratio between reflection and refraction change automatically based on Fresnel formula. All proposed method are implemented using OpenGL 3D graphics API.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2006.11a
• /
• pp.59-62
• /
• 2006

본 논문에서는 OpenGL Rendering을 이용한 모델기반 3D 다시점 영상의 객체 구현을 위한 구성과 각 모듈에 적용되는 알고리즘에 대해 중점적으로 연구하였다. 한 장의 텍스쳐 이미지와 깊이 맵(Depth Map)을 가지고 다시점 객체를 생성하기 위해, 먼저 깊이 정보의 전처리 과정을 거친다. 전처리 된 깊이 정보는 OpenGL상에서의 일정 간격의 꼭지점(Vertex) 정보로 샘플링 된다. 샘플링 된 꼭지점 정보는 깊이 정보를 z값으로 가지는 3차원 공간 좌표상의 점이다. 이 꼭지점 정보를 기반으로 텍스쳐 맵핑 (texture mapping)을 위한 폴리곤(polygon)을 구성하기 위해 딜루이니 삼각화(Delaunay Triangulations) 알고리즘이 적용되었다. 이렇게 구성된 폴리곤 위에 텍스쳐 이미지를 맵핑하여 OpenGL의 좌표 연산을 통해 시점을 자유롭게 조정할 수 있는 객체를 만들었다. 제한된 하나의 이미지와 깊이 정보만을 가지고 좀 더 넓은 범위의 시점을 가지는 다시점 객체를 생성하기 위해, 새로운 꼭지점을 생성하여 폴리곤을 확장시켜 기존보다 더 넓은 시점을 확보할 수 있었다. 또한 렌더링된 모델의 경계 영역 부분의 깊이정보 평활화를 통해 시각적인 개선을 이룰 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06c
• /
• pp.314-316
• /
• 2012

대용량 지형 데이터를 실시간에 렌더링 하기 위해 여러 가지 연속상세단계 기법들이 연구되었다. 하지만 이러한 방법을 적용해도 지형 데이터가 하드웨어에서 처리할 수 있는 크기보다 클 경우 과도한 간략화로 인한 기하오차가 발생하거나 프레임률이 저하된다. 또한 기존 연속상세단계 기법을 수행하기 위해 만들어진 자료구조들 또한 지형 데이터의 크기에 비례하여 커지므로 메모리와 전처리 시간이 많이 소요된다. 본 논문에서는 적은 개수의 정점으로 효과적인 지형 렌더링이 가능한 편향맵을 다해상도로 확장하여 별도의 자료구조가 따로 필요 없는 간단한 연속상세단계 기법을 제안한다. 이 방법은 적은 메모리 용량으로 높은 정확도의 지형을 실시간에 렌더링 할 수 있다. 연속상세단계 선택은 보다 빠른 처리를 위해 GPU에서 패치 단위의 테셀레이션을 통해서 단일 패스로 수행된다. 상세단계가 선택으로 세분화 된 지형의 각 정점들은 화면 공간상의 오차를 참조하여 각각의 상세단계를 선택한 후 해당되는 편향맵에 저장된 이동벡터만큼 이동하여 최종 지형 메쉬를 생성한다. 제안한 방법은 전처리 단계를 포함한 모든 처리가 GPU에서 수행되므로 속도가 빠르고 적은 정점으로 보다 정확한 지형을 렌더링 할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.85-88
• /
• 2021

포인트 클라우드 콘텐츠는 실제 환경 및 물체를 3 차원 위치정보를 갖는 점들과 그에 대응하는 색상 등을 획득하여 기록한 실감 콘텐츠이다. 위치와 색상 정보로만 이뤄진 3 차원 점으로 이뤄진 포인트 클라우드 콘텐츠는 확대하여 렌더링 할 경우 점과 점 사이의 간격이 벌어지면서 발생하는 구멍에 의해 콘텐츠 품질이 저하될 수 있다. 이러한 문제를 해결하기 위해 본 논문에서는 포인트 클라우드 확대 시 점들 간 간격이 벌어져 생기는 구멍에 대해 깊이정보를 활용한 역변환 기반 보간 방법을 통해 포인트 클라우드 콘텐츠 품질을 개선하는 방법을 제안한다. 벌어진 간격들 사이에서 빈 공간을 찾을 때 그 사이로 뒷면의 점들이 그려지게 되어 보간 방법을 적용하는데 방해요소로 작용한다. 이를 해결하기 위해 구멍이 발생하지 않은 시점에서 렌더링 된 영상을 사용하여 포인트 클라우드의 뒷면에 해당되는 점들을 제거한다. 다음으로 깊이 맵(depth map)을 추출한 후 추출된 깊이 값을 사용하여 뎁스 에지(depth edge)를 구하고 에지를 사용하여 깊이 불연속 부분에 대해 처리한다. 마지막으로 뎁스 값을 활용하여 이전에 찾은 구멍들의 역변환을 하여 원본의 데이터에서 픽셀을 추출한다. 제안하는 방법으로 콘텐츠를 렌더링 한 결과, 기존의 크기를 늘려 빈 영역을 채우는 방법에 비해 렌더링 품질이 평균 PSNR 측면에서 2.9 dB 향상된 결과를 보였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1213-1215
• /
• 2022

몰입형 비디오 부호화를 위한 MIV(MPEG Immersive Video) 표준은 제한된 3D 공간의 다양한 위치의 뷰(view)들을 효율적으로 압축하여 사용자에게 임의의 위치 및 방향에 대한 6 자유도(6DoF)의 몰입감을 제공한다. MIV 의 참조 소프트웨어인 TMIV(Test Model for Immersive Video)에서는 복수의 뷰 간 중복되는 영역을 제거하여 전송할 화소수를 줄이기 때문에 복호화기에서 렌더링(rendering)을 위해서 각 화소의 점유(occupancy) 정보도 전송되어야 한다. TMIV 는 점유맵을 깊이(depth) 아틀라스(atlas)에 포함하여 압축 전송하고, 부호화 오류로 인한 점유 정보 손실을 방지하기 위해 깊이값 표현을 위한 동적 범위의 일부를 보호대역(guard band)으로 할당한다. 이 보호대역을 줄여서 더 넓은 깊이값의 동적 범위를 사용하면 렌더링 화질을 개선시킬 수 있다. 따라서, 본 논문에서는 현재 TMIV 의 점유 정보 오류 분석을 바탕으로 이를 보정하는 기법을 제시하고, 깊이 동적 범위 확장에 따른 부호화 성능을 분석한다. 제안기법은 기존의 TMIV 와 비교하여 평균 1.3%의 BD-rate 성능 향상을 보여준다.