• Journal of the Korea Computer Graphics Society
• /
• v.29 no.5
• /
• pp.11-20
• /
• 2023

In this paper, we propose a novel deep learning-based motion reconstruction approach that facilitates the generation of full-body motions, including finger motions, while also enabling the online adjustment of motion generation delays. The proposed method combines the Vive Tracker with a deep learning method to achieve more accurate motion reconstruction while effectively mitigating foot skating issues through the use of an Inverse Kinematics (IK) solver. The proposed method utilizes a trained AutoEncoder to reconstruct character body motions using tracker data in real-time while offering the flexibility to adjust motion generation delays as needed. To generate hand motions suitable for the reconstructed body motion, we employ a Fully Connected Network (FCN). By combining the reconstructed body motion from the AutoEncoder with the hand motions generated by the FCN, we can generate full-body motions of characters that include hand movements. In order to alleviate foot skating issues in motions generated by deep learning-based methods, we use an IK solver. By setting the trackers located near the character's feet as end-effectors for the IK solver, our method precisely controls and corrects the character's foot movements, thereby enhancing the overall accuracy of the generated motions. Through experiments, we validate the accuracy of motion generation in the proposed deep learning-based motion reconstruction scheme, as well as the ability to adjust latency based on user input. Additionally, we assess the correction performance by comparing motions with the IK solver applied to those without it, focusing particularly on how it addresses the foot skating issue in the generated full-body motions.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 1997.11a
• /
• pp.23-32
• /
• 1997

사실감 있는 모델의 생성과 동작제어 기술은 컴퓨터 그래픽스와 가상 현실감 등의 다양한 응용 분야에서 이용되고 있다. 컴퓨터 애니메이션에 동작 제어의 대상이 되는 물체는 다관절체(articulated body)이며, 이 다관절체를 뼈대(link)와 관절(joint) 그리고 이를 둘러싸고 있는 피부로 모델링하고, 운동학(Kinematics), 동역학(Dynamics)를 적용하여 동작을 생성한다. 본 논문은 컴퓨터 애니메이션에서 사용할 수 있는 3차원 다관절체의 생성과 애니메이션을 위한 다관절체 오브젝트 편집 시스템에 관한 것이다. 다관절체를 관리하기 위한 다관절체의 데이터 구조를 설계하고, 사용자 인터페이스를 추가하여 대화식으로 다관절체의 골격을 정의한다. 정의된 다관절체의 골격과 물체의 모양을 나타내는 기하 데이터를 접합하여 애니메이션에 적합한 물체를 모델링하기 위한 스킨-스켈레턴 알고리즘을 제안한다. 모델링된 물체의 관절을 조작하여 키프레임 애니메이션으로 동작을 제어한다. SGI 워크스테이션에서 Open Inventor와 X/Motif를 이용하여 C++ 언어로 구현하였으며, 인체 모델을 대상으로 실험하였다.

• Journal of the Korea Computer Graphics Society
• /
• v.14 no.4
• /
• pp.7-18
• /
• 2008

To realistically produce fluids such as smoke for the visual effects in the films or animations, we need two main processes: a physics-based modeling of smoke and a rendering of smoke simulation data, based on light transport theory. In the computer graphics community, the physics-based fluids simulation is generally adopted for smoke modeling. Recently, the interest of the particle-based Lagrangian simulation methods is increasing due to the advantages at simulation time, instead of the grid-based Eulerian simulation methods which was widely used. As a result, because the smoke rendering technique depends heavily on the modeling method, the research for rendering of the particle-based smoke data still remains challenging while the research for rendering of the grid-based smoke data is actively in progress. This paper focuses on realistic rendering technique for the smoke particles produced by Lagrangian simulation method. This paper introduces a technique which is called particle map, that is the expansion and modification of photon mapping technique for the particle data. And then, this paper suggests the novel particle map technique and shows the differences and improvements, compared to previous work. In addition, this paper presents irradiance map technique which is the pre-calculation of the multiple scattering term in the volume rendering equation to enhance efficiency at rendering time.

• 한국HCI학회:학술대회논문집
• /
• 2008.02a
• /
• pp.414-419
• /
• 2008

3D rendering is a critical process for a movie production, advertisement, interior simulation, medical and many other fields. Recently, several effective rendering methods have been developed for the photo-realistic image generation. With a rapid performance enhancement of graphics hardware, physically based 3D rendering algorithm can now often be approximated in real-time games. However, the high quality of global illumination, required for the image generation in the 3D animation production community is a still very expensive process. In this paper, we propose a new rendering method to create photo-realistic global illumination effect efficiently by harnessing the high power of the recent GPUs. Final gathering routines in our global illumination module are accelerated by programmable graphics hardware. We also simulate physically based light transport on a ray tracing based rendering algorithm with photon mapping effectively.

• Electronics and Telecommunications Trends
• /
• v.29 no.1
• /
• pp.1-10
• /
• 2014

3D 프린팅 기술의 발전과 함께 그 응용분야가 확대되면서 최근 관련 소프트웨어 기술도 활발히 연구되고 있다. 본고에서는 최근 컴퓨터 그래픽스 분야에서 발표된 3D 프린팅 관련 소프트웨어 기술을 소개한다. 먼저 프린팅을 위한 3D 모델의 안정성과 내구성을 검사하기 위한 기술을 소개한 뒤 3D 프린터의 프린팅 규모 제약을 극복하기 위한 3D 모델의 분할 및 조립 관련 기술을 설명하고, 이어서 프린팅 된 결과물에 동적인 움직임을 부여하기 위한 운동성 관련 기술을 소개한다. 3D 프린팅 관련 소프트웨어 기술은 최근 2-3년에 걸쳐 새로운 분야를 열면서 논문이 발표되기 시작하여 아직 초기 단계에 머물러 있지만, 향후 3D 프린팅의 응용 분야가 확대되면 많은 연구가 이어질 것으로 예상되어, 현재까지의 연구추이를 살펴 보고 향후 연구개발에 대처할 필요가 있을 것으로 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.06a
• /
• pp.229-230
• /
• 2019

실사 기반의 VR (Virtual Reality) 영상을 생성하기 위해서는 카메라 리그 (rig) 설계 기술, 스티칭(stitching) 기술, 3 차원 공간 정보 추정 기술 등 여러 기술이 필요하다. 이러한 기술에 대한 연구를 진행하려면 카메라 위치, 피사체 거리, 조명 정도 등 다양한 요소를 고려한 수 많은 실험을 수행해야 하는데, 실사 조건에서 이를 직접 수행하려면 상당한 시간과 노력이 소요된다. 따라서 원하는 실험 조건을 쉽게 구성할 수 있는 컴퓨터 그래픽스 (CG: Computer Graphics) 환경 상에서 먼저 실험을 진행한 이후 실사로 확장하는 것이 더욱 효율적인 접근법이 될 것이다. 본 논문에서는 VR 영상의 생성에 요구되는 다양한 기술을 연구할 때 활용할 수 있는 CG 기반의 툴을 소개하고자 한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.19-22
• /
• 2021

기존 영상 콘텐츠에 새로운 물체를 삽입하는 등의 영상 재구성 기술은 새로운 게임, 가상현실, 증강현실 콘텐츠를 생성하거나 인공신경망 학습을 위한 데이터 증대를 위해 사용될 수 있다. 하지만, 기존 기술은 컴퓨터 그래픽스, 사람에 의한 수동적인 영상 편집에 의존하고 있어 금전적/시간적 비용이 높다. 이에 본 연구에서는 인공지능 신경망을 활용하여 낮은 비용으로 영상을 재구성하는 기술을 소개하고자 한다. 제안하는 방법은 기존 콘텐츠와 삽입하고자 하는 객체를 포함하는 영상이 주어졌을 때, 객체 세그먼테이션 네트워크를 활용하여 입력 영상에서 객체를 분리하고, 스타일 변환 네트워크를 활용하여 입력 영상을 스타일 변환한 후, 사용자 입력과 두 네트워크의 결과를 활용하여 기존 콘텐츠에 새로운 객체를 삽입하는 것이다. 실험에서는 기존 콘텐츠는 온라인 영상을 활용하였으며 삽입 객체를 포함한 영상은 ImageNet 영상 분류 데이터 세트를 활용하였다. 실험을 통해 제안한 방법을 활용하면 기존 콘텐츠와 잘 어우러지게끔 객체를 삽입할 수 있음을 보인다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.11a
• /
• pp.292-294
• /
• 2022

본 논문은 3 차원 이미징 기술과 컴퓨터 그래픽스 기반의 시뮬레이션 분야에서 매우 성공적인 두 기술의 융합을 기반으로 진행한 연구를 제안한다. 먼저 3 차원 디스플레이 시스템에 재생할 집적 영상 이미지를 생성하는 방법에 대해 설명한다. 이는 3 차원 포인트 클라우드에서 가상 핀홀 배열로 입사각을 역투영하는 계산방식을 통해 해당 이미지를 생성한다. 우리는 재생되는 3 차원 영상의 초점면을 자유롭게 선택하는 방법에 대해서도 설명한다. 또한, 복수의 관찰자에게 동시에 다양한 시점 정보를 기반으로 몰입감 넘치는 3 차원 영상을 제공하는 3 차원 디스플레이 시스템을 소개하고, 다양한 실험결과를 기반으로 결론을 제시한다.

• The KIPS Transactions:PartA
• /
• v.10A no.2
• /
• pp.149-156
• /
• 2003

In the latest medical world, the attempt of reconstructing anatomical human body system using computer graphics technology awakes people's interests. Actually, this trial has been made in dentistry too. There are a lot of practicable technology fields using computer graphics in dentistry For example, 3D visualization and measurement of dental data, detection of implant location, surface reconstruction for restoring artificial teeth in prostheses and relocation of teeth in orthodontics can be applied. In this paper, we propose methods for definitely detecting the geometric features of teeth such as cusp, ridge, fissure and pit, which have been used as most important characteristics in dental applications. The proposed methods are based on the approximate curvatures that are measured on a 3D tooth model made by scanning an impression. We also give examples of the geometric features detected by using the proposed methods. Comparing to other traditional methods visually, the methods are very useful in detecting more accurate geometric features.

• Journal of the Korea Computer Graphics Society
• /
• v.28 no.3
• /
• pp.23-29
• /
• 2022

Virtual humans are implemented with dedicated modeling tools like Unity 3D Engine in virtual space (virtual reality, mixed reality, metaverse, etc.). Various human modeling tools have been introduced to implement virtual human-like appearance, voice, expression, and behavior similar to real people, and virtual humans implemented via these tools can communicate with users to some extent. However, most of the virtual humans so far have stayed unimodal using only text or speech. As AI technologies advance, the outdated machine-centered dialogue system is now changing to a human-centered, natural multi-modal system. By using several pre-trained networks, we implemented an emotion-based multi-modal dialogue system, which generates human-like utterances and displays appropriate facial expressions in real-time.