• The Transactions of the Korea Information Processing Society
• /
• v.13 no.7
• /
• pp.326-334
• /
• 2024

Extra-oral imaging techniques such as Panoramic X-rays (PXs) and Cone Beam Computed Tomography (CBCT) are the most preferred imaging modalities in dental clinics owing to its patient convenience during imaging as well as their ability to visualize entire teeth information. PXs are preferred for routine clinical treatments and CBCTs for complex surgeries and implant treatments. However, PXs are limited by the lack of third dimensional spatial information whereas CBCTs inflict high radiation exposure to patient. When a PX is already available, it is beneficial to reconstruct the 3D oral structure from the PX to avoid further expenses and radiation dose. In this paper, we propose 3DentAI - an U-Net based deep learning framework for 3D reconstruction of oral structure from a PX image. Our framework consists of three module - a reconstruction module based on attention U-Net for estimating depth from a PX image, a realignment module for aligning the predicted flattened volume to the shape of jaw using a predefined focal trough and ray data, and lastly a refinement module based on 3D U-Net for interpolating the missing information to obtain a smooth representation of oral cavity. Synthetic PXs obtained from CBCT by ray tracing and rendering were used to train the networks without the need of paired PX and CBCT datasets. Our method, trained and tested on a diverse datasets of 600 patients, achieved superior performance to GAN-based models even with low computational complexity.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.625-627
• /
• 2001

기존의 종이지도를 수치지도 처리과정으로 얻어진 등고선(contour line) 데이터는 원격탐사(Remote Sensing)와 지리정보시스템(GIS)의 응용분야에서 주로 사용되어지는 데이터이다. 이러한 등고선은 해당 지역의 DTM(Digital Terrain Model) 데이터 생성을 위해 보간(interpolation)하여 생성하는 데 연구가 집중되어 왔다. 본 논문에서는 DEM(Digital levation Model)으로부터 얻어진 등고선 데이터를 이용하여 사용자에게 3차원으로 가시화 해 줄 수 있는 기법을 소개한다. 등고선 추출을 위한 방법으로는 기존의 소개되어진 Marching Square 알고리즘을 적용하였고, 지역적인 최고점(local minimum)과 최소점(maximum)을 구하기 위해 등고선을 열린 등고선(open contour)과 닫힌 등고선(closed contour)으로 분류하게 된다. 지역적 최고, 최소점을 찾기 위한 탐색공간을 줄이기 위해 닫힌 등고선만을 닫힌 등고만을 대상으로 등고선 트리를 생성하였으며, 생성된 트리의 리프노드에 대해서 최고, 최소점에 대한 근사(approximation)를 수행하게 된다. 이렇게 구해진 근사된 장점들과 등고선 데이털 입력으로 하여 제한된 딜로니 삼각분할(Constrained Delaunay Triangulation)을 수행함으로써, 3차원 지형을 재구성할 수 있다. 실험에서 간단한 그리드 샘플데이터와 USGS로 획득한 데이터를 이용하여 속도 측정을 하였다. 결과적으로 저장공간 측면에서 적은 량의 데이터를 가지면서 등고선을 표현할 수 있는 3차원 지형을 랜더링할 수가 있음을 알 수 있다.

• Journal of Broadcast Engineering
• /
• v.11 no.4 s.33
• /
• pp.471-482
• /
• 2006

In this paper, we propose a new scheme to generate multi-view images utilizing depth map decomposition and adaptive edge smoothing. After carrying out smooth filtering based on an adaptive window size to regions of edges in the depth map, we decompose the smoothed depth map into four types of images: regular mesh, object boundary, feature point, and number-of-layer images. Then, we generate 3-D scenes from the decomposed images using a 3-D mesh triangulation technique. Finally, we extract multi-view images from the reconstructed 3-D scenes by changing the position of a virtual camera in the 3-D space. Experimental results show that our scheme generates multi-view images successfully by minimizing a rubber-sheet problem using edge smoothing, and renders consecutive 3-D scenes in real time through information decomposition of depth maps. In addition, the proposed scheme can be used for 3-D applications that need the depth information, such as depth keying, since we can preserve the depth data unlike the previous unsymmetric filtering method.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.915-919
• /
• 2007

가상현실은 컴퓨터를 이용하여 만들어진 가상의 환경에서 사용자가 오감을 통해 현실과 유사한 느낌을 경험할 수 있도록 해주는 기술이다. 햅틱 인터페이스는 사용자가 촉각으로 가상 환경과 상호 작용을 할 수 있도록 해주는 기술로서 사용자가 가상 물체를 실제로 만지는 듯한 착각을 불러 일으켜 보다 현실에 가까운 가상 경험을 할 수 있도록 도와준다. 본 논문에서는 다양한 용도로 사용할 수 있는 3차원 햅틱 인터페이스 장치를 설계 및 제작하고, 순발력 재활훈련의 목적으로 가상공간을 시각적으로 보여주는 입체영상 시스템과 연동하여 일부 제한적인 기능을 갖는 가상 테니스 연습 시스템을 구현하였다. 이때 가상 공과 가상 라켓의 간단한 충돌 모델과 햅틱 렌더링을 통하여 가상 공을 칠 때 사용자가 라켓으로 느끼는 충격과 반력을 제작한 3차원 햅틱 인터페이스 장치를 통하여 느낄 수 있도록 하였다. 구현된 시스템의 실험을 통하여 공과 라켓에서 충돌이 일어났을 때의 느낌을 사용자에게 전달할 수 있었으며, 완벽하지는 않지만 공과 라켓의 충돌 후 공의 나가는 방향과 속도가 실제와 유사함을 확인하였다.

• Smart Media Journal
• /
• v.2 no.4
• /
• pp.60-65
• /
• 2013

In this paper, we propose a high-resolution disparity map generation method using a low-resolution time-of-flight (TOF) depth camera and color camera. The TOF depth camera is efficient since it measures the range information of objects using the infra-red (IR) signal in real-time. It also quantizes the range information and provides the depth image. However, there are some problems of the TOF depth camera, such as noise and lens distortion. Moreover, the output resolution of the TOF depth camera is too small for 3D applications. Therefore, it is essential to not only reduce the noise and distortion but also enlarge the output resolution of the TOF depth image. Our proposed method generates a depth map for a color image using the TOF camera and the color camera simultaneously. We warp the depth value at each pixel to the color image position. The color image is segmented using the mean-shift segmentation method. We define a cost function that consists of color values and segmented color values. We apply a weighted average filter whose weighting factor is defined by the random walk probability using the defined cost function of the block. Experimental results show that the proposed method generates the depth map efficiently and we can reconstruct good virtual view images.

• Journal of Broadcast Engineering
• /
• v.24 no.5
• /
• pp.755-764
• /
• 2019

Currently commercially available light field cameras are difficult to acquire 5D light field video since it can only acquire the still images or high price of the device. In order to solve these problems, we propose a deep learning based method for synthesizing the light field video from monocular video. To solve the problem of obtaining the light field video training data, we use UnrealCV to acquire synthetic light field data by realistic rendering of 3D graphic scene and use it for training. The proposed deep running framework synthesizes the light field video with each sub-aperture image (SAI) of $9{\times}9$ from the input monocular video. The proposed network consists of a network for predicting the appearance flow from the input image converted to the luminance image, and a network for predicting the optical flow between the adjacent light field video frames obtained from the appearance flow.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.38C no.10
• /
• pp.911-919
• /
• 2013

Evaluation of the effect of radial distortion for a holographic stereogram demands conducting an experiment which comprises rendering of a 3D obejc, acquisition of perspective images, rearrangement of the acquired images for hogel images and quality assessment of the observing image reconstructed from the holographic stereogram. We propose numerical implementation of this evaluation by a specially developed algorithm for modeling of all required steps. The modeling is done by using a numerical model of an optical engine for generation of radially distorted hogel images at various degrees of distortion. The distorted images are used to form the holographic stereogram and to make the numerically reconstructed images from the holographic stereogram which are observed by an observer at desired location. The reconstructed images are compared by using PSNR.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.1069-1074
• /
• 2006

자동차/선박/정보통신기기 등의 각종 제조 산업 분야에서 신제품 개발기간과 비용단축을 위해 제품의 설계/스타일링 단계에서 디자인 및 사용자 사용성/편이성 등에 대해 가상으로 품평하는 기술에 대한 관심이 날로 증가하고 있다. 이상적인 가상 품평 기술은 사용자가 실물에 대한 품평 상황과 동일한 체험을 얻을 수 있도록 해야 한다. 이를 위해서 품평 대상물을 사실적으로 표현할 수 있도록 하는 실사 수준의 고품질 가시화 기술과 사용자가 품평 대상물을 자연스럽게 조작할 수 있는 상호작용 기술이 필요하다. 본 연구는 자동차의 내 외관 디자인 품평을 위한 가상 디자인 품평 시스템의 개발에 관한 것으로, 사실적인 자동차 가시화를 위한 환경 반사, 빛 산란, 범프 매핑등의 고품질 쉐이더 구현 및 저작 기술, 몰입환경에서 품평 작업을 위한 3D GUI 지원, 자동차 각 부품의 사용성/편이성 평가를 위한 운동성 조작 기능, 멀티프로젝션 디스플레이 시스템 및 3 차원 인간 모델, 장갑형 입력장치 지원을 통한 몰입형 가상 품평 환경 구축에 관한 기술 및 구현 방법을 제시하고자 한다.

• Journal of the Korea Computer Graphics Society
• /
• v.8 no.2
• /
• pp.9-14
• /
• 2002

In cases of densely occluded urban scenes, it is effective to determine the visibility of scenes, since only small parts of the scene are visible from a given cell. In this paper, we introduce a new visibility preprocessing method that efficiently computes potentially visible objects for volumetric cells. The proposed method deals with general 3D polygonal models and invisible objects jointly blocked by multiple occluders. The proposed approach decomposes volume visibility into a set of point visibilities, and then computes point visibility using hardware visibility queries, in particular HP_occlusion_test and NV_occlusion_query. We carry out experiments on various large-scale scenes, and show the performance of our algorithm.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.13 no.4
• /
• pp.171-177
• /
• 2013

Due to the demand for high speed 3D graphic rendering, video file format conversion, compression, encryption and decryption technologies, the importance of digital signal processor system is growing rapidly. In order to satisfy the real-time constraints, high performance digital signal processor is required. Therefore, as in general purpose computer systems, digital signal processor should be designed as multicore architecture as well. Using UTDSP benchmarks as input, the trace-driven simulation has been performed and analyzed for the 2 to 16-core digital signal processor architectures with the cores from simple RISC to in-order and out-of-order superscalar processors for the various window sizes, extensively.