• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.282-285
• /
• 2020

포인트 클라우드는 2D 이미지를 3D 로 복원하고 표현하는 방법으로써 많은 연구가 진행되고 있다. 하지만 포인트 클라우드로만 표현할 경우 포인트와 포인트 사이에 빈 공간이 존재하여 실제 3D 물체와 차이가 존재한다. Mesh Reconstruction 은 보다 실제 3D 물체처럼 보이기 위해 포인트와 포인트를 이어 mesh 를 생성하는 방법인데 생성된 mesh 의 quality 는 texturing 을 거친 최종 결과에 큰 영향을 끼친다. 기존에 존재하는 이미지를 기반으로 생성된 포인트 클라우드의 Mesh Reconstruction 방법은 노이즈에 어느 정도 강한 면을 보이지만 최종 결과에서 잘 이어진 mesh 를 생성하지 못하고 hole 이 존재하는 문제가 있다. 본 논문에선 노이즈에 강하면서 최종 결과에서 잘 이어진 mesh 를 만들 수 있도록 하는 Mesh Reconstruction 알고리즘을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.505-509
• /
• 2020

포인트 클라우드 콘텐츠는 3 차원 공간에 수십만 개가 넘는 점들의 집합으로 이루어진 3D 데이터로 각 점들은 3 차원 공간의 좌표 데이터를 필요로 하고 추가적으로 색 (color), 반사율 (reflectance), 법선 벡터 (normal vector) 등과 같은 속성으로 구성되어 있다. 기존 2D 영상보다 한단계 높은 차원을 가진 3D 포인트 클라우드를 사용자에게 효율적으로 제공하기 위해서 고효율의 압축 기술 연구가 진행되고 있는데, 다양한 장치에서 발생하는 성능 차이에 구애 받지 않고 사용자에게 알맞은 서비스를 제공하기 위해서는 다양한 확장성에 대한 연구가 필요하다. 이에 본 논문에서는 포인트 클라우드 압축에 사용되는 Video-based Point Cloud Compression (V-PCC) 구조에 SHVC 코덱을 적용하여, 밀도 확장성을 갖는 포인트 클라우드 압축 비트스트림을 생성하는 방안을 제안하였다.

• Journal of Broadcast Engineering
• /
• v.25 no.5
• /
• pp.709-722
• /
• 2020

Point Cloud which is a cluster of numerous points can express 3D object beyond the 2D plane. Each point contains 3D coordinate and color data basically, reflectance or etc. additionally. Point Cloud demand research and development much higher effective compression technology. Video-based Point Cloud Compression (V-PCC) technology in development and standardization based on the established video codec. Despite its high effective compression technology, point cloud service will be limited by terminal spec and network conditions. 2D video had the same problems. To remedy this kind of problem, 2D video is using Scalable High efficiency Video Coding (SHVC), Dynamic Adaptive Streaming over HTTP (DASH) or diverse technology. This paper proposed a density scalability method using SHVC codec in V-PCC.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.47-48
• /
• 2021

본 논문에서는 대용량의 3D 데이터 시퀀스의 압축을 진행한다. 3D 데이터 시퀀스의 각 프레임에서 Pose Estimation을 통해 3D Skeleton을 추출한 뒤, 포인트 클라우드를 skeleton에 묶는 리깅 과정을 거치고, 다음 프레임과 같은 자세로 deformation을 진행한다. 다음 프레임과 같은 자세로 변형된 포인트 클라우드와 실제 다음 프레임의 포인트 클라우드를 비교하여, 두 데이터에 모두 있는 점, 실제 다음 프레임에만 있는 점, deformation한 데이터에만 있는 점으로 분류한다. 두 데이터에 모두 있는 점을 제외하고 나머지 두 분류의 점들을 저장함으로써 3D 시퀀스 데이터를 압축할 수 있다.

• Journal of Broadcast Engineering
• /
• v.26 no.3
• /
• pp.258-268
• /
• 2021

Point cloud content is immersive content that represents real-world objects with three-dimensional (3D) points. In the process of acquiring point cloud data or encoding and decoding point cloud data, the resolution of point cloud content could be degraded. In this paper, we propose a method of progressively enhancing the resolution of sequential point cloud contents through inter-frame registration. To register a point cloud, the iterative closest point (ICP) algorithm is commonly used. Existing ICP algorithms can transform rigid bodies, but there is a disadvantage that transformation is not possible for non-rigid bodies having motion vectors in different directions locally, such as point cloud content. We overcome the limitations of the existing ICP-based method by registering regions with motion vectors in different directions locally between the point cloud content of the current frame and the previous frame. In this manner, the resolution of the point cloud content with geometric movement is enhanced through the process of registering points between frames. We provide four different point cloud content that has been enhanced with our method in the experiment.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.06a
• /
• pp.185-188
• /
• 2019

3D 영상 데이터 중 하나인, 포인트 클라우드는 3 차원 데이터를 정밀하게 획득 할 수 있다는 장점으로 인해 군사, 교육, 의료, 건축 등의 다양한 분야에서 사용되고 있다. 특히, 자율 주행 분야에서 사용되는 동적 획득 포인트 클라우드는 광범위한 영역을 표현하므로 방대한 양의 데이터를 갖고 있어, 효율적인 압축이 필수적이다. 비디오 코덱을 활용하여 3 차원 데이터 압축을 진행하는 V - PCC 의 경우, 신뢰성과 범용성이 높다는 장점이 있으나, 2D 비디오 영상을 활용하기 때문에 대용량 및 광범위한 데이터의 압축이 불가능하다는 한계를 지니고 있다. 따라서, 본 논문에서는 V- PCC 의 한계를 극복하고, 광범위한 영역의 정보를 표현하는 동적 획득 포인트를 압축하기 위해 포인트 클라우드를 분할 및 양자화하는 방안을 제시하였다.

• Korean Journal of Remote Sensing
• /
• v.36 no.6_1
• /
• pp.1349-1365
• /
• 2020

In recent years, in the fields of smart cities and digital twins, research on model generation is increasing due to the advantage of acquiring actual 3D coordinates by using point clouds. In addition, there is an increasing demand for a solid model that can easily modify the shape and texture of the building. In this paper, we propose a method to create a clustered solid building model based on point cloud data. The proposed method consists of five steps. Accordingly, in this paper, we propose a method to create a clustered solid building model based on point cloud data. The proposed method consists of five steps. In the first step, the ground points were removed through the planarity analysis of the point cloud. In the second step, building area was extracted from the ground removed point cloud. In the third step, detailed structural area of the buildings was extracted. In the fourth step, the shape of 3D building models with 3D coordinate information added to the extracted area was created. In the last step, a 3D building solid model was created by giving texture to the building model shape. In order to verify the proposed method, we experimented using point clouds extracted from unmanned aerial vehicle images using commercial software. As a result, 3D building shapes with a position error of about 1m compared to the point cloud was created for all buildings with a certain height or higher. In addition, it was confirmed that 3D models on which texturing was performed having a resolution of less than twice the resolution of the original image was generated.

• The Transactions of the Korea Information Processing Society
• /
• v.13 no.7
• /
• pp.335-347
• /
• 2024

Open-vocabulary 3D point cloud instance segmentation (OV-3DIS) is a challenging visual task to segment a 3D scene point cloud into object instances of both base and novel classes. In this paper, we propose a novel model Open3DME for OV-3DIS to address important design issues and overcome limitations of the existing approaches. First, in order to improve the quality of class-agnostic 3D masks, our model makes use of T3DIS, an advanced Transformer-based 3D point cloud instance segmentation model, as mask proposal module. Second, in order to obtain semantically text-aligned visual features of each point cloud segment, our model extracts both 2D and 3D features from the point cloud and the corresponding multi-view RGB images by using pretrained CLIP and OpenSeg encoders respectively. Last, to effectively make use of both 2D and 3D visual features of each point cloud segment during label assignment, our model adopts a unique feature ensemble method. To validate our model, we conducted both quantitative and qualitative experiments on ScanNet-V2 benchmark dataset, demonstrating significant performance gains.

• Journal of Internet of Things and Convergence
• /
• v.9 no.6
• /
• pp.11-16
• /
• 2023

The technology of 3D reconstruction, primarily relying on point cloud data, is essential for digitizing objects or spaces. This paper aims to utilize reinforcement learning to achieve the acquisition of point clouds in a given environment. To accomplish this, a simulation environment is constructed using Unity, and reinforcement learning is implemented using the Unity package known as ML-Agents. The process of point cloud acquisition involves initially setting a goal and calculating a traversable path around the goal. The traversal path is segmented at regular intervals, with rewards assigned at each step. To prevent the agent from deviating from the path, rewards are increased. Additionally, rewards are granted each time the agent fixates on the goal during traversal, facilitating the learning of optimal points for point cloud acquisition at each traversal step. Experimental results demonstrate that despite the variability in traversal paths, the approach enables the acquisition of relatively accurate point clouds.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.05a
• /
• pp.660-662
• /
• 2023

3차원 포인트 클라우드의 의미적 분할은 환경을 구성하는 물체 단위로 포인트 클라우드를 분할하는 작업으로서, 환경의 3차원적 구성을 이해하고 환경과 상호작용에 필수적인 시각 지능을 요구한다. 본 논문에서는 포인트 클라우드에서 추출하는 3차원 기하학적 특징과 함께 멀티-뷰 영상에서 추출하는 2차원 시각적 특징들도 활용하는 새로운 3차원 포인트 클라우드 의미적 분할 모델 MFNet을 제안한다. 제안 모델은 서로 이질적인 2차원 시각적 특징과 3차원 기하학적 특징의 효과적인 융합을 위해, 새로운 중기 융합 전략과 멀티-모달 교차 주의집중을 이용한다. 본 논문에서는 ScanNetV2 벤치마크 데이터 집합을 이용한 다양한 실험들을 통해, 제안 모델 MFNet의 우수성을 입증한다.