• Korean Journal of Remote Sensing
• /
• v.38 no.6_1
• /
• pp.1025-1034
• /
• 2022

In this paper, we propose a post-processing method through interpolation of hole regions that occur when extracting point clouds. When image matching is performed on stereo image data, holes occur due to occlusion and building façade area. This area may become an obstacle to the creation of additional products based on the point cloud in the future, so an effective processing technique is required. First, an initial point cloud is extracted based on the disparity map generated by applying stereo image matching. We transform the point cloud into a grid. Then a hole area is extracted due to occlusion and building façade area. By repeating the process of creating Triangulated Irregular Network (TIN) triangle in the hall area and processing the inner value of the triangle as the minimum height value of the area, it is possible to perform interpolation without awkwardness between the building and the ground surface around the building. A new point cloud is created by adding the location information corresponding to the interpolated area from the grid data as a point. To minimize the addition of unnecessary points during the interpolation process, the interpolated data to an area outside the initial point cloud area was not processed. The RGB brightness value applied to the interpolated point cloud was processed by setting the image with the closest pixel distance to the shooting center among the stereo images used for matching. It was confirmed that the shielded area generated after generating the point cloud of the target area was effectively processed through the proposed technique.

• Annual Conference of KIPS
• /
• 2023.05a
• /
• pp.660-662
• /
• 2023

3차원 포인트 클라우드의 의미적 분할은 환경을 구성하는 물체 단위로 포인트 클라우드를 분할하는 작업으로서, 환경의 3차원적 구성을 이해하고 환경과 상호작용에 필수적인 시각 지능을 요구한다. 본 논문에서는 포인트 클라우드에서 추출하는 3차원 기하학적 특징과 함께 멀티-뷰 영상에서 추출하는 2차원 시각적 특징들도 활용하는 새로운 3차원 포인트 클라우드 의미적 분할 모델 MFNet을 제안한다. 제안 모델은 서로 이질적인 2차원 시각적 특징과 3차원 기하학적 특징의 효과적인 융합을 위해, 새로운 중기 융합 전략과 멀티-모달 교차 주의집중을 이용한다. 본 논문에서는 ScanNetV2 벤치마크 데이터 집합을 이용한 다양한 실험들을 통해, 제안 모델 MFNet의 우수성을 입증한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.818-820
• /
• 2022

포인트 클라우드 데이터는 자율 주행 기술, 가상 현실 및 증강 현실에서 사용될 3차원 미디어 중 하나로 각광 받고 있다. 국제 표준화 기구인 MPEG(Moving Picture Expert Group)에서는 포인트 클라우드 데이터의 효율적인 압축을 위해 G-PCC(Geometry-based Point Cloud Compression) 및 V-PCC(Video-based Point Cloud Compression)의 표준화를 진행 중에 있다. 그 중, G-PCC는 본래 단일 프레임의 압축을 수행하는 정지 영상 압축 방식이지만, LiDAR(Light Detection And Ranging) 센서를 통해 획득된 동적 포인트 클라우드 프레임에 대한 압축의 필요성이 대두됨에 따라 G-PCC 그룹에서는 Inter-EM(Exploratory Model)을 신설하여 LiDAR 포인트 클라우드 프레임의 압축에 관한 연구를 시작하였다. Inter-EM의 압축 비트스트림은 G-PCC 비트스트림과 마찬가지로 효과적인 전송 및 소비를 위해 미디어 저장 포맷인 ISOBMFF(ISO-based Media File Format)으로 캡슐화될 수 있다. 이때, 포인트 클라우드 프레임들은 자율 주행 등의 서비스에 사용하기 위해 시간 도메인뿐만 아니라 공간 도메인을 기반으로도 소비될 수 있어야 하지만, 공간 도메인을 기반으로 콘텐츠를 임의 접근하여 소비하는 방식은 기존 2D 영상의 시간 도메인 기반 소비방식과 차이로 인해 기존에 논의된 G-PCC 캡슐화 방안만으로는 지원이 제한된다. 이에, 본 논문에서는 G-PCC 콘텐츠를 공간 도메인에 따라 소비하기 위한 ISOBMFF 캡슐화 방안에 대한 파일 포맷을 제안하고자 한다.

• Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
• /
• 2006.05a
• /
• pp.223-226
• /
• 2006

본 연구에서는 ALS의 스캔라인 특성을 이용하여 포인트 클라우드를 효율적으로 분리하는 기법을 제시하였다. 이전 연구에서 제시하였던 방식에서 포인트 분류를 위한 쿼리 영역의 제한 기능을 강화시키고 효율적인 메모리 관리를 위하여 쿼리에 사용되지 않는 포인트를 영구 저장하여 메모리로부터 해제하는 기능을 추가하였다. 결과적으로 대용량의 포인트 데이터를 처리하는 동안 속도 저하 현상이 발생하지 않았으며 높은 정확도로 건물 포인트를 분리할 수 있었다.

• Journal of KIISE
• /
• v.44 no.4
• /
• pp.392-398
• /
• 2017

The point-cloud representation of an object is performed by scanning a space through a laser scanner that is extracting a set of points, and the points are then integrated into the same coordinate system through a registration. The set of the completed registration-integrated point clouds is classified into meaningful regions, shapes, and noises through a mathematical analysis. In this paper, the aim is the matching of a curved area like a cylinder shape in 3D point-cloud data. The matching procedure is the attainment of the center and radius data through the extraction of the cylinder-shape candidates from the sphere that is fitted through the RANdom Sample Consensus (RANSAC) in the point cloud, and completion requires the matching of the curved region with the Catmull-Rom spline from the extracted center-point data using the Principal Component Analysis (PCA). Not only is the proposed method expected to derive a fast estimation result via linear and curved cylinder estimations after a center-axis estimation without constraint and segmentation, but it should also increase the work efficiency of reverse engineering.

• Journal of Broadcast Engineering
• /
• v.26 no.6
• /
• pp.692-703
• /
• 2021

Recently, with the development of computer graphics technology, research on technology for expressing real objects as more realistic virtual graphics is being actively conducted. Point cloud is a technology that uses numerous points, including 2D spatial coordinates and color information, to represent 3D objects, and they require huge data storage and high-performance computing devices to provide various services. Video-based Point Cloud Compression (V-PCC) technology is currently being studied by the international standard organization MPEG, which is a projection based method that projects point cloud into 2D plane, and then compresses them using 2D video codecs. V-PCC technology compresses point cloud objects using 2D images such as Occupancy map, Geometry image, Attribute image, and other auxiliary information that includes the relationship between 2D plane and 3D space. When increasing the density of point cloud or expanding an object, 3D calculation is generally used, but there are limitations in that the calculation method is complicated, requires a lot of time, and it is difficult to determine the correct location of a new point. This paper proposes a method to generate additional points at more accurate locations with less computation by applying 2D interpolation to the image on which the point cloud is projected, in the V-PCC technology.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.151-153
• /
• 2021

포인트 클라우드는 특정 개체 혹은 장면을 다수의 3 차원 포인터를 사용하여 표현하는 데이터의 표현 방식 중 하나로 3D 데이터를 정밀하게 수집하고 표현할 수 있는 방법이다. 하지만 방대한 양의 데이터를 필요로 하기 때문에 효율적인 압축이 필수적이다. 이에 따라 국제 표준화 단체인 Moving Picture Experts Group 에서는 포인트 클라우드 데이터의 효율적인 압축 방법 중 하나로 Video based Point Cloud Compression(V-PCC)에 대한 표준을 제정하였다. V-PCC 는 포인트 클라우드 정보를 Occupancy, Geometry, Texture 와 같은 다수의 2D 영상으로 변환하고 각 2D 영상을 전통적인 2D 비디오 코덱을 활용하여 압축하는 방법이다. 본 논문에서는 V-PCC 에서 변환하는 Occupancy 의 정보를 활용하여 효율적으로 Texture 영상을 압축할 수 있은 방법을 소개한다. 또한 제안방법이 V-PCC 에서 약 1%의 부호화 효율을 얻을 수 있음을 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.85-88
• /
• 2021

포인트 클라우드 콘텐츠는 실제 환경 및 물체를 3 차원 위치정보를 갖는 점들과 그에 대응하는 색상 등을 획득하여 기록한 실감 콘텐츠이다. 위치와 색상 정보로만 이뤄진 3 차원 점으로 이뤄진 포인트 클라우드 콘텐츠는 확대하여 렌더링 할 경우 점과 점 사이의 간격이 벌어지면서 발생하는 구멍에 의해 콘텐츠 품질이 저하될 수 있다. 이러한 문제를 해결하기 위해 본 논문에서는 포인트 클라우드 확대 시 점들 간 간격이 벌어져 생기는 구멍에 대해 깊이정보를 활용한 역변환 기반 보간 방법을 통해 포인트 클라우드 콘텐츠 품질을 개선하는 방법을 제안한다. 벌어진 간격들 사이에서 빈 공간을 찾을 때 그 사이로 뒷면의 점들이 그려지게 되어 보간 방법을 적용하는데 방해요소로 작용한다. 이를 해결하기 위해 구멍이 발생하지 않은 시점에서 렌더링 된 영상을 사용하여 포인트 클라우드의 뒷면에 해당되는 점들을 제거한다. 다음으로 깊이 맵(depth map)을 추출한 후 추출된 깊이 값을 사용하여 뎁스 에지(depth edge)를 구하고 에지를 사용하여 깊이 불연속 부분에 대해 처리한다. 마지막으로 뎁스 값을 활용하여 이전에 찾은 구멍들의 역변환을 하여 원본의 데이터에서 픽셀을 추출한다. 제안하는 방법으로 콘텐츠를 렌더링 한 결과, 기존의 크기를 늘려 빈 영역을 채우는 방법에 비해 렌더링 품질이 평균 PSNR 측면에서 2.9 dB 향상된 결과를 보였다.

• Journal of Broadcast Engineering
• /
• v.25 no.5
• /
• pp.709-722
• /
• 2020

Point Cloud which is a cluster of numerous points can express 3D object beyond the 2D plane. Each point contains 3D coordinate and color data basically, reflectance or etc. additionally. Point Cloud demand research and development much higher effective compression technology. Video-based Point Cloud Compression (V-PCC) technology in development and standardization based on the established video codec. Despite its high effective compression technology, point cloud service will be limited by terminal spec and network conditions. 2D video had the same problems. To remedy this kind of problem, 2D video is using Scalable High efficiency Video Coding (SHVC), Dynamic Adaptive Streaming over HTTP (DASH) or diverse technology. This paper proposed a density scalability method using SHVC codec in V-PCC.

• Journal of Internet of Things and Convergence
• /
• v.9 no.6
• /
• pp.11-16
• /
• 2023

The technology of 3D reconstruction, primarily relying on point cloud data, is essential for digitizing objects or spaces. This paper aims to utilize reinforcement learning to achieve the acquisition of point clouds in a given environment. To accomplish this, a simulation environment is constructed using Unity, and reinforcement learning is implemented using the Unity package known as ML-Agents. The process of point cloud acquisition involves initially setting a goal and calculating a traversable path around the goal. The traversal path is segmented at regular intervals, with rewards assigned at each step. To prevent the agent from deviating from the path, rewards are increased. Additionally, rewards are granted each time the agent fixates on the goal during traversal, facilitating the learning of optimal points for point cloud acquisition at each traversal step. Experimental results demonstrate that despite the variability in traversal paths, the approach enables the acquisition of relatively accurate point clouds.