• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.16-18
• /
• 2021

미디어 기술은 사용자가 더욱 몰입감을 느낄 수 있는 방향으로 개발되어 왔다. 이러한 흐름에 따라 기존의 2D 이미지에 비해 깊이감을 느낄 수 있는 증강 현실, 가상 현실 등 3D 공간 데이터를 활용하는 미디어가 주목을 받고 있다. 포인트 클라우드는 수많은 3차원 좌표를 가진 여러 개의 점들로 구성된 데이터 형식이므로 각각의 점들에 대한 좌표 및 색상 정보를 사용하여 3D 미디어를 표현한다. 고정된 크기의 해상도를 갖는 2D 이미지와 다르게 포인트 클라우드는 포인트의 개수에 따라 용량이 유동적이며, 이를 기존의 비디오 코덱을 사용하여 압축하기 위해 국제 표준기구인 MPEG(Moving Picture Experts Group)에서는 Video-based Point Cloud Compression (V-PCC)을 제정하였다. V-PCC는 3D 포인트 클라우드 데이터를 직교 평면 벡터를 이용하여 2D 패치로 분해하고 이러한 패치를 2D 이미지에 배치한 다음 기존의 2D 비디오 코덱을 사용하여 압축한다. 본 논문에서는 앞서 설명한 2D 패치 이미지에 super resolution network를 적용함으로써 3D 포인트 클라우드의 성능 향상하는 방안을 제안한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 추계학술대회
• /
• pp.422-424
• /
• 2021

In this paper, it leads the approach of fusing multiple RGB cameras for visual objects recognition based on deep learning with convolution neural network and 3D Light Detection and Ranging (LiDAR) to observe the environment and match into a 3D world in estimating the distance and position in a form of point cloud map. The goal of perception in multiple cameras are to extract the crucial static and dynamic objects around the autonomous vehicle, especially the blind spot which assists the AV to navigate according to the goal. Numerous cameras with object detection might tend slow-going the computer process in real-time. The computer vision convolution neural network algorithm to use for eradicating this problem use must suitable also to the capacity of the hardware. The localization of classified detected objects comes from the bases of a 3D point cloud environment. But first, the LiDAR point cloud data undergo parsing, and the used algorithm is based on the 3D Euclidean clustering method which gives an accurate on localizing the objects. We evaluated the method using our dataset that comes from VLP-16 and multiple cameras and the results show the completion of the method and multi-sensor fusion strategy.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권2호
• /
• pp.435-449
• /
• 2023

The state-of-the-art video-based point cloud compression(V-PCC) has a high efficiency of compressing 3D point cloud by projecting points onto 2D images. These images are then padded and compressed by High-Efficiency Video Coding(HEVC). Pixels in padded 2D images are classified into three groups including origin pixels, padded pixels and unoccupied pixels. Origin pixels are generated from projection of 3D point cloud. Padded pixels and unoccupied pixels are generated by copying values from origin pixels during image padding. For padded pixels, they are reconstructed to 3D space during geometry reconstruction as well as origin pixels. For unoccupied pixels, they are not reconstructed. The rate distortion optimization(RDO) used in HEVC is mainly aimed at keeping the balance between video distortion and video bitrates. However, traditional RDO is unreliable for padded pixels and unoccupied pixels, which leads to significant waste of bits in geometry reconstruction. In this paper, we propose a new RDO scheme which takes 3D-Distortion into account instead of traditional video distortion for padded pixels and unoccupied pixels. Firstly, these pixels are classified based on the occupancy map. Secondly, different strategies are applied to these pixels to calculate their 3D-Distortions. Finally, the obtained 3D-Distortions replace the sum square error(SSE) during the full RDO process in intra prediction and inter prediction. The proposed method is applied to geometry frames. Experimental results show that the proposed algorithm achieves an average of 31.41% and 6.14% bitrate saving for D1 metric in Random Access setting and All Intra setting on geometry videos compared with V-PCC anchor.

• Journal of Information Processing Systems
• /
• 제12권3호
• /
• pp.338-357
• /
• 2016

The recent advent of increasingly affordable and powerful 3D scanning devices capable of capturing high resolution range data about real-world objects and environments has fueled research into effective 3D surface reconstruction techniques for rendering the raw point cloud data produced by many of these devices into a form that would make it usable in a variety of application domains. This paper, therefore, provides an overview of the existing literature on surface reconstruction from 3D point clouds. It explains some of the basic surface reconstruction concepts, describes the various factors used to evaluate surface reconstruction methods, highlights some commonly encountered issues in dealing with the raw 3D point cloud data and delineates the tradeoffs between data resolution/accuracy and processing speed. It also categorizes the various techniques for this task and briefly analyzes their empirical evaluation results demarcating their advantages and disadvantages. The paper concludes with a cross-comparison of methods which have been evaluated on the same benchmark data sets along with a discussion of the overall trends reported in the literature. The objective is to provide an overview of the state of the art on surface reconstruction from point cloud data in order to facilitate and inspire further research in this area.

• 한국지리정보학회지
• /
• 제22권3호
• /
• pp.99-106
• /
• 2019

최근 자율주행 분야가 4차 산업혁명 시대에 맞이하여 주요한 기술분야로 각광받고 있다. 자율주행 분야는 4차 산업의 핵심 기술의 집합체라고 볼 수 있는데, 이 중 자율주행 지원을 위한 정밀도로 지도 및 도로시설물 구축을 위한 DB 분야가 필수적인 부분이다. 기존 2차원 자료형식으로 제작되고 관리되던 지도 DB가 3차원으로 급격히 변화하고 있으며, 더불어 이러한 정밀도로 지도를 구축을 위한 핵심기술로 Mobile Mapping System(MMS)가 활발히 이용되고 있다. 특히 MSS에서 획득되는 다양한 자료 중에서 LiDAR를 통해 취득되는 정밀 Point Cloud는 정확한 위치 정보를 포함하고 있어, 정밀도로 지도 구축 및 도로시설물 관리 등을 위한 다양한 관련 DB 구축에 활용되고 있다. 하지만 현재는 정밀도로 지도 제작 시 3D 모델링을 위한 기반 데이터로만 활용되는 것으로만 국한되어 그 사용 범위가 넓지 않은 문제가 있다. 본 연구에서는 MMS 취득자료의 활용성을 높이기 위하여 MMS LiDAR Point Cloud를 활용하여 도로 주변 시설물을 추출하고, 그 위치를 현장조사 성과와 중첩하여 비교 분석하여 그 위치 정확도에 기준한 도로시설물 분야 활용성을 확인하고자 하였다. Point Cloud로부터 전신주와 통신지주 DB를 구축하고 도로명주소기본도와 위치 비교를 수행한 결과, Point Cloud에서 추출한 시설물 DB의 위치 정확도는 도로명주소기본도 보다 높은 것으로 확인되었다. 이를 통해 MMS Point Cloud 자료를 도로시설물 관리 분야에 충분히 활용하는 것이 가능하며, 추후 이를 통해 도로시설물 지도 확대 구축하고, 도로대장 관리 등에 적용하는 연구가 필요 할 것으로 판단된다.

• 방송공학회논문지
• /
• 제26권6호
• /
• pp.680-691
• /
• 2021

최근 3차원 스캐너 등을 이용한 3차원 영상 획득 기술이 발전함에 따라 AR(Augmented Reality)/VR(Virtual Reality) 분야에서 활용되는 콘텐츠가 다양해졌다. 이러한 3차원 영상을 나타내는 방식에는 여러 가지가 존재하며, 포인트 클라우드는 그중 하나다. 포인트 클라우드는 3차원 공간에 존재하는 물체를 표현하는 점들의 집합을 의미하고, 실제 객체를 촬영하여 정밀하게 데이터를 획득 및 표현할 수 있다는 장점이 있다. 하지만, 3차원 영상의 특성상 2차원 영상보다는 표현해야 하는 데이터가 많고, 특히 여러 장의 프레임으로 구성된 동적인 3차원 객체는 더욱 많은 데이터를 요구하기에 이를 효율적으로 다루기 위한 고효율의 압축 기술이 개발되어야 한다. 본 논문에서는 도메인 변환 방법인 3D DCT(3-Dimensional Discrete Cosine Transform)를 이용한 움직임 예측을 통하여 포인트 클라우드 영상의 I 프레임 및 P 프레임을 효율적으로 압축하는 기술을 제안한다. 그리고 본 논문에서 제안된 기술과 Intra 프레임 기반의 배경 기술 및 2D DCT 기반의 V-PCC(Video-based Point Cloud Compression)와의 비교를 통해 제안 기술의 압축 성능을 확인한다.

• 로봇학회논문지
• /
• 제11권3호
• /
• pp.115-126
• /
• 2016

This paper suggests the method of the spherical signature description of 3D point clouds taken from the laser range scanner on the ground vehicle. Based on the spherical signature description of each point, the extractor of significant environmental features is learned by the Deep Belief Nets for the urban structure classification. Arbitrary point among the 3D point cloud can represents its signature in its sky surface by using several neighborhood points. The unit spherical surface centered on that point can be considered to accumulate the evidence of each angular tessellation. According to a kind of point area such as wall, ground, tree, car, and so on, the results of spherical signature description look so different each other. These data can be applied into the Deep Belief Nets, which is one of the Deep Neural Networks, for learning the environmental feature extractor. With this learned feature extractor, 3D points can be classified due to its urban structures well. Experimental results prove that the proposed method based on the spherical signature description and the Deep Belief Nets is suitable for the mobile robots in terms of the classification accuracy.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.497-499
• /
• 2020

포인트 클라우드는 다수의 3D 포인터를 사용한 3D 데이터의 표현 방식 중 하나이며, 멀티미디어 획득 및 처리 기술의 발전에 따라 다양한 분야에서 주목하고 있는 기술이다. 특히 포인트 클라우드는 3D 데이터를 정밀하게 수집하고 표현할 수 있는 장점을 가진다. 하지만 포인트 클라우드는 방대한 양의 데이터를 가지고 있어 효율적인 압축이 필수적이다. 이에 따라 국제 표준화 단체인 Moving Picture Experts Group에서는 포인트 클라우드 데이터의 효율적인 압축을 위하여 Video based Point Cloud Compression(V-PCC)와 Geometry based Point Cloud Coding에 대한 표준을 제정하고 있다. 이 중 V-PCC는 기존 High Efficiency Video Coding(HEVC) 표준을 활용하여 포인트 클라우드를 압축하여 활용성이 높다는 장점이 있다. 본 논문에서는 V-PCC에 사용하는 HEVC 코덱을 2020년 7월 표준화 완료될 예정인 Versatile Video Coding으로 대체하여 V-PCC의 압축 성능을 더 개선할 수 있음을 보인다.

• 대한임베디드공학회논문지
• /
• 제16권5호
• /
• pp.215-223
• /
• 2021

3D data can be categorized into two parts : Euclidean data and non-Euclidean data. In general, 3D data exists in the form of non-Euclidean data. Due to irregularities in non-Euclidean data such as mesh and point cloud, early 3D deep learning studies transformed these data into regular forms of Euclidean data to utilize them. This approach, however, cannot use memory efficiently and causes loses of essential information on objects. Thus, various approaches that can directly apply deep learning architecture to non-Euclidean 3D data have emerged. In this survey, we introduce various deep learning methods for mesh and point cloud data. After analyzing the operating principles of these methods designed for irregular data, we compare the performance of existing methods for shape classification and segmentation tasks.

• 대한조선학회논문집
• /
• 제59권4호
• /
• pp.235-242
• /
• 2022

As ship condition inspection technology has been developed, research on collecting, analyzing, and diagnosing condition information has become active. In ships, related research has been conducted, such as analyzing, detecting, and classifying major hull failures such as cracks and corrosion using 2D and 3D data information. However, for geometric deformation such as indents and bulges, 2D data has limitations in detection, so 3D data is needed to utilize spatial feature information. In this study, we aim to detect hull structural deformation positions. It builds a specimen based on actual hull structure deformation and acquires a point cloud from a model scanned with a 3D scanner. In the obtained point cloud, deformation(outliers) is found with a combination of RANSAC algorithms that find the best matching model in the Octree data structure and dataset.