• 방송과미디어
• /
• 제26권2호
• /
• pp.9-17
• /
• 2021

LiDAR는 조사된 빛이 피사체에 반사되어 돌아오는 시간을 측정하여 거리를 측정하는 장비로서, 넓은 영역과 긴 거리에 걸쳐 실세계의 정밀한 3차원 정보를 포인트 클라우드 데이터로 제공해 준다. 이러한 대용량 포인트 클라우드 데이터는 자율주행 자동차, 로봇, 3차원 지도 제작 등 컴퓨터 비전 기술을 이용하는 다양한 분야에 널리 활용될 수 있다. 그러나 유리 구조물을 포함하는 피사체를 LiDAR로 촬영하는 경우, 유리면에서 빛의 반사로 인한 가상의 포인트가 생성되어 실제 3차원 정보를 왜곡하는 문제가 있다. 포인트 클라우드의 후속 처리를 효율적으로 수행하기 위하여, 이러한 왜곡을 제거하는 전처리 기술이 필요하다. 본 고에서는 LiDAR의 취득 원리와 3차원 포인트 클라우드의 특성을 고찰하고, 유리 반사로 인한 왜곡된 가상의 포인트를 자동으로 검출하고 제거하는 새로운 연구 주제를 소개한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.16-18
• /
• 2021

미디어 기술은 사용자가 더욱 몰입감을 느낄 수 있는 방향으로 개발되어 왔다. 이러한 흐름에 따라 기존의 2D 이미지에 비해 깊이감을 느낄 수 있는 증강 현실, 가상 현실 등 3D 공간 데이터를 활용하는 미디어가 주목을 받고 있다. 포인트 클라우드는 수많은 3차원 좌표를 가진 여러 개의 점들로 구성된 데이터 형식이므로 각각의 점들에 대한 좌표 및 색상 정보를 사용하여 3D 미디어를 표현한다. 고정된 크기의 해상도를 갖는 2D 이미지와 다르게 포인트 클라우드는 포인트의 개수에 따라 용량이 유동적이며, 이를 기존의 비디오 코덱을 사용하여 압축하기 위해 국제 표준기구인 MPEG(Moving Picture Experts Group)에서는 Video-based Point Cloud Compression (V-PCC)을 제정하였다. V-PCC는 3D 포인트 클라우드 데이터를 직교 평면 벡터를 이용하여 2D 패치로 분해하고 이러한 패치를 2D 이미지에 배치한 다음 기존의 2D 비디오 코덱을 사용하여 압축한다. 본 논문에서는 앞서 설명한 2D 패치 이미지에 super resolution network를 적용함으로써 3D 포인트 클라우드의 성능 향상하는 방안을 제안한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.47-48
• /
• 2021

본 논문에서는 대용량의 3D 데이터 시퀀스의 압축을 진행한다. 3D 데이터 시퀀스의 각 프레임에서 Pose Estimation을 통해 3D Skeleton을 추출한 뒤, 포인트 클라우드를 skeleton에 묶는 리깅 과정을 거치고, 다음 프레임과 같은 자세로 deformation을 진행한다. 다음 프레임과 같은 자세로 변형된 포인트 클라우드와 실제 다음 프레임의 포인트 클라우드를 비교하여, 두 데이터에 모두 있는 점, 실제 다음 프레임에만 있는 점, deformation한 데이터에만 있는 점으로 분류한다. 두 데이터에 모두 있는 점을 제외하고 나머지 두 분류의 점들을 저장함으로써 3D 시퀀스 데이터를 압축할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.109-111
• /
• 2022

일반적인 포인트 클라우드(Point Clouds)는 3 차원 공간상의 포인트가 한 개의 색상 정보만을 포함하고 있는 반면에 플렌옵틱 포인트 클라우드(Plenoptic Point Clouds)는 사실감을 향상시키기 위해 한 개의 포인트가 여러 시점에서 촬영된 색상 정보들을 모두 포함하고 있는 새로운 방식의 볼륨 메트릭 데이터 표현 방식이다. 하지만, 일반적인 포인트 클라우드에 비해 더 많은 색상 정보를 필요로 하기 때문에 효율적인 압축이 필수적이다. 따라서, 본 논문에서는 비디오 기반 포인트 클라우드 압축 표준 기술인 V-PCC 를 기반으로 플렌옵틱 포인트 클라우드의 색상 속성간 중복성 제거를 통해 효율적으로 색상 정보를 압축할 수 있는 방법을 제안한다. 실험 결과 제안 방법은 다중 플렌옵틱 색상 속성 정보를 독립적으로 부호화 경우에 비해 상당한 성능 향상이 있음을 보여준다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.308-310
• /
• 2020

본 논문에서는 포인트 클라우드 정합 시스템 자동화를 위한 재정합 프로세스에서 정합의 실패 유무를 판단하는 기존의 정합 평가 방법을 개선한 방법을 제안한다. 포인트 클라우드 정합 자동화를 위해 정합의 실패를 판단하여 다시 정합하는 재정합 프로세스는 자동화 시스템에서 필수적인 요소이다. 기존의 정합 평가 방법은 정합하고자하는 두 포인트 클라우드의 점의 간격이나 데이터의 양이 다를 경우 계산된 정합 오차가 정성적인 결과와는 다르게 측정되는 문제가 발생하는데, 이는 재정합 프로세스에서 치명적인 오류를 초래한다. 제안하는 방법은 참조 포인트 클라우드에서 가장 인접한 목표 포인트 클라우드의 세 점이 이루는 평면과의 수직 거리를 계산하고, 일정 거리 임계치를 만족하는 점들의 개수를 측정해 계산된 오차를 검증하여 정합 오판단율을 효과적으로 감소시켰다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.505-509
• /
• 2020

포인트 클라우드 콘텐츠는 3 차원 공간에 수십만 개가 넘는 점들의 집합으로 이루어진 3D 데이터로 각 점들은 3 차원 공간의 좌표 데이터를 필요로 하고 추가적으로 색 (color), 반사율 (reflectance), 법선 벡터 (normal vector) 등과 같은 속성으로 구성되어 있다. 기존 2D 영상보다 한단계 높은 차원을 가진 3D 포인트 클라우드를 사용자에게 효율적으로 제공하기 위해서 고효율의 압축 기술 연구가 진행되고 있는데, 다양한 장치에서 발생하는 성능 차이에 구애 받지 않고 사용자에게 알맞은 서비스를 제공하기 위해서는 다양한 확장성에 대한 연구가 필요하다. 이에 본 논문에서는 포인트 클라우드 압축에 사용되는 Video-based Point Cloud Compression (V-PCC) 구조에 SHVC 코덱을 적용하여, 밀도 확장성을 갖는 포인트 클라우드 압축 비트스트림을 생성하는 방안을 제안하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 추계학술발표대회
• /
• pp.950-951
• /
• 2017

본 논문에서는 Velodyne 센서로 촬영한 포인트 클라우드를 시간에 따라 누적하고 객체로 구분함으로써 ground truth 데이터를 생성할 수 있는 시스템을 제안한다. 기존에 포인트 클라우드를 객체 단위로 구분하기 위해선 데이터의 매 프레임마다 구분 작업을 수행해야 한다. 본 논문에서 제안하는 시스템은 포인트 클라우드를 누적하여 가시화하고 객체 단위로 구분할 수 있는 도구를 제공함으로써 사용자의 작업량을 줄여주고 편의성을 향상시킨다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.279-282
• /
• 2021

포인트 클라우드는 3 차원 물체를 표현하기 위한 점들의 집합으로, 동적인 3 차원 데이터를 정밀하게 획득할 수 있기에 이의 효율적인 압축의 필요성이 대두되고 있다. 기존 3D DCT(3D Discrete Cosine Transform)를 이용한 동적 객체의 포인트 클라우드 압축 방식은 Inter 프레임 압축을 고려하지 않아 압축시의 데이터 압축률에 한계가 있다. 따라서 본 논문은 이러한 문제점을 개선하기 위해 3D DCT 를 이용한 움직임 예측을 통하여 포인트 클라우드 영상의 I 프레임 및 P 프레임을 압축하는 방식을 제안한다.

• 대한원격탐사학회지
• /
• 제38권6_1호
• /
• pp.1025-1034
• /
• 2022

본 논문에서는 건물의 포인트 클라우드를 추출할 때 발생하는 홀 영역의 보간을 통한 후처리 방안을 제안한다. 스테레오 영상 데이터에서 영상 매칭을 수행할 경우 차폐 및 건물 벽면 등의 영향으로 홀이 발생한다. 이런 영역은 추후 포인트 클라우드를 기반으로 하는 부가 산출물의 생성에 장애 요인이 될 수 있으므로, 이에 대한 효과적인 처리 기법의 적용이 필요하다. 먼저 영상 매칭을 적용하여 생성된 시차맵을 기반으로 초기 포인트 클라우드를 추출한다. 포인트 클라우드를 격자화 시키면 차폐영역 및 건물 벽면의 영향으로 발생하는 홀 영역을 확인할 수 있다. 홀 영역에 삼각망을 생성하고 삼각망 내부 값을 영역의 최소값으로 처리하는 과정을 반복하는 것으로 건물 주변의 지표면과 건물 간에 어색함 없는 보간의 수행이 가능하다. 격자화 된 데이터에서 보간 된 영역에 해당하는 위치정보를 포인트로 추가하여 새로운 포인트 클라우드를 생성한다. 보간과정 중 불필요한 점의 추가를 최소화하기 위해 초기 포인트 클라우드 영역에서 벗어나는 영역으로 보간 된 데이터는 처리하지 않았으며, 보간 된 포인트 클라우드에 적용되는 RGB 밝기값은 매칭에 사용된 스테레오 영상 중 촬영중심과 해당 픽셀이 가장 근접한 영상으로 설정하여 처리하였다. 실험 결과 제안 기법을 통해 대상영역의 포인트 클라우드 생성 후 발생하는 음영 영역이 효과적으로 처리되는 것을 확인할 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.660-662
• /
• 2023

3차원 포인트 클라우드의 의미적 분할은 환경을 구성하는 물체 단위로 포인트 클라우드를 분할하는 작업으로서, 환경의 3차원적 구성을 이해하고 환경과 상호작용에 필수적인 시각 지능을 요구한다. 본 논문에서는 포인트 클라우드에서 추출하는 3차원 기하학적 특징과 함께 멀티-뷰 영상에서 추출하는 2차원 시각적 특징들도 활용하는 새로운 3차원 포인트 클라우드 의미적 분할 모델 MFNet을 제안한다. 제안 모델은 서로 이질적인 2차원 시각적 특징과 3차원 기하학적 특징의 효과적인 융합을 위해, 새로운 중기 융합 전략과 멀티-모달 교차 주의집중을 이용한다. 본 논문에서는 ScanNetV2 벤치마크 데이터 집합을 이용한 다양한 실험들을 통해, 제안 모델 MFNet의 우수성을 입증한다.