• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.161-163
• /
• 2022

본 논문에서는 패치매치 기법 및 분할 기법의 조밀 깊이지도들의 효율적인 결합을 통해 기존의 패치매치 기반의 방법들이 낮은 깊이값 추정 정확도를 보인 영역들인 텍스처가 부족한 영역과 기존의 분할 기반 방법들이 깊이값 추정에 한계를 보인 세밀한 영역에서의 깊이값 추정 정확도를 동시에 높이고 고품질의 조밀 깊이지도를 얻는 것을 목표로 한다. 이를 위해 제안한 방법에서는 신뢰지도를 바탕으로 패치매치 기법의 조밀 깊이지도, 조밀 노말지도와 분할 기법의 조밀 깊이지도, 조밀 노말지도의 초기 결합 깊이지도 및 초기 결합 노말지도를 생성한다. 이후 각 픽셀에서 원래 픽셀과 주변 픽셀에서의 깊이값, 노말값들로 업데이트를 위한 후보들을 만든다. 이후 각각의 후보들에 대해서 깊이값, 노말값, 컬러값들을 바탕으로 비용을 계산한다. 이후 가장 최적의 비용을 가지는 후보값으로 각 픽셀의 깊이값과 노말값을 업데이트한다. 이를 통해 패치매치 기법 및 분할 기법의 조밀 깊이지도들의 장점을 합친 결합 조밀 깊이지도를 생성한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.51-53
• /
• 2022

MIV(MPEG Immersive Video)의 시험모델 TMIV 는 다시점의 비디오와 깊이(depth) 비디오를 입력 받아 시점 사이의 중복성을 제거한 후 남은 텍스처(texture)와 깊이로 텍스처 아틀라스(atlas)와 깊이 아틀라스를 각각 생성하고 이를 압축한다. 각 화소별 점유(occupancy) 정보는 깊이 아틀라스에 포함되어 압축되는데 압축 손실로 인한 점유맵 오류를 방지하기 위하여 임계값 T = 64 로 설정한 보호대역을 사용한다. 기존에 설정된 임계값을 낮추어 깊이 동적범위를 확대하면 보다 정확한 깊이값 표현으로 부호화 효율을 개선할 수 있지만 보호대역 축소로 점유맵 오류가 증가한다. 본 논문에서는 TMIV 의 부호화기와 보호화기에 비대칭 임계값을 사용하여 보호대역 축소로 인한 점유맵 오류를 보정하면서 보다 정확한 깊이 값 표현을 통하여 부호화 효율을 개선하는 기법을 제안한다. 제안기법은 깊이 동적범위 확대와 비대칭 임계값 기반의 점유맵 오류 보정을 통하여 CG 시퀀스에서 2.2% BD-rate 이득과 주관적 화질 개선을 보인다.

• 한국산업정보학회논문지
• /
• 제24권5호
• /
• pp.1-8
• /
• 2019

본 논문에서는 깊이 영상에서 깊이 카메라의 일시적인 오류로 인해 측정이 되지 않은 깊이 화소의 값을 보정하는 방법을 제안한다. 깊이 영상의 한 블록 내에서 측정이 정상적으로 된 화소의 좌표와 깊이 값을 이용하여, 해당 블록의 깊이 값과 제일 오차가 적은 평면과 곡면을 모델링한다. 그 후 각각의 모델링된 표면을 통해 추정된 깊이 값과 원래 측정된 깊이 값을 비교하여 오차를 계산한다. 그 후 오차가 제일 작게 계산된 표면을 선택한 후, 측정에 실패한 깊이 화소를 선택된 모델링 표면을 통해 깊이 값을 추정함으로써 보정한다. 모의실험 결과 제안된 방법을 통한 보정방법은 $5{\times}5$ 영역의 중간 값을 이용한 보정방법에 비해 보정 성능이 평균 20% 개선되었음을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 하계학술대회
• /
• pp.1-4
• /
• 2016

효율적으로 깊이지도를 획득하기 위해 다양한 방법의 지역 기반스테레오 매칭 방법이 사용된다. 일반적인 지역기반 스테레오 매칭에 사용되는 비용값 계산 방법을 통해 깊이지도를 생성하게 되면 객체의 경계 영역이 무너지거나, 유사한 텍스쳐 정보가 연속적으로 나타나는 영역에서 부정확한 깊이값을 얻는 문제가 발생한다. 본 논문에서는 깊이지도의 정확성을 높이기 위해 2가지 단계를 거쳐 최종 깊이지도를 생성한다. 처음으로, 일반적으로 사용하는 지역기반 스테레오 매칭 비용 함수와 입력 영상의 기울기를 고려한 초기 비용값을 가이드 필터를 이용하여 최적의 비용값을 찾아 초기 변위지도를 생성한다. 스테레오매칭을 수행할 경우, 시점의 차이로 인해 보이지 않는 영역에서 정확한 변위값을 찾지 못하는 문제가 발생한다. 이러한 문제를 해결하기 위해 좌영상과 우영상을 기반으로 획득한 변위지도를 사용하여 교차검사를 함으로써 폐색영역을 찾아낸다. 폐색 영역을 이웃한 화소의 값을 사용하여 채울 경우 실선과 같은 오류가 결과 영상에 나타나게 된다. 이러한 오류 영역을 제거하기 위해 마지막으로 가중치를 적용한 중간값 필터를 적용한다. 실험 결과 제안한 방법을 사용하여 획득한 깊이지도가 기존의 방법보다 정확한 깊이값을 얻는 것을 확인할 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 추계학술대회
• /
• pp.37-39
• /
• 2012

최근 ToF(Time-of-Flight) 방식의 깊이 센서 카메라가 깊이 영상 획득에 많이 사용되고 있다. 그러나 ToF 깊이 카메라가 제공하는 깊이 영상은 센서의 물리적 한계로 인해 잡음이 존재한다. 따라서 고품질의 깊이 영상을 얻기 위해서는 깊이 영상의 잡음을 제거해 주는 것이 필수적이다. 일반적으로 깊이 영상의 잡음 제거에는 joint bilateral filter 를 사용한다. Joint bilateral filter 는 기준 화소와 그 주변 화소의 색상 영상의 밝기 차이값과 화소간 거리값에 각각 가우시안 함수를 적용하여 joint histogram 을 생성하고 그 평균값을 기준 화소의 깊이값으로 채운다. 하지만 이 과정에서 깊이 영상의 경계 영역에서 흐려짐 현상이 발생한다. 경계영역에 발생한 흐려짐 현상은 최종적인 3D 입체 콘텐츠의 품질을 저하시킨다. 본 논문에서는 이와 같은 문제점을 해결하기 위해 joint histogram 의 최고점을 찾아 기준 화소의 깊이값을 채우는 기법을 제안한다. 최고점 탐색을 통해 기존 기법의 평균값을 통해 생기는 흐려짐 현상을 줄이고 깊이 영상의 경계를 보존하면서 잡음을 제거하였다. 실험을 통하여 제안하는 기법의 우수성을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2008년도 추계학술대회
• /
• pp.109-112
• /
• 2008

최근 MPEG(moving picture experts group)에서 표준화를 진행하고 있는 3차원 비디오 시스템은 다시점 영상과 깊이영상을 동시에 이용하여 사용자가 임의의 시점을 선택하거나 스테레오스코픽 장치와 같은 3차원 영상 재생장 치를 동해 3차원 영상을 제공하는 차세대 방송 시스템이다 제한된 시점수를 이용하여 보다 많은 시점의 영상을 제공하려면 중간시점의 영상을 보간하는 장치가 필수적이다. 이 시스템의 입력정보인 깊이값을 이용하면 시점이동을 쉽게 할 수 있는데, 보간한 영상의 화질은 이 깊이값의 정확도에 따라 결정된다. 깊이맵은 대개 컴퓨터 비전을 기반으로 한 스테레오 정합기술을 이용 획득하는데, 객체의 경계와 같은 깊이값 불연속 영역에서 주로 깊이값 오류가 발생하게 된다. 이런 오류는 생성한 중간영상의 배경에 원치 않는 잡음을 발생시킨다. 기존의 방법에서는 측정한 깊이법의 객체 경계와 영상의 객체 경계가 일치한다는 가정으로 중간영상을 합성했다. 그러나 실제로는 깊이값 측정 과정에서 두 가지 경계가 일치하지 않아 전경의 일부분이 배경으로 합성되어 잡음을 발생하는 것이다. 본 논문에서는 깊이맵을 기반으로 중간시점의 영상을 보간할 때 발생하는 경계 잡음을 처리하는 방법을 제안한다. 중간영상을 합성할 때 비폐색 영역을 합성한 후 경계 잡음이 발생할 수 있는 영역을 비폐색 영역을 따라 구별한 다음, 잡음이 없는 참조 영상을 이용함으로써 경계 잡음을 처리할 수 있다. 실험 결과를 통해 배경 잡음이 사라진 자연스러운 합성영상을 생성했다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.457-459
• /
• 2015

본 논문에서는 원의 호 곡선에 따라 배치된 다중 RGB 카메라 영상으로 생성한 깊이 지도를 정렬하는 방법을 제안한다. 원의 호 곡선에 따라 배치된 카메라는 각 카메라의 광축이 한 점으로 만나서 수렴하는 형태가 이상적이다. 그러나 카메라 파라미터를 살펴보면 광축이 서로 수렴하지 않는다. 또한 카메라 파라미터는 오차가 존재하고 내부 파라미터도 서로 다르기 때문에 각 카메라 영상들은 수평과 수직 오차가 발생한다. 이와 같은 문제점을 해결하기 위해 첫 번째로 광축이 한 점으로 수렴하기 위해서 카메라 외부 파라미터를 보정하여 깊이 영상 정렬을 하였다. 두 번째로 내부 파라미터를 수정하여 각 깊이 영상들의 수평과 수직 오차를 감소시켰다. 일반적으로 정렬된 깊이 지도를 얻기 위해서는 초기 RGB 카메라 영상으로 정렬을 수행하고 그 결과 영상으로 깊이 영상을 생성한다. 하지만 RGB 영상으로 카메라의 회전과 위치를 보정하여 정렬하면 카메라 위치 변화에 따른 깊이 지도 변화값 적용이 복잡해 진다. 즉 정렬 계산 과정에서 소수점 단위 값이 사라지기에 최종 깊이 지도의 값에 영향을 미친다. 그래서 RGB 영상으로 깊이 지도를 생성하고 그것을 처음 RGB 카메라 파라미터로 워핑(warping)하였다. 그리고 워핑된 깊이 지도 값을 가지고 정렬을 수행하였다.

• 감성과학
• /
• 제19권3호
• /
• pp.81-88
• /
• 2016

본 논문은 깊이 카메라(Creative Senz3D)를 이용하여 호흡률을 측정하는 것에 대한 정확도와 영향을 미치는 요인들을 분석하였다. 영향 요인 분석에서는 깊이 카메라가 가지는 깊이 값에 대한 오차와 노이즈 그리고 주위 조도의 영향에 대하여 실험 연구를 진행하였다. 그 결과 깊이 카메라와 측정 대상의 거리가 증가함에 따라 깊이 값의 오차가 증가하였고 깊이 영상의 오른쪽은 실제 거리보다 깊이 값이 크게 측정되고 왼쪽은 실제 거리보다 깊이 값이 작게 측정되었다. 이에 따라 깊이 값이 영상의 영역에 따라 비대칭성을 가지고 있음을 알 수 있었다. 깊이 카메라와 측정 대상의 각도가 틀어짐에 따라서도 깊이 값의 차의 오차가 증가하였으며 깊이 카메라의 노이즈는 측정 거리가 멀어짐에 따라 점점 증가하였고 노이즈를 측정하는 윈도우의 크기가 증가함에 따라 감소하였다. 주위 조도는 깊이 값에 영향을 주지 않았다. 또한 실제 상황에서 사람을 대상으로 20회 호흡을 하게 하여 깊이 카메라를 이용해 호흡률을 측정하였고 호흡률이 제대로 측정됨을 확인하였다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2003년도 추계학술발표대회(상)
• /
• pp.232-235
• /
• 2003

본 눈문에서는 표면의 에지를 잘 나타내는 웨이블릿을 이용한 3차원 얼굴 인식 알고리듬을 제안한다. 먼저 얼굴영역을 추출하고 정규화과정을 수행한다. 코는 얼굴에서 가장 높고 기준점의 역할을 하므로 반복 선택방법을 이용해서 코끝을 찾는다. 코끝 최고점을 기준으로 깊이값 20, 30, 40인 영역에 대해 웨이블릿 변환을 수행하여 얼굴마다 저주파와 고주파들을 생성하는데, 저주파를 제외한 고주파들에 대하여 히스토그램을 특징벡터로 사용하였다 유사도의 비교는 L$_1$거리함수를 사용하여 수평, 수직, 대각고주파, 그리고 이 고주파들의 유사도 비교치를 합한 합성의 경우 각각에 대하여 실험하였다. 깊이값에 따른 영역에서 고주파별로 실험한 결과, 순위 임계값이 10위를 기준으로 깊이값 30 대각고주파에서 91%가 나타났고 합성에서는 93%의 인식률이 나왔다.

• 한국통신학회논문지
• /
• 제36권12C호
• /
• pp.738-743
• /
• 2011

고해상도 3차원 깊이 영상은 고품질의 3차원 방송을 위해 필요한 중요한 정보이다. 깊이 카메라는 정확한 깊이 정보를 실시간으로 얻을 수 있지만, 카메라 물리적 한계로 인해 저해상도의 깊이 영상만 이용한다. 본 논문에서는 저해상도의 깊이 영상과 색상 영상을 이용하여 색상 영상을 보간 하는 방법을 제안한다. 제안하는 방법은 랜덤워크 확률 모델을 이용하여 각 화소들이 초기 깊이값과 같을 확률값을 정의하여 가장 높은 확률을 가지는 초기 깊이값을 나머지 화소들에 복사한다. 제안한 방법은 인접한 화소들만을 이용하는 것이 아니라 경로를 따라 비용을 계산함으로써, 여러 화소에 걸친 색상의 변화율이 고려되어 물체의 경계 주변에서 색상 영역과 깊이 영상간의 경계가 일치하는 향상된 깊이 영상을 얻을 수 있다.