• 한국멀티미디어학회논문지
• /
• 제15권4호
• /
• pp.492-500
• /
• 2012

본 논문에서는 깊이 영상의 부호화 효율을 높이기 위한 기법을 제안한다. 깊이 영상의 부호화 과정에서 색상 영상과의 연관성을 이용하기 위해 SVC 부호화 구조를 기반으로 계층적으로 부호화한다. 깊이 영상을 향상 계층으로 부호화하여 기본 계층으로 부호화된 색상 영상의 움직임 정보를 이용한다. SVC 부호화 구조를 이용함으로써 다양한 네트워크에 적응적이면서 깊이 영상의 부호화 효율을 높일 수 있다. 또한, 깊이 영상은 다른 시점의 영상을 합성하는 데 이용되기 때문에 부호화 과정에서 객체의 윤곽 부분이 손상되었을 때 전체 영상의 화질을 크게 떨어뜨린다. 윤곽 부분의 이러한 특징을 이용하여 비 윤곽 부분인 평편한 부분과 구분한 후, 부호화 과정의 비트량을 조절하여 깊이 영상 전체의 화질을 개선하는 기술을 제안한다. 실험 결과 제안한 기법은 PSNR 값이 0.06-0.5dB 증가하고 비트량을 0.1-1.15% 감소하여 깊이 영상의 화질이 개선됨을 알 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 추계학술대회
• /
• pp.77-80
• /
• 2009

3차원 영상 처리 기술과 3차원 디스플레이의 발전은 3차원 영상 시장의 빠른 발전을 가져왔고 차세대 방송 기술로 큰 관심을 받고 있다. 하지만 3차원 영상은 시청할 때 눈의 피로, 어지럼증과 같은 현상이 일어날 수 있으며, 왜곡된 3차원 영상이 인체에 해로운 영향을 미칠 수도 있다. 이는 3차원 영상 산업의 활성화를 위해서 가장 시급히 해결되어야 할 문제이다. 현재 3차원 디스플레이는 스테레오 방식과 함께 1view 1depth 다시점 방식이 개발되었다. 특히 1view 1depth 다시점 디스플레이에서 깊이 영상의 공간적/시간적으로 복잡한 정도는 피로감을 일으키는 주요 요소이며 이는 1view 1depth 영상을 통해 직접 연구할 수 있다. 본 논문에서는 1view 1depth 디스플레이에서 주관적인 피로도와 큰 상관도를 가지는 깊이 영상의 특성 측정 방법을 제안한다. 1view 1depth 디스플레이에서 view 영상은 양호한 화질을 가정하였으며 피로감에 큰 영향을 미치는 깊이 영상 정보만 사용하여 공간적, 시간적인 특성을 분석한다. 공간적 복잡도는 각 프레임에 대하여 깊이 영상 내 화소 값의 분산 값을 취하여 공간적으로 깊이 값의 분포와 구조의 복잡한 정도를 측정하고, 시간적 복잡도는 연속적인 프레임에 대하여 동일한 화소위치에서 화소 값 차이의 분산 값을 사용한다. 또한 공간적/시간적 평균값의 측정하여 피로감에 영향을 주는 요인으로 사용하였다. 결과적으로 측정한 값들을 바탕으로 주관적인 피로도 평가와 유사성을 가지도록 모델링하여 3차원 영상의 피로도를 예측한다.

• 한국음향학회지
• /
• 제42권1호
• /
• pp.67-74
• /
• 2023

발성하고 있는 입 주변에서 취득한 영상은 발성 음에 따라 특이적인 패턴을 나타낸다. 이를 이용하여 화자의 얼굴 하단에서 취득한 영상으로부터 발성 음을 인식하거나 합성하는 방법이 제안되고 있다. 본 연구에서는 심도 영상을 협력적으로 이용하는 영상 기반 음성합성 기법을 제안하였다. 심도 영상은 광학 영상에서는 관찰되지 않는 깊이 정보의 취득이 가능하기 때문에 평면적인 광학 영상을 보완하는 목적으로 사용이 가능하다. 본 논문에서는 음성 합성 관점에서 심도 영상의 유용성을 평가하고자 한다. 60개의 한국어 고립어 음성에 대해 검증 실험을 수행하였으며, 실험결과 객관적, 주관적 평가에서 광학적 영상과 근접한 성능을 얻는 것을 확인할 수 있었으며 두 영상을 조합하여 사용하는 경우 각 영상을 단독으로 사용하는 경우보다 향상된 성능을 나타내었다.

• 스마트미디어저널
• /
• 제5권2호
• /
• pp.15-23
• /
• 2016

본 논문에서는 신체 부분 포즈를 이용한 깊이 영상 포즈렛과 제스처를 인식하는 방법을 제안한다. 제스처는 순차적인 포즈로 구성되어 있기 때문에, 제스처를 인식하기 위해서는 시계열 포즈를 획득하는 것에 중점을 두고 있어야 한다. 하지만 인간의 포즈는 자유도가 높고 왜곡이 많기 때문에 포즈를 정확히 인식하는 것은 쉽지 않은 일이다. 그래서 본 논문에서는 신체의 전신 포즈를 사용하지 않고 포즈 특징을 정확히 얻기 위해 부분 포즈를 사용하였다. 본 논문에서는 16개의 제스처를 정의하였으며, 학습 영상으로 사용하는 깊이 영상 포즈렛은 정의된 제스처를 바탕으로 생성하였다. 본 논문에서 제안하는 깊이 영상 포즈렛은 신체 부분의 깊이 영상과 해당 깊이 영상의 주요 3차원 좌표로 구성하였다. 학습과정에서는 제스처를 학습하기 위하여 깊이 카메라를 이용하여 정의된 제스처를 입력받은 후, 3차원 관절 좌표를 획득하여 깊이 영상 포즈렛이 생성되었다. 그리고 깊이 영상 포즈렛을 이용하여 부분 제스처 HMM을 구성하였다. 실험과정에서는 실험을 위해 깊이 카메라를 이용하여 실험 영상을 입력받은 후, 전경을 추출하고 학습된 제스처에 해당하는 깊이 영상 포즈렛을 비교하여 입력 영상의 신체 부분을 추출한다. 그리고 HMM을 적용하여 얻은 결과를 이용하여 제스처 인식에 필요한 부분 제스처를 확인한다. 부분 제스처를 이용한 HMM을 이용하여 효과적으로 제스처를 인식할 수 있으며, 관절 벡터를 이용한 인식률은 약 89%를 확인할 수 있었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2010년도 추계학술대회
• /
• pp.357-359
• /
• 2010

단안영상에서 영상의 깊이를 판단하기 위해서 사용하는 소실점은 건물, 도로와 같은 건축물이 포함된 실외영상이나 복도, 방 내부 등의 실내구조에 대한 영상에서 소실점은 매우 강력한 깊이단서이다. 소실점을 이용한 깊이지도는 2차원 영상에서 3차원 공간구조를 복원하기위해 사용된다. 하지만 소실점이 영상 내에 존재하는 경우 소실점의 위치에 따라서도 서로 다른 상대적 깊이표현 방법이 필요하다. 본 논문에서는 영상에 존재하는 소실점의 위치를 고려하여 보다 개선된 depth-map 생성하였다. 제안된 방법은 소실점이 위치하는 영역을 7구역으로 정의하고 영역에 따라서 서로 다른 깊이 방향을 제안하였다.

• 한국통신학회논문지
• /
• 제40권12호
• /
• pp.2530-2538
• /
• 2015

깊이맵은 색채 영상과 달리 색상 정보가 아닌 깊이 정보가 픽셀 값을 이루고 있어서 색차가 크더라도 비슷한 거리에 있으면 유사한 픽셀 값으로 나타난다. 또한 색채 영상은 미세한 영역에서 단계적으로 값이 변하면서 대상의 윤곽을 나타내지만 깊이맵은 픽셀 값이 계단식으로 변하여 픽셀 값이 변하는 지점에서 급변하는 경향이 있다. 이러한 깊이맵의 특성상 경계 영역과 그 외의 영역으로 크게 영상의 영역을 구분 할 수 있고, 전송 시 나타나는 오류에 대해 각 영역에 효과적으로 적용 될 수 있는 오류 은닉 방법이 필요하다. 본 연구에서는 깊이맵의 경계 방향에 따라 영역을 구분하고 각 영역의 값이 변화하는 방향성에 맞추어 적응적으로 오류가 은닉 될 수 있는 방법을 적용하여 깊이맵을 복구한다. 복구된 깊이맵은 다시점 영상과 함께 합성하여 새로운 중간 시점 영상을 만들고 이를 객관적 화질평가 방법을 통해 평가한다.

• 디지털콘텐츠학회 논문지
• /
• 제11권2호
• /
• pp.177-184
• /
• 2010

오늘날의 디지털영상 제작기술의 발전과 더불어 3D 이미징 기술은 첨단 TV와 컴퓨터에 응용되고 있으며 3D 입체 영상 제작 기술에 대한 연구, 개발이 활발히 진행되고 있다. 2009년 개봉한 제임스캐머런(James Cameron)감독의 3D입체영화 '아바타' 흥행 이후 3D 입체영상에 대한 관심이 대두 되고 있는 상황에서 본 연구는 최근 대두되고 있는 입체영상제작에 있어서 후반제작 공정상 색 보정이 입체의 깊이감에 미치는 영향을 실험하였다. 기존 영상제작 후반작업에서의 색 보정과정을 3D입체영상 제작과정에 적용하여, 입체감 변화에 대한 데이터를 측정하고 이를 통하여 3D 입체영상 제작에 있어서 효과적인 영상처리프로세스에 대한 정보를 제공하는 것이 연구의 목적이다. 입체영상에서 색과 명암대비가 입체의 깊이감을 인지하는데 영향을 줄 수 있다는 가정을 전제로 색 보정 실험을 하였다. 입체감, 공간감, 깊이감의 변화에 대한 피 실험자 반응을 종합하여 입체감이 상승하는 결과를 확인 할 수 있었다. 본 실험을 통하여 도출된 결과를 적용하여 15분 분량의 입체홍보영화를 제작 하였으며, 후반제작과 정상에서 색 보정 작업 결과가 입체를 인지하는 깊이감에 영향을 미치는 것으로 확인됐다. 본 연구의 실험은 평행리그와 직교리그를 통하여 촬영된 좌측영상과 우측영상의 영상이미지를 실험 데이터로 사용하였으며 편집과정에서 컨버전스와 입체감을 수정한 후에 후반제작에서 색 보정 작업을 통하여 명암대비를 높였다. 그 결과 영상의 공간감과 깊이감, 그리고 돌출감이 증가한 영상을 제작 할 수 있었다.

• 한국정보통신학회논문지
• /
• 제17권12호
• /
• pp.2927-2936
• /
• 2013

본 논문에서는 3D 콘텐츠 생성 시 필요한 깊이 영상의 화질 개선을 위하여 잡음 제거 기법과 홀 채움 기법을 제안한다. 제안하는 기법에서는 컬러 영상과 깊이 영상을 모두 이용하게 된다. 먼저 입력된 컬러 영상을 RGB 색상계에서 HSI 색상계로 변환하여 밝기 영상을 생성한다. 그리고 깊이 영상에서 기준 화소와 주변 화소간의 거리 값, 깊이 값의 차이를 구하고 컬러 영상의 밝기 값 차이를 계산하여 제안하는 잡음 제거 기법에 이용한다. 이후 홀을 탐색하여 홀과 주변 화소간의 거리, 컬러 영상의 밝기 값 차이를 제안하는 홀 채움 기법을 적용하여 깊이 영상 내에 존재하는 홀을 채우게 된다. 마지막으로 실시간 환경에 적용하기 위하여 제안하는 기법을 GPU로 병렬화하여 속도 향상을 하고자 하였다. 실험을 통하여 제안한 기법이 기존 기법에서 발생하는 경계 부분의 흐려짐 현상을 줄이면서 홀을 채우는 것을 확인하였다.

• 스마트미디어저널
• /
• 제1권3호
• /
• pp.22-28
• /
• 2012

스마트미디어가 보편화되면서 고화질의 3차원 영상과 깊이맵에 대한 필요성이 대두되고 있지만, 현재 기술로는 완벽한 깊이맵을 직접 획득하는 것이 불가능하다. 스테레오 정합으로 획득된 깊이맵은 모호한 텍스처를 갖는 영역에서 낮은 정확도를 가지며, 깊이 카메라를 통해 직접 깊이맵을 획득한 경우에는 센서 잡음이나 낮은 해상도 등의 문제가 발생하게 된다. 본 논문에서는 이미 획득된 깊이맵의 화질을 향상시키거나 고해상도로 변환하는 기술 동향을 살펴본다. 초기에 개발된 깊이맵만을 이용한 기술부터 대응되는 색상 영상 정보를 함께 이용한 기술을 소개하고, 최근 활발히 연구되고 있는 복합형 카메라를 이용하여 깊이맵 화질을 향상시키는 기술을 자세히 살펴본다.

• 디지털콘텐츠학회 논문지
• /
• 제16권4호
• /
• pp.645-650
• /
• 2015

본 논문에서는 완성도 높은 3D 콘텐츠가 부족한 상황에서 고품질의 3D 콘텐츠 제작을 위한 입체 값 분석을 통한 과도한 입체 장면 및 장면 전환 영상을 검출하여 3D 콘텐츠 제작 가이드라인에 맞는 안정적인 입체 영상을 제작할 수 있는 입체 값 분석 기술을 제안한다. 입력된 좌, 우 영상을 이용하여 탐색범위 제한을 통하여 깊이 맵을 구하고 상영되는 스크린 크기에 맞춰 전경 및 배경의 대상 물체의 돌출 영역과 후퇴 영역의 입체 값을 계산한다. 돌출과 후퇴영역이 3D 입체 영상 제작 가이드라인에 벗어나는 장면 및 이전 장면과 과도하게 입체 값 변화가 일어나는 장면을 검출한다. 입체 값 분석 툴을 통해 검출된 장면은 후반 작업에서 입체 값 조절을 통해 안정적인 3D 입체 영상을 제작하는데 도움을 줄 수 있다.