• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 추계학술대회
• /
• pp.169-172
• /
• 2015

영상회의 장치에서 눈맞춤 영상을 생성하기 위해 어파인 변환(affine transformation)을 이용하면 반올림 오차(round-off error) 때문에 홀이 발생한다. 이러한 홀을 채우려면 홀 영역을 가리키는 홀 채움 마스크가 필요하다. 홀 채움은 보통 홀 채움 마스크를 참조하여 홀이 아닌 이웃 화소값들을 기반으로 손상된 영상을 복원하는 작업이다. 따라서 홀 영역을 정확히 검출하고 적당한 개수의 이웃 화소값을 참조해야 자연스러운 홀 채움 영상을 생성할 수 있다. 한편, 눈맞춤 영상을 생성할 때 얼굴 특징점을 이용해 얼굴 변환 마스크를 만들고, 얼굴 변환 마스크에만 어파인 변환을 수행한다. 이 논문에서는 얼굴 특징점에도 어파인 변환을 수행하고 수정된 얼굴 변환 마스크를 획득하여 정확한 홀 채움 마스크를 구한다. 또한, 홀 채움 마스크에서 레이블링을 수행하여 큰 홀 영역을 제거한다. 마지막으로, 어파인 변환을 수행할 때 기존 영상의 좌표값을 이용하여 자연스러운 홀 채움 영상을 생성한다. 제안하는 방법으로 홀 채움을 수행한 결과, 연속적인 눈맞춤 동영상에서 이웃값들을 참조하여 홀 채움을 수행한 영상보다 자연스러움을 확인했다.

• 한국정보통신학회논문지
• /
• 제17권12호
• /
• pp.2927-2936
• /
• 2013

본 논문에서는 3D 콘텐츠 생성 시 필요한 깊이 영상의 화질 개선을 위하여 잡음 제거 기법과 홀 채움 기법을 제안한다. 제안하는 기법에서는 컬러 영상과 깊이 영상을 모두 이용하게 된다. 먼저 입력된 컬러 영상을 RGB 색상계에서 HSI 색상계로 변환하여 밝기 영상을 생성한다. 그리고 깊이 영상에서 기준 화소와 주변 화소간의 거리 값, 깊이 값의 차이를 구하고 컬러 영상의 밝기 값 차이를 계산하여 제안하는 잡음 제거 기법에 이용한다. 이후 홀을 탐색하여 홀과 주변 화소간의 거리, 컬러 영상의 밝기 값 차이를 제안하는 홀 채움 기법을 적용하여 깊이 영상 내에 존재하는 홀을 채우게 된다. 마지막으로 실시간 환경에 적용하기 위하여 제안하는 기법을 GPU로 병렬화하여 속도 향상을 하고자 하였다. 실험을 통하여 제안한 기법이 기존 기법에서 발생하는 경계 부분의 흐려짐 현상을 줄이면서 홀을 채우는 것을 확인하였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.281-286
• /
• 2007

비디오 복원(video completion)은 비디오 영상에서 색상값에 대한 정보가 없는 픽셀에 적절한 색을 채워 영상을 복원하는 기술이다. 본 논문에서는 움직이는 두 물체가 교차하는 입력영상으로부터 하나의 물체를 제거함으로 발생하는 홀(hole)을 채우는 비디오 복원 기술을 제안한다. 입력 영상에서의 두 물체 중 카메라와 가까운 물체를 제거함으로써 영상의 홀이 발생하게 되고, 이 홀을 다른 프레임들의 정보를 이용하여 채움으로써 가려진 물체를 복원한다. 모든 프레임에 대해 각 물체의 중심을 추정하여 물체의 중심을 기준으로 시-공간 볼륨(spatio-temporal volume)을 생성하고, 복셀 매칭(voxel matching)을 통한 시간적 탐색을 수행한 후 두 물체를 분리한다. 가리는 물체 영역으로 판단 된 부분을 삭제하고 공간적 탐색 방법을 이용하여 홀을 채워 가려짐이 있는 물체를 복원하는 과정을 소개한다. 실험 결과를 통해 제안한 기술이 비교적 자연스러운 결과를 얻을 수 있다는 것을 보여준다.

• 한국통신학회논문지
• /
• 제37권8A호
• /
• pp.679-688
• /
• 2012

본 논문에서는 3D 워핑(warping) 기법을 이용하여 가상시점 영상생성 시 화질 개선을 위하여 경계 잡음(boundary noise)을 제거하고 홀(hole) 채움을 하는 새로운 기법을 제안한다. 경계 잡음은 가상시점 영상 합성 시기준 시점 영상과 깊이 영상 내 객체의 경계 불일치로 발생되며 홀은 기준시점 영상에서 보상할 수 없는 가려짐 영역(occlusion)으로 정의된다. 제안하는 기법에서는 경계 잡음 제거를 위해 먼저 배경 화소들의 평균과 절대 값 비교를 통해 경계 잡음에 해당되는 화소를 검출하고 검출된 화소를 홀 영역으로 확장한다. 경계 잡음 영역이 포함된 확장된 홀 영역은 나선형 가중 평균(spiral weighted average) 기법과 기울기 탐색(gradient searching) 기법을 혼용하여 채우게 된다. 나선형 가중 평균 기법은 깊이 정보를 사용함으로 객체 정보를 최소로 사용하지만 결과 영상이 번지는 단점이 있다. 기울기 탐색 기법은 영상의 기울기를 이용하여 세밀한 부분을 보존할 수 있는 장점이 있다. 따라서 각각의 결과를 ${\alpha}$ 가중치로 조합하여 생성된 가상 시점은 두 기법의 장점을 동시에 적용하기 때문에 좋은 화질을 얻을 수 있다. 실험을 통해 제안하는 기법의 성능이 기존의 다른 기법보다 우수하다는 것을 확인하였다.

• 스마트미디어저널
• /
• 제3권4호
• /
• pp.28-34
• /
• 2014

최근 깊이 영상 기반 합성 방법을 이용한 가상시점 합성 방법이 3차원 영상의 적용 분야에서 많이 사용되고 있다. 가상 시점 영상은 기존에 알고 있는 영상과 이와 관련된 깊이 영상 정보를 이용하여 카메라로 촬영 하지 않은 가상시점 영상을 생성하게 된다. 하지만 깊이 영상 기반 합성 방법을 이용해 가상시점 영상을 생성할 경우, 깊이 영상을 기반으로 합성하기 때문에 이미지 워핑 과정에서 폐색 영역이 발생하게 된다. 이러한 폐색 영역을 제거하기 위해 지금까지 다양한 홀 채움 방법들이 제안되어 왔다. 동일 색상영역 검색, 수평방향 보간 방법, 수평방향 보외 방법 그리고 다양한 인페인팅 방법들이 홀 채움 방법들로 제안되었다. 하지만 이러한 방법들을 사용하여 텍스쳐 영역의 홀을 제거할 경우 다른 종류의 간섭 현상이 발생하는 문제가 있다. 본 논문에서는 이러한 문제점을 해결하기 위해 다양한 방향성을 고려한 홀 채움 방법을 새롭게 제안하여 확장된 홀 영역을 효율적으로 채우는 방법을 설명한다. 제안된 방법들은 복잡한 텍스쳐들이 있는 배경부분에서 발생하는 홀 영역을 채울 때 성능 효율성을 나타낸다. 방향성을 고려한 홀 채움 방법은 픽셀 단위로 홀 채움 영역 값을 측정하는 과정에서 홀 영역의 주변 텍스쳐 픽셀 값들을 사용하게 된다. 제안한 방법을 이용해 가상시점 영상 합성 결과 발생하는 홀 영역을 기존의 홀 채움 방법보다 보다 더 효율적으로 채울 수 있는 것을 확인할 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2013년도 하계학술대회
• /
• pp.289-292
• /
• 2013

최근 많은 영상처리 연구자들 사이에서 마이크로소프트사의 실시간 깊이센서 '키넥트'가 상당한 관심을 받고 있다. '키넥트'는 실시간으로 깊이정보를 제공함과 동시에 별도의 센서를 부착하지 않고도 컴퓨터와의 인터렉션할 수 있는 가능성을 제공한다. 하지만 '키넥트'의 깊이영상은 홀 영역, 부정확한 경계, 낮은 해상도등의 많은 문제점을 지니고 있다. 이러한 부정확한 깊이 정보는 3차원 렌더링, 가상시점 영상 합성, 모션 인식 등에서 성능 저하를 야기한다. 따라서 본 논문에서는 깊이 정보 품질 향상기법에 관하여 깊이영상 신뢰도를 이용한 도메인 변환기반 해상도 상향 알고리듬을 제안한다. 정확하고 빠르게 홀 영역정보를 추정하기 위해 도메인 변환 기반의 경계 보존 필터링이 사용된다. 또한 다양한 깊이 영상의 노이즈를 효율적으로 제거하기 깊이 영상의 신뢰도를 이용한다. 실험결과를 통하여 제안하는 방법이 효율적으로 홀 영역을 채우고, 부정확한 경계를 제거하여 깊이 영상의 품질을 향상시키는 것을 확인할 수 있다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2011년도 제42회 하계학술대회
• /
• pp.2134-2135
• /
• 2011

전력 설비의 지중화 증가로 인하여 지중 설비에서의 사고 위험성도 증가하고 있다. 본 논문에서는 누전 고장점이 있는 저압 지중접속함(핸드홀)이 침수시 고장점에서 유출되는 누설 전류에 의한 수중 전위를 검출하여 위험을 경보하는 장치를 제작하고, 실제 환경과 유사한 실험장에서 실험하였다. 실험을 통하여 제작한 핸드홀 누전감시장치가 정상 동작함을 확인하였다. 또한 고장점이 존재하지 않거나 전원 공급이 없는 핸드홀의 경우에도 침수시 수중에서 상용주파수 노이즈 전위가 측정됨을 확인하였고, 이런 노이즈 제거 기술에 대한 연구가 추가적으로 필요함을 확인하였다. 침수시 누전 고장점은 평상시에 검출하기 어렵기 때문에 핸드홀 누전 감시 장치의 개발은 사고를 예방함과 동시에 사고를 검출하여 지중선로의 사후 유지 보수에 도움이 될 수 있을 것으로 예상한다.

• 디지털콘텐츠학회 논문지
• /
• 제18권5호
• /
• pp.989-994
• /
• 2017

본 논문은 2D 라이다를 이용해서 포트홀을 검출하는 시스템과 알고리즘을 제안한다. 기존의 포트홀을 검출하는 방법에는 진동, 3D 복원, 영상, 명암을 기반으로 한 방법이 있다. 제안하는 포트홀 검출 시스템은 저가형 LiDAR 두 개를 이용하여 포트홀 검출성능을 개선한다. 포트홀 검출 알고리즘은 LiDAR를 통해 얻은 데이터의 노이즈를 제거하기 위한 전처리과정, 시각화를 위한 클러스터링과 선분추출, 포트홀 검출을 위한 기울기 함수를 구하는 단계로 나뉜다. 기울기 함수를 통해 추출된 데이터의 특징점을 찾아내어 포트홀 여부를 검사하고 포트홀의 깊이와 폭을 측정한다. 2개의 라이다를 활용한 포트홀 검출 시스템을 개발하고, 라이다 장치를 이동하면서 포트홀을 검출함으로써 2D LiDAR를 이용한 3차원 포트홀 검출 시스템의 성능을 보인다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.122-124
• /
• 2015

본 논문에서는 Microsoft 에서 나온 여러 대의 Kinect 를 이용하여 Free Viewpoint TV System 을 구현해 보고자 한다. Kinect 로부터 얻어진 색상 영상과 깊이 영상을 통하여, 실시간으로 두 대의 카메라 사이에서의 가상시점에서 영상이 출력되는 시스템을 설계한다. 또한, 여러 대의 Kinect 를 이용할 때, 간섭현상으로 인해 IR 패턴을 제대로 인식하지 못하여 홀이 생성되는 문제점을 확인하고, Nearest Neighbor 방식과 Inpainting 기법을 사용하여 홀을 제거하는 방식을 소개한다. 실험 결과, 홀의 주변과 비슷한 값으로 홀을 채울 수 있었지만, 홀의 크기에 따라 Edge 경계가 부정확해 지는 현상을 확인할 수 있다.

• 정보처리학회논문지B
• /
• 제14B권5호
• /
• pp.351-360
• /
• 2007

비디오 복원(video completion) 기술은 비디오 영상에서 색상 정보가 없는 픽셀에 적절한 색을 채워 영상을 복원하는 기술이다. 본 논문에서는 움직이는 물체가 서로 교차하는 비디오 영상에서 원하지 않는 물체를 제거하고 이때 발생한 영상 홀(image hole)을 채우는 비디오 복원 기술을 제안한다. 움직이는 카메라에서 획득한 비디오 영상에서 이동하는 두 물체 중 카메라와 가까운 물체를 제거함으로써 가려진 이동물체와 배경에 홀이 발생하게 되고, 이 홀온 다른 프레임들의 정보를 이용하여 채움으로써 새로운 비디오를 생성한다. 입력 영상의 모든 프레임에 대해 각 물체의 중심을 추정하여 물체의 중심을 기준으로 시-공간 볼륨(spatio-temporal volume)을 생성하고, 복셀 매칭(voxel matching)을 통한 시간적 탐색(temporal search)을 수행한 후 두 물체를 분리한다. 가리는 물체 영역으로 판단된 부분을 삭제하고 공간적 탐색(spatial search) 방법을 이용하여 홀을 채워 가려짐이 있는 이동 물체 및 배경을 복원한다. 복원된 영상에서 블렌딩을 통해 솔기(seam)를 제거한다. 비디오카메라로 획득한 두 실영상을 이용하여 실험을 수행한 결과 가려진 물체를 복원한 새로운 비디오 영상을 생성할 수 있었다.