• 스마트미디어저널
• /
• 제1권3호
• /
• pp.29-35
• /
• 2012

깊이영상기반 렌더링(depth image-based rendering, DIBR)이란 색상 영상과 각 화소에 대응하는 거리 정보로 이루어진 깊이 영상(depth map)을 이용하여 가상 시점에서의 영상을 합성하는 기술을 말한다. DIBR을 이용하면 3차원 TV에 적합한 컨텐츠를 생성할 수 있지만, 가상 시점에서의 영상을 합성하는 과정에서 원영상에 존재하지 않는 영역, 즉, 비폐색(disocclusion) 영역이 드러나는 등 여러 가지 문제가 발생한다. 본 논문에서는 구조광으로 깊이 정보를 획득하는 Kinect 깊이 카메라를 이용한 가상시점 영상생성 기술을 제안한다. 깊이 카메라로부터 색상 영상과 그에 대응하는 깊이 영상을 획득한 다음, 깊이 영상에 대한 전처리 기술을 수행한다. 전처리가 끝난 깊이 영상은 중간 시점으로 워핑되고, 워핑 과정에서 발생하는 절삭 오차를 제거하기 위해 Median 필터링을 적용한다. 그런 다음, 색상 영상은 워핑된 깊이 영상의 깊이 값을 사용해서 중간 시점으로 워핑된다. 비폐색(disocclusion) 영역을 채우기 위해 배경 기반의 인페인팅 기술을 적용한다. 실험 결과를 통해, 본 논문에서 제안한 방법이 자연스러운 스테레오 영상을 생성한 것을 확인할 수 있었다.

• 한국정보통신학회논문지
• /
• 제21권6호
• /
• pp.1237-1242
• /
• 2017

컴퓨터 비전은 인공 지능 기술을 통해 인간의 시각 시스템을 모방해 주변 환경을 보다 정확하게 인식하는 새로운 이미지 센서 기능으로 각광받고 있다. 본 논문에서는 사물감지 및 거리측정 기능이 있는 새로운 깊이 센서인 키넥트(Kinect) 카메라를 통해, 무인 또는 유인 차량, 로봇 및 드론 등을 위한 컴퓨터 비전의 가장 중요한 기능들을 대상으로 시험을 진행하였다. 키넥트 카메라를 통해 시야 내에 있는 사물의 자리 또는 위치를 예측하고, 실제 사물이 아닌 픽셀을 무시해 처리 시간을 줄일 수 있도록 감지한 사물이 실제 사물인지 확인하여 깊이 센터를 통해 정확하게 거리를 측정한다. 실험 결과, 해당 거리센서는 좋은 결과를 나타냈으며, 추가 프로세싱을 위한 컴퓨터 비전 어플리케이션의 핵심 기능인 사물감지와 거리측정에 키넥트 카메라를 사용한다.

• 융합신호처리학회논문지
• /
• 제18권2호
• /
• pp.68-75
• /
• 2017

본 연구에서는 이동 물체의 색상이 배경 내 색상과 동일하거나 유사한 색상이 존재하는 경우 컬러기반에서 효과적으로 이동 물체의 추적 방법을 다루고 있다. 대표적인 컬러 기반 추적방법인 CamShift 알고리즘은 배경 영상에 이동물체의 색상이 존재하는 경우 불안정한 추적을 보여주고 있다. 이러한 단점을 극복하기 위해 본 논문에서는 물체의 Depth 정보를 병합한 CamShift 알고리즘을 제안하고 있다. Depth 정보 영상의 모든 픽셀의 거리정보를 측정하는 Kinect 장치로부터 구할 수 있다. 실험결과 이동물체의 거리정보를 병합시킨 제안된 추적 방법은 기존 CamShift 알고리즘의 불안정한 추적기능을 보완하였고, CamShift 알고리즘만 사용한 경우와 비교해 볼 때 추적성능을 향상시켰다.

• 한국컴퓨터정보학회논문지
• /
• 제19권12호
• /
• pp.197-207
• /
• 2014

본 논문에서는 실용적인 TOF 카메라인 키넥트(Kinect) 한 대를 이용하여 골프 스윙의 자동 분석에 필요한 스윙 특징들을 자동 추출하는 효율적인 방법을 제안하였다. 제안한 방법은 키넥트가 제공하는 관절정보와 깊이(Depth) 정보를 이용하여, 골프스윙에서 중요한 7개의 키프레임과 각 키프레임에서 중요한 스윙특징들을 자동 추출한다. 10명의 골퍼들로부터 구한 50회의 스윙데이터에 대하여 성능을 확인 하였다. 제안한 방법은 설치가 간단하면서도 비용이 저렴한 환경에서 의미 있는 3차원 골프스윙 특징 추출이 가능하고, 구체적인 수치 값을 자동으로 제시하므로 실제적인 자가 스윙분석 시스템 개발에 사용될 수 있다는 점에서 의의가 있다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2017년도 춘계학술대회
• /
• pp.279-282
• /
• 2017

마이크로소프트에서 게임용 자연스러운 사용자 인터페이스를 위해 개발된 깊이 카메라인 키넥트 깊이 측정 센서는 컴퓨터 비전 분야에 있어 매우 유용한 도구이다. 키넥트의 깊이 측정 센서와 그 높은 프레임률로 인해, 본 논문에서는 키넥트 카메라를 사용해 거리 측정 시스템을 개발하였으며, 이를 이동 시 인간과 같이 사물을 감지하는데 주변 환경을 인지하기 위해 시각 시스템이 필요한 무인 차량에 시험하였다. 즉, 키넥트 깊이 측정 센서를 이용해 가시 범위 내 사물을 감지하고 사물에서 시각 센서의 거리 측정 시스템을 개선한다. 감지된 사물을 정밀하게 확인하여 실제 사물인지, 또는 픽셀 노즈(nose)인지 판단해 실제 사물이 아닌 픽셀을 무시함으로써 처리 시간을 줄인다. 이미지 처리를 위한 오픈 CV 라이브러리와 함께 깊이 분할 기법을 활용하여, 키넥트 카메라의 가시 범위 내 사물을 확인할 수 있으며, 해당 사물과 센서 사이의 거리를 측정할 수 있다. 시험 결과에 따르면 본 시스템은 저가 범위 센서인 키넥트 카메라가 장착된 자율주행차에 사용하여 감지된 사물로부터 측정 거리에 이르면 어플리케이션 방식에 따라 프로세스를 처리할 수 있는 것으로 나타났다.

• 전자공학회논문지
• /
• 제52권7호
• /
• pp.93-99
• /
• 2015

본 논문에서는 실감형 원격 영상회의를 위한 시스템을 제안한다. 원격 영상회의에서 카메라는 보통 디스플레이의 중앙이 아닌 측면에 설치가 된다. 이는 시선 불일치를 만들고, 사용자들의 몰입도를 떨어뜨린다. 따라서 실감형 영상회의에 있어서 시선 맞춤은 중요한 부분을 차지한다. 제안하는 방법은 스테레오 카메라와 깊이 카메라를 사용하여 시선 맞춤을 시도한다. 깊이 카메라는 비교적 적은 비용으로 효율적으로 깊이 정보를 생성할 수 있는 키넥트 카메라를 선택하였다. 하지만 키넥트 카메라는 비용적인 장점에도 불구하고 단독으로 사용하기에는 내제하는 단점이 많다. 따라서 스테레오 카메라를 더하여 각 깊이 센서 간의 단점을 보완하는 방법을 개발하였고, 이는 각 깊이 정보 간의 혼합 및 정제 과정을 통해서 실현된다. 시선 맞춤 영상 생성은 후처리를 통한 보완된 깊이 정보를 이용하여 3차원 워핑 기술을 이용하여 구현된다. 실험결과를 보면 제안한 시스템이 자연스러운 시선 맞춤 영상을 제공하는 것을 알 수 있다.

• 한국콘텐츠학회논문지
• /
• 제18권2호
• /
• pp.1-10
• /
• 2018

혼잡한 돈방에서 사육되는 이유자돈들의 공격적인 이상행동들은 축산농가의 경제적 손실을 야기할 뿐만 아니라 동물복지입장에서도 바람직하지 않다. 이러한 문제점의 해결책으로, 최근 IT기반의 연구들이 소개되고 있으나 혼잡한 돈방에서의 돼지 객체 탐지는 여전히 도전적인 문제로 알려져 있다. 본 논문에서는 개별 돼지의 탐지를 위한 키넥트 카메라와 딥러닝 기반의 새로운 모니터링 시스템을 제안한다. 제안된 시스템은 다음과 같다. 1) 키넥트 카메라로부터 취득한 깊이 영상에서 배경 차영상 기법과 깊이 임계값을 이용하여 서있는 돼지만을 탐지한다, 2) 딥러닝 알고리즘 중 최근 가장 빠르고 높은 정확도를 보이는 YOLO(You Only Look Once)를 이용하여 서있는 돼지들을 탐지한다. 본 연구의 실험 결과에 의하면, 제안된 시스템은 경제적인 비용(저가의 키넥트 센서)과 시스템 정확도(평균 99.40% 객체 검출율과 탐지 정확도)로 개별 돼지 객체들을 실시간으로 탐지할 수 있음을 실험적으로 확인하였다.

• 한국정보통신학회논문지
• /
• 제18권11호
• /
• pp.2727-2732
• /
• 2014

최근 마이크로소프트사의 키넥트(Kinect)를 이용하여 객체를 추적하거나 인식하는 기술에 관한 연구가 활발히 진행되고 있다. 이와 같은 환경에서 손을 검출하고 추적하는 기술은 휴먼-인터페이스 개발의 가장 기본적인 기술이다. 본 논문에서는 키넥트를 이용하여 단색으로 제한되지 않은 환경에서 검출된 손의 경계를 개선하는 방법을 제안한다. 제안된 방법은 키넥트 센서의 깊이영상(Depth Image)에서 추출된 손의 영역과 칼라영상에서 피부색(Skin Color)의 검출 결과를 결합하여 손 영역의 정확도를 개선한다. 제안된 방법으로 손 영역의 검출을 수행한 결과 깊이영상만 사용한 방법 보다 손 영역을 검출하는 정확도를 높일 수 있음을 보였다. 제안된 방법이 수화나 제스처 인식 시스템에 적용된다면 정확도 개선에 많은 기여를 하리라 기대한다.

• 제어로봇시스템학회논문지
• /
• 제21권11호
• /
• pp.1003-1007
• /
• 2015

Depth calibration is a procedure for finding the conversion function that maps disparity data from a depth-sensing camera to actual distance information. In this paper, we present an optimal depth calibration method for Kinect$^{TM}$ sensors based on an experimental design and convex optimization. The proposed method, which utilizes multiple measurements from only two points, suggests a simplified calibration procedure. The confidence ellipsoids obtained from a series of simulations confirm that a simpler procedure produces a more reliable calibration function.

• 한국통신학회논문지
• /
• 제37권4C호
• /
• pp.277-282
• /
• 2012

본 논문에서는 실감 원격 영상회의를 위한 시선 맞춤 시스템을 제안한다. 제안하는 방법은 적외선 구조광을 사용하는 Kinect 깊이 카메라를 이용해서 색상 영상과 깊이 영상을 획득하고, 깊이 영상을 이용해서 사용자를 배경으로부터 분리한다. 깊이 카메라로부터 획득한 가공되지 않은 깊이 영상은 다양한 형태의 잡음을 가지고 있기 때문에, 첫번째 전처리 과정으로 결합형 양방향 필터를 사용해서 잡음을 제거한다. 그 다음, 깊이값의 불연속성에 적응적인 저역 필터를 적용한다. 색상 영상과 전처리 과정을 거친 깊이 영상을 이용해서 우리는 가상시점에서의 화자를 3차원 모델로 복원한다. 전체 시스템은 GPU 기반의 병렬 프로그래밍을 통해 실시간 처리가 가능하도록 했다. 최종적으로, 우리는 시선이 조정된 원격의 화자 영상을 얻을 수 있게 된다. 실험 결과를 통해 제안하는 시스템이 자연스러운 화자간 시선 맞춤을 실시간으로 가능하게 하는 것을 확인했다.