• 제어로봇시스템학회논문지
• /
• 제21권11호
• /
• pp.1003-1007
• /
• 2015

Depth calibration is a procedure for finding the conversion function that maps disparity data from a depth-sensing camera to actual distance information. In this paper, we present an optimal depth calibration method for Kinect$^{TM}$ sensors based on an experimental design and convex optimization. The proposed method, which utilizes multiple measurements from only two points, suggests a simplified calibration procedure. The confidence ellipsoids obtained from a series of simulations confirm that a simpler procedure produces a more reliable calibration function.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2020년도 제61차 동계학술대회논문집 28권1호
• /
• pp.55-56
• /
• 2020

본 논문에서는 키넥트 센서 기반의 노인 건강 관리 애플리케이션을 설계하고 구현한다. 이 애플리케이션은 체조하기 모드와 두뇌 게임 모드로 구성한다. 체조하기 모드는 모션 인식 기능을 활용하여 스트레칭을 비롯한 다양한 체조 동작을 반복적으로 따라 함으로써 사용자의 건강을 관리할 수 있는 기능을 제공한다. 두뇌게임 모드는 사용자의 기억력을 증진함으로써 치매를 예방할 수 있는 기능을 제공한다. 또한, Unity의 핸드트래킹 기술을 이용하여 두뇌 게임을 하는 동시에 자연스레 팔과 어깨의 운동을 할 수 있도록 게임 화면을 구성한다.

• 지능정보연구
• /
• 제20권1호
• /
• pp.1-14
• /
• 2014

최근 관람객의 반응에 따라 실시간으로 대응하여 관객의 몰입과 만족도를 증대시키는 인터랙티브 전시 서비스에 대한 학계와 산업계의 관심이 높아지고 있다. 이러한 인터랙티브 전시 서비스를 효과적으로 구현하기 위해서는 관객의 반응을 통해 해당 관객이 느끼는 감정 상태를 추정할 수 있는 지능형 기술의 도입이 요구된다. 인간의 감정 상태를 추정하기 위한 시도들은 많은 연구들에서 이루어져 왔고, 그 중 대부분은 사람의 얼굴 표정이나 소리 반응을 통해 감정 상태를 추정하는 방식을 도입하고 있다. 하지만, 최근 소개되고 있는 연구들에 따르면 단일 반응이 아닌 여러 반응을 종합적으로 고려하는 이른바 멀티 모달(multimodal) 접근을 사용했을 경우, 인간의 감정 상태를 보다 정확하게 추정할 수 있다. 이러한 배경에서 본 연구는 키넥트 센서를 통해 측정되는 관객의 얼굴 표정, 몸짓, 움직임 등을 종합적으로 고려한 새로운 멀티모달 감정 상태 추정 모형을 제안하고 있다. 제안모형의 예측 기법으로는 방대한 양의 데이터를 효과적으로 처리하기 위해, 몬테칼로(Monte Carlo) 방법인 계층화 샘플링(stratified sampling) 방법에 기반한 다중회귀분석을 적용하였다. 제안 모형의 성능을 검증하기 위해, 15명의 피실험자로부터 274개의 독립 및 종속변수들로 구성된 602,599건의 관측 데이터를 수집하여 여기에 제안 모형을 적용해 보았다. 그 결과 10~15% 이내의 평균오차 범위 내에서 피실험자의 쾌/불쾌도(valence) 및 각성도(arousal) 상태를 정확하게 추정할 수 있음을 확인할 수 있었다. 이러한 본 연구의 제안 모형은 비교적 구현이 간단하면서도 안정성이 높아, 향후 지능형 전시 서비스 및 기타 원격학습이나 광고 분야 등에 효과적으로 활용될 수 있을 것으로 기대된다.

• 한국인터넷방송통신학회논문지
• /
• 제14권5호
• /
• pp.243-248
• /
• 2014

외부 광원여부에 상관없이 3D정보를 수신할 수 있는 Microsoft의 3D 모션 센서인 키넥트의 Depth frame을 사용하여 물체의 움직임 영역을 감지할 수 있는 방법을 연구하였다. 센서로부터 수신되는 Depth 정보 중 주로 물체의 경계면에 존재하는 노이즈를 제거하기 위해 픽셀의 x, y좌표에 대한 블러링 기법과 z좌표에 대한 주파수 필터를 적용하였다. 또한 인접 픽셀들의 변화량에 따른 군집화 필터를 적용함으로서 움직이는 물체 영역을 추출할 수 있었고 필터 설정에 따라 기준이상의 빠른 움직임을 감지할 수 있도록 하여 이동형 로봇에 응용할 수 있도록 하였다. 특히 IR 카메라에 의하여 만들어지는 Depth frame을 이용함으로써 주야간 모두 제약 없이 사용할 수 있다. 또한 직진 방향으로 움직이는 물체에 대해서도 입체적으로 감지할 수 있어 무인 로봇영역에 응용할 수 있다.

• 한국컴퓨터정보학회논문지
• /
• 제26권4호
• /
• pp.39-46
• /
• 2021

본 논문에서는 혼합현실에서 산업 현장에서 필요한 동작 인식 방법에 대한 방법을 제안한다. 산업 현장에서는 몸통 움직임부터 팔 동작에 이르기까지 상체 전역의 동작(잡고, 들어올리고, 나르는 작업)이 필요하다. 본 논문에서는 무거운 모션 캡처 장비를 사용하지 않으면서 키넥트와 같은 비전 기반이 아닌 센서와 웨어러블 디바이스로 구성된 방법을 사용하고 있다. 몸통 동작과 어깨 동작은 2개의 IMU 센서를 사용하고 있으며, 팔 동작은 마이오 암 밴드를 사용하였다. 총 4개로부터 들어오는 실시간 데이터를 퓨전하여 상체 전 영역에 대한 모션 인식이 가능하도록 하였다. 실험 방법으로서는 실제 옷에 센서를 부착하였고 동기화 작업을 통해 물체 조작을 하였다. 그 결과 동기화 방법을 사용한 방식은 큰 동작과 작은 동작에 있어서 오류가 없었다. 마지막으로 성능 평가를 통해 홀로렌즈 상에서 한손 조작일 경우 평균적으로 50 프레임, 양 손 조작일 경우 60 프레임을 보이는 결과를 나타 내였다.

• 한국농림기상학회지
• /
• 제20권2호
• /
• pp.205-213
• /
• 2018

작물 모델의 개발과 검증에 사용되는 생체중 자료는 파괴적 샘플링을 통해 얻어져 왔다. 파괴적 샘플링이 가지는 단점을 보완하기 위해 저가형 3D 센서인 Kinect 센서와 무료 공개 소프트웨어들을 사용하여 생체중을 추정하는 기법을 개발하였다. 특히, 많은 작물모델들이 개발되어 있지 않은 배추를 대상으로 입체이미지를 생성하여, 그로부터 얻어진 부피와 생체중 추정치의 신뢰도를 분석하고자 하였다. 크기가 다른 배추 결구 부위를 스캔하기 위해 Kinect 센서와, Microsoft가 무상으로 제공하는 Software Development Kit 내 Kinect Fusion Explorer 프로그램을 사용하였다. 개별 배추의 입체이미지를 생성하기 위해 3D 그래픽 편집 소프트웨어인 Meshlab을 활용하여 배경과 불필요한 물체를 수동으로 제거하였다. 또한, 불완전한 입체모델로부터 생체중 추정을 위해 3D 프린터 소프트웨어인 Makerbot Desktop 을 사용하여 배추를 생성하기 위해 필요한 플라스틱 필라멘트 소모량을 추정하였다. 입체모델 편집 프로그램인 Blender를 사용하여 부피를 추정하였을 때, 실제 부피에 비해 17.6%에서 2160.6% 범위의 상당한 오차가 있었다. 반면, 필라멘트 소요량은 실제 배추 생체중 변이의 98.7%를 설명할 수 있었다. 또한, 이들의 상관관계는 5% 수준에서 유의하였다. 이러한 결과들은 직접적인 부피 계산 절차를 제외하더라도 간편하게 생체중을 추정할 수 있음을 확인하였다. Kinect 센서를 사용하여 배추의 생체중 추정이 가능하다는 것이 확인 되었으나, 기존의 고가형 3D 센서에 비해 낮은 해상도와 주간에 활용이 어려운 점이 있다. 그럼에도 불구하고, 배추 생육 모델의 시계열적 검증 자료를 Kinect 센서를 이용하여 간편하고 신속하게 획득할 수 있어 모델의 불확도를 감소하는 데에 기여할 수 있을 것으로 판단된다. 따라서, 후속 연구에서 보다 저렴한 가격대의 3D 센서들을 대상으로 야외 및 주간조건애서 작물의 생체중 측정 가능성에 대해 검토하고 작물 모형 개발 및 개선을 위한 기술개발이 이루어져야 할 것으로 사료된다.

• 제어로봇시스템학회논문지
• /
• 제22권9호
• /
• pp.745-752
• /
• 2016

We suggest an efficient Simultaneous Localization and 3D Polygon Map Building (SLAM) method with Kinect depth sensor for mobile robots in indoor environments. In this method, Kinect depth data is separated into row planes so that scan line segments are on each row plane. After grouping all scan line segments from all row planes into line groups, a set of 3D Scan polygons are fitted from each line group. A map matching algorithm then figures out pairs of scan polygons and existing map polygons in 3D, and localization is performed to record correct pose of the mobile robot. For 3D map-building, each 3D map polygon is created or updated by merging each matched 3D scan polygon, which considers scan and map edges efficiently. The validity of the proposed 3D SLAM algorithm is revealed via experiments.

• 한국콘텐츠학회논문지
• /
• 제17권1호
• /
• pp.137-144
• /
• 2017

얼굴 검출은 복잡한 배경 내에서 다양한 얼굴의 자세로 인해 여전히 어려운 문제에 직면하고 있다. 본 논문은 피부색과 깊이 정보를 기반으로 한 한명 또는 여러 명의 얼굴을 검출하는 효과적인 알고리즘을 제안한다. 먼저 우리는 컬러 영상에서 가우시안 혼합 모델을 이용한 피부색 검출 방법에 대해 소개한다. 그리고 Kinect V2의 깊이 센서를 이용하여 획득한 3차원의 깊이 정보는 배경으로부터 사람의 몸을 분할할 때 유용하다. 그리고 레이블링 과정에서 여러 개의 특징을 이용하여 얼굴이 아닌 영역은 성공적으로 제거된다. 실험 결과를 통해 제안한 얼굴 검출 알고리즘은 다양한 조건과 복잡한 배경에서 얼굴이 효과적으로 검출되는 것을 확인할 수 있다.

• 한국항행학회논문지
• /
• 제17권2호
• /
• pp.247-254
• /
• 2013

본 논문에서는 키넥트 센서를 이용한 AdaBoost 기반 제스처 인식에 관한 알고리즘을 제안한다. 최근 스마트 TV에 대한 보급으로 관련 산업이 주목받고 있다. 기존 리모컨을 이용하여 TV를 컨트롤 하던 시대에서 벗어나 제스처를 이용하여 TV를 컨트롤 할 수 있는 새로운 접근을 제안한다. AdaBoost 학습 모델에 신체 정규화 된 시간 간격 특징 벡터의 집합을 특징 패턴으로 하여, 속도가 다른 동작들을 인식할 수 있도록 하였다. 또한 속도가 다른 다양한 제스처를 인식하기 위해 다중 AdaBoost 알고리즘을 적용하였다. 제안된 알고리즘을 실제 동영상 플레이어와 연결하여 적용하였고, 실험 후 좌표 변화를 이용한 알고리즘에 비해 정확도가 향상되었음을 확인하였다.

• 한국콘텐츠학회논문지
• /
• 제16권3호
• /
• pp.43-51
• /
• 2016

본 논문에서는 실시간 방송 및 스마트 미러 등과 같은 사용자 개인 또는 다른 사용자들과의 상호 작용이 가능한 인터렉티브 텔레프롬프터의 개념을 소개, 논의하고 실제 제작 사례를 제시한다. 이 적용 분야에서는 사용자 자신 또는 사용자와 제3자 사이의 시선의 일치가 심리적인 측면과 비음성적 커뮤니케이션에서 중요한 역할을 차지한다. 그러나 일반적인 모니터와 카메라의 조합만으로는 실제 거울을 보는 것과 같은 시선 일치를 구현하기가 쉽지 않기 때문에, 기존 방송 현장에서 널리 사용하는 텔레프롬프터의 원리를 응용한다. 제안하는 설계에서는 기존 방식과는 달리 깊이 정보를 통한 제스처 인식까지 구현하며 가시광선 정보와 적외선 정보 각각의 효율적인 처리를 위해서 텔레프롬프터에서 핵심적인 역할을 담당하는 빔 스플리터의 설계 사례와 실험 결과를 제시한다.