• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2015년도 제52차 하계학술대회논문집 23권2호
• /
• pp.262-263
• /
• 2015

본 논문에서는 마이크로소프트 키넥트 센서를 이용한 실시간 성능의 3차원 환경 복원 알고리즘을 소개한다. 기존의 멀티키넥트 시스템을 확장하여 총 열두대의 키넥트를 사용하는데, 키넥트의 높은 대역폭 문제를 해결하기 위하여 키넥트가 여섯 대씩 연결된 두 대의 데스크탑을 UDP 통신으로 연결하였고, 각 키넥트로부터 들어오는 3차원 포인트클라우드로부터 확률적인 3차원 환경복원을 하기 위하여 옥토맵 알고리즘을 차용하였다. 또한, GPU를 연산에 활용함으로써 실시간 성능을 확보하였다.

• 한국정보통신학회논문지
• /
• 제21권3호
• /
• pp.558-567
• /
• 2017

본 연구에서는 다수의 키넥트 센서를 이용하여 효율적인 실시간 운동 자세 추정 시스템을 설계하고 개발하였다. 이 시스템은 정면과 측면에 키넥트 센서를 사용하여, 한 개로 추적이 어려웠던 사용자의 특정 자세 (예를 들어, 무릎컬 또는 런지)를 보다 정확하게 측정하고 인식하는 것을 목적으로 한다. 그리고 추후 다양한 자세를 지원할 수 있도록 확장 가능하고 모듈화 된 방법으로 설계되었다. 이 시스템은 여러 클라이언트와 유니티 3D 서버로 구성된다. 클라이언트는 키넥트 골격 데이터를 처리하여 서버로 전송한다. 서버는 다중 키넥트를 보정하고, 각도와 거리를 기반으로 한 특징 값 추출하며 여러 대의 키넥트로부터 계산된 특징 값의 가중 평균을 사용하여 자세 인식 모델을 기반으로 자세 추정 알고리즘을 적용한다. 본 논문은 다중 키넥트 센서를 이용한 인간 운동 자세 추정 시스템의 설계 및 구현 방법을 제시하고, 체험형 유니티 3D 운동 게임에 적용한 예시를 설명한다.

• 한국멀티미디어학회논문지
• /
• 제15권6호
• /
• pp.827-836
• /
• 2012

키넥트의 성공적인 등장 이후 이 센서를 이용하여 사용자의 아바타에 해당하는 3차원 캐릭터의 움직임을 제어하는 많은 인터액티브 콘텐츠가 제작되었다. 하지만, 키넥트의 특성 상 사용자는 키넥트를 정면으로 바라보아야 하며, 모션 또한 제자리에서 수행할 수 있는 동작 정도만으로 국한되었다. 이 단점은 게임에서 가장 중요한 요구기능 중 하나인 가상공간 내비게이션을 수행하지 못하게 하는 근본적인 이유가 되었다. 본 논문은 이와 같은 단점을 해결하기 위한 새로운 방법을 제안한다. 두 단계로 이루어진 본 방법은 첫 번째 단계로서 사용자의 내비게이션 의도를 파악하기 위해 제자리 걷기 동작 제스처인식을 수행한다. 내비게이션 의도가 파악되면, 다음 단계에 현재 제자리 걷기동작을 상체와 하체 모션으로 자동으로 분리한 후, 미리 입력 받은 하체모션캡처 데이터를 현재 캐릭터 속도를 반영하여 수정한 뒤 분리된 원래 하체모션과 자연스럽게 교체한다. 본 논문에서 제안된 알고리즘을 이용하면, 키넥트 센서를 통해 사용자의 상체 모션을 그대로 반영함과 동시에 모션캡처 데이터를 이용하여 하체 동작을 실제 걷는 동작으로 바꾸어주기 때문에 사용자가 조정하는 3차원 캐릭터는 가상공간을 자연스럽게 내비게이션할 수 있다.

• 디지털융복합연구
• /
• 제12권3호
• /
• pp.255-261
• /
• 2014

디지털 카메라, 스마트폰, 타블렛과 같은 스마트 기기의 대중화와 소셜 네트워크 서비스를 통해서 사진과 같은 멀티미디어 데이터의 양이 빠르고, 급격하게 확산되고 있다. 사진 검색 방법은 키워드 기반의 검색 방법, 예제 기반의 검색 방법, 시각화 질의 기반의 검색 방법의 세 가지 분류될 수 있다. 이전에 연구된 사진 검색 기법은 일반 PC 환경에 최적화되었기 때문에 최근에 등장한 스마트 TV 환경에서 사진 검색하기 위한 방법으로 사용하는 것은 적합하지 않은 상황이다. 본 논문에서는 스마트 TV 환경에서 키넥트를 이용한 소셜 네트워크에 존재하는 사진 검색 시스템을 제안하였다. 이를 위해서 키넥트 센서를 사용하여 마우스의 컨트롤을 제어할 수 있도록 구현하였으며, 제안하는 시스템의 검색 결과는 임계값이 0.7일 때, 평균 재현율과 평균 정확도는 각각 81%, 80%의 성능을 보였다.

• 지능정보연구
• /
• 제20권1호
• /
• pp.1-14
• /
• 2014

최근 관람객의 반응에 따라 실시간으로 대응하여 관객의 몰입과 만족도를 증대시키는 인터랙티브 전시 서비스에 대한 학계와 산업계의 관심이 높아지고 있다. 이러한 인터랙티브 전시 서비스를 효과적으로 구현하기 위해서는 관객의 반응을 통해 해당 관객이 느끼는 감정 상태를 추정할 수 있는 지능형 기술의 도입이 요구된다. 인간의 감정 상태를 추정하기 위한 시도들은 많은 연구들에서 이루어져 왔고, 그 중 대부분은 사람의 얼굴 표정이나 소리 반응을 통해 감정 상태를 추정하는 방식을 도입하고 있다. 하지만, 최근 소개되고 있는 연구들에 따르면 단일 반응이 아닌 여러 반응을 종합적으로 고려하는 이른바 멀티 모달(multimodal) 접근을 사용했을 경우, 인간의 감정 상태를 보다 정확하게 추정할 수 있다. 이러한 배경에서 본 연구는 키넥트 센서를 통해 측정되는 관객의 얼굴 표정, 몸짓, 움직임 등을 종합적으로 고려한 새로운 멀티모달 감정 상태 추정 모형을 제안하고 있다. 제안모형의 예측 기법으로는 방대한 양의 데이터를 효과적으로 처리하기 위해, 몬테칼로(Monte Carlo) 방법인 계층화 샘플링(stratified sampling) 방법에 기반한 다중회귀분석을 적용하였다. 제안 모형의 성능을 검증하기 위해, 15명의 피실험자로부터 274개의 독립 및 종속변수들로 구성된 602,599건의 관측 데이터를 수집하여 여기에 제안 모형을 적용해 보았다. 그 결과 10~15% 이내의 평균오차 범위 내에서 피실험자의 쾌/불쾌도(valence) 및 각성도(arousal) 상태를 정확하게 추정할 수 있음을 확인할 수 있었다. 이러한 본 연구의 제안 모형은 비교적 구현이 간단하면서도 안정성이 높아, 향후 지능형 전시 서비스 및 기타 원격학습이나 광고 분야 등에 효과적으로 활용될 수 있을 것으로 기대된다.

• 한국멀티미디어학회논문지
• /
• 제21권12호
• /
• pp.1493-1503
• /
• 2018

We propose an object recognition system and experiential game contents using Kinect to maximize object recognition rate by utilizing underwater robots. we implement an ice hockey game based on object-aware interactive contents to validate the excellence of the proposed system. The object recognition system, which is a preprocessor module, is composed based on Kinect and OpenCV. Network sockets are utilized for object recognition communications between C/S. The problem of existing research, degradation of object recognition at long distance, is solved by combining the system development method suggested in the study. As a result of the performance evaluation, the underwater robot object recognized all target objects (90.49%) with 80% of accuracy from a 2m distance, revealing 42.46% of F-Measure. From a 2.5m distance, it recognized 82.87% of the target objects with 60.5% of accuracy, showing 34.96% of F-Measure. Finally, it recognized 98.50% of target objects with 59.4% of accuracy from a 3m distance, showing 37.04% of F-measure.