• 대한기계학회논문집 C: 기술과 교육
• /
• 제1권2호
• /
• pp.205-210
• /
• 2013

본 연구에서는 스키 시뮬레이터의 사용자 감응형 제어를 위한 물리모델과 동작인식 시스템의 개발되었으며, 스키 선수의 자세 변화에 따른 스키 슬로프 상에서의 거동과의 부합성 확보를 위하여 실제 현장 실험데이터의 회귀분석을 통해 동작인식 시스템에 사용될 파라미터 및 관계식을 도출하였다. 개발된 물리모델 기반 스키 동작 인식 시뮬레이터는 실시간으로 Kinect 장치를 사용하여 사용자의 관절별 질량을 분석하여, 정확한 체중심을 추정하고, 시뮬레이터 하드웨어에서 적용할 수 있도록 힘, 속도, 가속도에 대한 피드백을 전달하도록 구성되었다. 본 연구결과는 스키시뮬레이터의 인식모듈로 사용되었으며, 물리모델 기반 가상 스포츠 시뮬레이터 제작에 응용 할 수 있는 자료로 활용될 것이다.

• 한국콘텐츠학회논문지
• /
• 제16권3호
• /
• pp.43-51
• /
• 2016

본 논문에서는 실시간 방송 및 스마트 미러 등과 같은 사용자 개인 또는 다른 사용자들과의 상호 작용이 가능한 인터렉티브 텔레프롬프터의 개념을 소개, 논의하고 실제 제작 사례를 제시한다. 이 적용 분야에서는 사용자 자신 또는 사용자와 제3자 사이의 시선의 일치가 심리적인 측면과 비음성적 커뮤니케이션에서 중요한 역할을 차지한다. 그러나 일반적인 모니터와 카메라의 조합만으로는 실제 거울을 보는 것과 같은 시선 일치를 구현하기가 쉽지 않기 때문에, 기존 방송 현장에서 널리 사용하는 텔레프롬프터의 원리를 응용한다. 제안하는 설계에서는 기존 방식과는 달리 깊이 정보를 통한 제스처 인식까지 구현하며 가시광선 정보와 적외선 정보 각각의 효율적인 처리를 위해서 텔레프롬프터에서 핵심적인 역할을 담당하는 빔 스플리터의 설계 사례와 실험 결과를 제시한다.

• 디지털콘텐츠학회 논문지
• /
• 제13권1호
• /
• pp.91-99
• /
• 2012

우리는 본 논문에서 아날로그 영역의 퀴즈 게임을 디지털화시키는 작업을 소개한다. 우리는 퀴즈 진행, 퀴즈 참가자 파악, 문제 제시, 먼저 손든 참가자 인식, 정오답 판단, 점수 합산, 승리팀 판단 등 기존의 퀴즈 게임이 아날로그 방식으로 수행해온 작업을 디지털화시키는 작업을 수행하였다. 이를 자동화하기 위해 최근 주목받기 시작한 키넥트 카메라를 이용하여 깊이 영상을 입력받아, 사용자들의 위치를 파악하고 사용자 위주로 정의된 제스처를 인식하는 알고리즘을 고안하였다. 영상의 깊이 값의 분포를 분석하여 퀴즈 참가자들의 상체를 검출하고 사용자들의 분할하였고 손 영역을 검출하였다. 또한 손바닥, 주먹, 기타 손 모양을 인식하기 위한 특징 추출 및 판단 함수를 고안하여 사용자가 퀴즈 보기를 선택할 수 있게 하였다. 구현된 퀴즈 응용 프로그램은 실시간 테스트에서 매우 만족스러운 제스처 인식 결과를 보였으며 원활한 게임 진행이 가능하였다.

• 전자공학회논문지
• /
• 제51권2호
• /
• pp.69-75
• /
• 2014

기존의 피플 카운팅 시스템(People Counting System)은 주로 오버헤드(Overhead) 시점에 설치된 단일 카메라를 활용하기 때문에, 겹침 및 가림 현상과 일정 크기 이상의 소지품, 급격한 조명 변화와 같은 외부 환경적 요인들로 인해 객체 인식에 장애가 발생하고, 다양한 환경에서 카운팅을 수행하기에 어려움이 존재한다. 이에 본 논문에서는 기존 단일 시점 피플 카운팅 시스템의 인식 장애 개선 및 외부 환경적 요인들에 보다 강인하게 카운팅할 수 있도록, 오버헤드 및 전면 시점에 두 개의 깊이 카메라를 활용하는 얼굴 나이 그룹별 피플 카운팅 시스템을 제안한다. 제안 시스템은 오버헤드 영상 처리, 전면 영상 처리, 동일 객체 판별, 얼굴 나이 그룹 분류, 입퇴장 카운팅의 총 5가지 처리를 통해 얼굴 나이 그룹별 피플 카운팅을 수행한다. 제안 시스템을 C++, OpenCV 및 Kinect SDK를 기반으로 구현하여, 나이 그룹별로 10명씩 총 40명을 대상으로 피플 카운팅 성능과 나이 그룹 분류 성능을 각각 평가하였다. 성능 평가 결과는 피플 카운팅에서 약 98%의 정확도를 나타냈고, 나이 그룹 분류는 약 74.23%의 정확도를 보였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권2호
• /
• pp.763-774
• /
• 2015

Hand posture recognition has been a wide region of applications in Human Computer Interaction and Computer Vision for many years. The problem arises mainly due to the high dexterity of hand and self-occlusions created in the limited view of the camera or illumination variations. To remedy these problems, a hand posture recognition method using 3-D point cloud is proposed to explicitly utilize 3-D information from depth maps in this paper. Firstly, hand region is segmented by a set of depth threshold. Next, hand image normalization will be performed to ensure that the extracted feature descriptors are scale and rotation invariant. By robustly coding and pooling 3-D facets, the proposed descriptor can effectively represent the various hand postures. After that, SVM with Gaussian kernel function is used to address the issue of posture recognition. Experimental results based on posture dataset captured by Kinect sensor (from 1 to 10) demonstrate the effectiveness of the proposed approach and the average recognition rate of our method is over 96%.

• IEIE Transactions on Smart Processing and Computing
• /
• 제4권4호
• /
• pp.281-290
• /
• 2015

Human action recognition from a video scene has remained a challenging problem in the area of computer vision and pattern recognition. The development of the low-cost RGB depth camera (RGB-D) allows new opportunities to solve the problem of human action recognition. In this paper, we present a comprehensive review of recent approaches to human action recognition based on depth maps, skeleton joints, and other hybrid approaches. In particular, we focus on the advantages and limitations of the existing approaches and on future directions.

• 방송공학회논문지
• /
• 제17권3호
• /
• pp.437-446
• /
• 2012

흑백 혹은 컬러 영상과 같은 2차원 정보를 사용한 얼굴 검출 알고리즘에 관한 연구가 수십 년 동안 이루어져 왔다. 최근에는 저가 range 센서가 개발되어, 이를 통해 3차원 정보 (깊이 정보: 카메라와 물체사이의 거리를 나타냄)를 손쉽게 이용함으로써 얼굴의 특징을 높은 신뢰도로 추출하는 것이 가능해졌다. 대부분 사람 얼굴에는 3차원적인 얼굴의 구조적인 특징이 있다. 본 논문에서는 흑백 영상과 깊이 영상을 사용하여 얼굴을 검출하는 알고리즘을 제안한다. 처음에는 흑백 영상에 adaboost를 적용하여 얼굴 후보 영역을 검출한다. 얼굴 후보 영역의 위치에 대응되는 깊이 영상에서의 얼굴 후보 영역을 추출한다. 추출된 영역의 크기를 $5{\times}5$ 영역으로 분할하여 깊이 값의 평균값을 구한다. 깊이 값들의 평균값들 간에 순위를 매김으로써 블록 순위 패턴이 생성된다. 얼굴 후보 영역의 블록 순위 패턴과 학습 데이터를 사용하여 미리 학습된 템플릿 패턴을 매칭함으로써 최종 얼굴 영역인지 아닌지를 판단할 수 있다. 제안하는 방법의 성능을 Kinect sensor로 취득한 실제 영상으로 실험하였다. 실험 결과 true positive를 잘 보존하면서 많은 false positive들을 효과적으로 제거하는 것을 보여준다.

• 한국멀티미디어학회논문지
• /
• 제19권9호
• /
• pp.1647-1658
• /
• 2016

RGB+D database has been widely used in object recognition, object tracking, robot control, to name a few. While rapid advance of active depth sensing technologies allows for the widespread of indoor RGB+D databases, there are only few outdoor RGB+D databases largely due to an inherent limitation of active depth cameras. In this paper, we propose a novel method used to build outdoor RGB+D databases. Instead of using active depth cameras such as Kinect or LIDAR, we acquire a pair of stereo image using high-resolution stereo camera and then obtain a depth map by applying stereo matching algorithm. To deal with estimation errors that inevitably exist in the depth map obtained from stereo matching methods, we develop an approach that estimates confidence of depth maps based on unsupervised learning. Unlike existing confidence estimation approaches, we explicitly consider a spatial correlation that may exist in the confidence map. Specifically, we focus on refining confidence feature with the assumption that the confidence feature and resultant confidence map are smoothly-varying in spatial domain and are highly correlated to each other. Experimental result shows that the proposed method outperforms existing confidence measure based approaches in various benchmark dataset.

• International Journal of Contents
• /
• 제13권1호
• /
• pp.68-75
• /
• 2017

Interactive Typography is a process where a user communicates by interacting with text and a moving factor. This research covers interactive typography using real-time response to a user's gesture. In order to form a language-independent system, preprocessing of entered text data presents image data. This preprocessing is followed by recognizing the image data and the setting interaction points. This is done using computer vision technology such as the Harris corner detector and contour detection. User interaction is achieved using skeleton information tracked by a depth camera. By synchronizing the user's skeleton information acquired by Kinect (a depth camera,) and the typography components (interaction points), all user gestures are linked with the typography in real time. An experiment was conducted, in both English and Korean, where users showed an 81% satisfaction level using an interactive typography system where text components showed discrete movements in accordance with the users' gestures. Through this experiment, it was possible to ascertain that sensibility varied depending on the size and the speed of the text and interactive alteration. The results show that interactive typography can potentially be an accurate communication tool, and not merely a uniform text transmission system.

• 한국CDE학회논문집
• /
• 제21권3호
• /
• pp.296-305
• /
• 2016

This paper proposes a framework to automatically align Dental range image captured by depth sensors like the Microsoft Kinect. Aligning dental images by intraoral scanning technology is a difficult problem for applications requiring accurate model of dental-scan datasets with efficiency in computation time. The most important thing in dental scanning system is accuracy of the dental prosthesis. Previous approaches in intraoral scanning uses a Z-buffer ICP algorithm for fast registration, but it is relatively not accurate and it may cause cumulative errors. This paper proposes additional Alignment using the rough result comes after intraoral scanning alignment. It requires that Each Depth Image of the total set shares some overlap with at least one other Depth image. This research implements the automatically additional alignment system that aligns all depth images into Completed model by computing a network of pairwise registrations. The order of the each individual transformation is derived from a global network and AABB box overlap detection methods.