• Journal of Digital Contents Society
• /
• v.15 no.4
• /
• pp.473-480
• /
• 2014

As the use of computer has been popularized these days, an active research is in progress to make much more convenient and natural interface compared to the existing user interfaces such as keyboard or mouse. For this reason, there is an increasing interest toward Microsoft's motion sensing module called Kinect, which can perform hand motions and speech recognition system in order to realize communication between people. Kinect uses its built-in sensor to recognize the main joint movements and depth of the body. It can also provide a simple speech recognition through the built-in microphone. In this paper, the goal is to use Kinect's depth value data, skeleton tracking and labeling algorithm to recognize information about the extraction and movement of hand, and replace the role of existing peripherals using a virtual mouse, a virtual keyboard, and a speech recognition.

• ETRI Journal
• /
• v.44 no.2
• /
• pp.286-299
• /
• 2022

Human activity recognition in real time is a challenging task. Recently, a plethora of studies has been proposed using deep learning architectures. The implementation of these architectures requires the high computing power of the machine and a massive database. However, handcrafted features-based machine learning models need less computing power and very accurate where features are effectively extracted. In this study, we propose a handcrafted model based on three-dimensional sequential skeleton data. The human body skeleton movement over a frame is computed through joint positions in a frame. The joints of these skeletal frames are projected into two-dimensional space, forming a "movement polygon." These polygons are further transformed into a one-dimensional space by computing amplitudes at different angles from the centroid of polygons. The feature vector is formed by the sampling of these amplitudes at different angles. The performance of the algorithm is evaluated using a support vector machine on four public datasets: MSR Action3D, Berkeley MHAD, TST Fall Detection, and NTU-RGB+D, and the highest accuracies achieved on these datasets are 94.13%, 93.34%, 95.7%, and 86.8%, respectively. These accuracies are compared with similar state-of-the-art and show superior performance.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2013.01a
• /
• pp.53-54
• /
• 2013

본 논문에서는 Kinect에서 제공하는 조인트와 스캘리톤 정보를 활용하여 Windows Phone 7 게임을 설계하고 구현한다. 이 게임은 Kinect를 사용하여 조인트의 x, y, z 좌표값 정보를 활용하면 Windows 화면의 depth 영상에 골격들을 표시할 수 있도록 구현한다. 또한 몸을 움직일 때 마다 각 관절 정보인 조인트를 추적하여 특정 포인트를 찾아내는 기능을 구현하여 인체의 움직임을 감지할 수 있도록 구현한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• v.11 no.2
• /
• pp.1019-1031
• /
• 2017

In this study, we propose a new method for simulating water responding to human motion. Motion data obtained from motion-capture devices are represented as a jointed skeleton, which interacts with the velocity field in the water simulation. To integrate the motion data into the water simulation space, it is necessary to establish a mapping relationship between two fields with different properties. However, there can be severe numerical instability if the mapping breaks down, with the realism of the human-water interaction being adversely affected. To address this problem, our method extends the joint velocity mapped to each grid point to neighboring nodes. We refine these extended velocities to enable increased robustness in the water solver. Our experimental results demonstrate that water animation can be made to respond to human motions such as walking and jumping.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.07a
• /
• pp.163-164
• /
• 2019

본 논문에서는 Kinect Sensor를 활용하여 사용자의 뒤틀린 자세를 교정하는데 도움을 줄 수 있는 어플리케이션을 설계하고 구현한다. 이 어플리케이션은 사용자의 자세 교정 부위 별로 분류하여 제시함으로써 체계적인 교정과 운동 효과를 볼 수 있는 장점이 있다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.01a
• /
• pp.77-78
• /
• 2023

본 논문에서는 키넥트 센서 기반의 게임 애플리케이션을 설계하고 구현한다. 이 게임 애플리케이션은 키넥트 센서에서 센싱한 사용자의 동작을 게임 내의 시작 및 점프 기능에 연동한 달리기 게임이다. 이 달리기게임은 코인을 기반으로 점수를 획득하는 게임이다. 스마트폰 게임과 같이 손가락만 사용하는 게임이 아닌 몸 전체를 사용하여 운동 효과 및 손목터널 증후군을 예방할 수 있는 기능을 제공한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2024.01a
• /
• pp.231-232
• /
• 2024

본 논문에서는 키넥트 센서 기반의 쓰레기 분리수거 게임을 설계하고 구현한다. 이 애플리케이션은 키넥트 센서의 스켈레톤 인식 기능을 통해 사용자를 게임 속 분리 수거통으로 표현하게 하여 분리 수거 대상 품목에 해당하는 개체에 닿으면 점수를 증가시킨다. 만일 일반 쓰레기에 닿을 시 3회의 기회가 카운트 되어 전부 소진히게 되면 게임이 종료되도록 구현한다. 해당 게임을 시행함으로써 분리수거에 적극적인 참여를 도모하여 이에 따른 행동을 취함으로 쓰레기 문제에 대한 인식을 높이고, 분리수거에 대한 재미와 도전을 제공한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2024.01a
• /
• pp.229-230
• /
• 2024

본 논문에서는 키넥트 센서 기반의 치매 예방 애플리케이션을 설계하고 구현한다. 이 애플리케이션은 노년층의 치매 예방을 위해 기억력을 향상시키고 간단한 동작으로 운동을 촉진할 수 있는 햄버거 만들기 게임을 구현한다. 햄버거 만들기 게임은 키넥트 센서 기반으로 조인트와 스켈레톤 기능을 활용하여 하늘에서 떨어지는 재료들을 순서에 맞게 획득하여 햄버거를 완성함으로써 점수를 얻는다. 사용자들은 제한 시간이 끝날 때까지 계속 진행하며 순서를 기억해 내는 과정을 통해 기억력을 향상시키고, 재료를 잡기 위한 활동적인 움직임으로 치매 예방에 도움이 되는 운동 기능을 제공한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2024.01a
• /
• pp.93-94
• /
• 2024

본 논문에서는 키넥트 센서 기반의 치매 예방을 위한 카드 뒤집기 게임을 설계하고 구현한다. 이 게임은 사용자의 기억력 향상과 두뇌 활동 촉진에 따른 치매 예방을 목표로 한다. 키넥트 센서를 활용하여 사용자의 손 움직임을 감지하고, 이를 통해 게임 내에서 마우스 포인터의 움직임과 클릭 동작을 구현한다. 게임을 진행하면서 사용자는 뇌 활동뿐만 아니라 미세한 손의 움직임을 통한 운동을 유도하여 노인층의 두뇌와 신체 활성화를 기대한다. 이 게임은 사용자에게 즐거운 게임 경험과 신체 활동을 통한 두뇌 활성화를 제공하여, 치매를 예방할 수 있도록 한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• v.12 no.3
• /
• pp.1189-1204
• /
• 2018

Detecting and capturing 3D human structures from the intensity-based image sequences is an inherently arguable problem, which attracted attention of several researchers especially in real-time activity recognition (Real-AR). These Real-AR systems have been significantly enhanced by using depth intensity sensors that gives maximum information, in spite of the fact that conventional Real-AR systems are using RGB video sensors. This study proposed a depth-based routine-logging Real-AR system to identify the daily human activity routines and to make these surroundings an intelligent living space. Our real-time routine-logging Real-AR system is categorized into two categories. The data collection with the use of a depth camera, feature extraction based on joint information and training/recognition of each activity. In-addition, the recognition mechanism locates, and pinpoints the learned activities and induces routine-logs. The evaluation applied on the depth datasets (self-annotated and MSRAction3D datasets) demonstrated that proposed system can achieve better recognition rates and robust as compare to state-of-the-art methods. Our Real-AR should be feasibly accessible and permanently used in behavior monitoring applications, humanoid-robot systems and e-medical therapy systems.