• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.228-231
• /
• 2021

인물의 행동 및 이동을 인식하는 것은 다양한 분야에서 활용될 수 있다. 사람의 행동을 파악하여 니즈를 예상하고 맞춤형 콘텐츠를 제공하거나 행동을 예측하여 범죄나 폭력을 예방하는 등 여러 방면으로 활용 가능하다. 그러나 이동과 현재 위치 정보만으로 인물의 행동을 예측하기에는 한계가 있다. 본 논문에서는 실시간으로 사람의 이동과 행동을 인식하기 위해 Kinect v2가 제공하는 관절 정보와 YOLOv3를 이용하여 실시간으로 사람의 행동을 인식하는 시스템을 제작하였다.

• 한국컴퓨터정보학회논문지
• /
• 제27권3호
• /
• pp.45-52
• /
• 2022

체감형 스포츠 게임은 센서나 카메라를 이용하여 사용자의 신체 움직임을 추적하고 현실감을 느끼게 하는 운동 게임이다. 최근 체감형 스포츠 게임을 학교 체육활동에 사용하기 위해 가상현실 실내 스포츠룸 시스템을 설치하고 있다. 그러나 이러한 시스템은 주로 화면 터치 사용자 상호작용을 사용한다. 본 연구에서는 2차원 벽 터치 인터랙션이 아닌 3차원 공간에서 사용자의 움직임을 추적할 수 있도록 AI 이미지 인식 기술을 사용하는 브이캐치 비전 시스템을 개발했다. 그리고 본 시스템의 운동 효과를 알아보기 위하여 사용성 평가 실험을 진행했다. 실험에서 피험자에게 혈중 산소 포화도와 실시간 심박변이와 키넥트 골격 이동량, 각도 변화량을 측정하여 정량적 운동 효과를 살펴보았다. 실험 결과 브이캐치 비젼 시스템 사용 시 통계적으로 유의미한 심박수 증가와 신체 움직임양 증가로 운동 효과가 있었던 것으로 나타났다. 실험후 설문조사 주관적 평가 결과에서 대부분의 피실험자들은 이 시스템을 사용한 운동이 재미있고 만족스러워했다.

• 한국멀티미디어학회논문지
• /
• 제19권12호
• /
• pp.1927-1935
• /
• 2016

This paper propose a framework for human body parts in RGB-D image. We conduct tasks of obtaining person area, finding candidate areas and local detection in order to detect hand, foot and head which have features of long accumulative geodesic distance. A person area is obtained with background subtraction and noise removal by using depth image which is robust to illumination change. Finding candidate areas performs construction of graph model which allows us to measure accumulative geodesic distance for the candidates. Instead of raw depth map, our approach constructs graph model with segmented regions by quadtree structure to improve searching time for the candidates. Local detection uses HOG based SVM for each parts, and head is detected for the first time. To minimize false detections for hand and foot parts, the candidates are classified with upper or lower body using the head position and properties of geodesic distance. Then, detect hand and foot with the local detectors. We evaluate our algorithm with datasets collected Kinect v2 sensor, and our approach shows good performance for head, hand and foot detection.

• 로봇학회논문지
• /
• 제13권4호
• /
• pp.230-236
• /
• 2018

3D depth perception has played an important role in robotics, and many sensory methods have also proposed for it. As a photodetector for 3D sensing, single photon avalanche diode (SPAD) is suggested due to sensitivity and accuracy. We have researched for applying a SPAD chip in our fusion system of time-of-fight (ToF) sensor and stereo camera. Our goal is to upsample of SPAD resolution using RGB stereo camera. Currently, we have 64 x 32 resolution SPAD ToF Sensor, even though there are higher resolution depth sensors such as Kinect V2 and Cube-Eye. This may be a weak point of our system, however we exploit this gap using a transition of idea. A convolution neural network (CNN) is designed to upsample our low resolution depth map using the data of the higher resolution depth as label data. Then, the upsampled depth data using CNN and stereo camera depth data are fused using semi-global matching (SGM) algorithm. We proposed simplified fusion method created for the embedded system.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 춘계학술대회
• /
• pp.394-395
• /
• 2022

Exergames are playing an important role in healthcare/rehabilitation. It has also been used to improve motivation among patients with reduced cognition. The purpose of this pilot study was to evaluate the feasibility of using augmented reality (AR) with game-based cognitive-motor training programs for executive function, restricted and repetitive behaviors (RRBs) in children with autism spectrum disorder. Sixteen children aged 6 -16 years were randomly allocated to the experimental group and control group. Outcome measures were performed before and after the intervention and included executive function, restricted and repetitive behavior. A satisfactory survey was conducted post-intervention. A statistically significant improvement was observed in working memory and cognitive flexibility in the experimental group (P<0.05). However, despite no statistical improvements in cognitive inhibition and four subscales of RRBs, promising changes were observed in all the subscales of the executive function and the behavioral outcomes. Parents appreciated the program and children enjoyed the interaction with the AR game-based training. The findings of this preliminary feasibility study showed that AR using Kinect v2 motion with a cognitive-motor game content can be used for children with autism. However, there is a need for conducting a large-scale study to evaluate his effectiveness on executive function and restricted and repetitive behaviors.

• 한국지능시스템학회논문지
• /
• 제27권2호
• /
• pp.126-131
• /
• 2017

본 논문에서는 손짓을 이용하여 로봇에게 명령을 내릴 때, 사용자의 여러 가지 손짓 중 의미 있는 동작을 추출하기 위한 방법을 제시한다. 로봇에게 명령을 내릴 때, 사람들의 손짓은 준비동작, 본 동작, 마무리 동작으로 구분할 수 있다. 여기에서 본 동작이 로봇에게 명령을 전달하는 의미 있는 동작이고 다른 동작은 그 동작을 위한 의미 없는 보조 동작이다. 따라서 연속적인 손짓에서 본 동작만을 추출해야 한다. 또한 사람들은 무위식적으로 손을 움직일 수 있는데 이러한 동작들 역시 의미가 없는 동작으로 로봇이 판단하여야 한다. 본 연구에서는 키넥트 센서를 이용하여 획득한 거리영상에서 사람의 골격자료를 획득하여 손을 추출하고, 칼만필터를 이용하여 손의 위치를 추적하면서 의미 있는 손동작과 의미 없는 손동작을 구분하고 은닉 마코프 모델을 이용하여 손짓을 인식한다.

• 방송공학회논문지
• /
• 제20권3호
• /
• pp.414-420
• /
• 2015

3차원 영상 시스템에서 깊이 영상은 3차원 콘텐츠를 표현하는데 있어 매우 중요한 역할을 수행한다. 그러나 깊이 카메라로부터 얻은 원본 깊이 영상은 해상도가 색상 영상에 비해 매우 작고 시간적 흐름의 측면에서 관찰하였을 때 깊이 값이 불안정하게 진동하는 깜빡임 문제가 발생한다. 이 문제는 시청자들이 3차원 콘텐츠를 감상할 때 불편한 느낌을 초래한다. 이 논문에서는 원본 깊이 영상의 저해상도 문제를 해결하기 위해 3차원 워핑과 깊이 가중치가 추가된 결합형 양방향 업샘플링 방법을 사용한다. 다음으로 깊이 영상의 배경 영역에서 발생하는 깜빡임 문제를 해결하기 위해 전경과 배경을 분리한 뒤, 전경 영역에는 업샘플링된 깊이 영상을 사용하고 배경 영역에는 시간적 평균값 필터 영상을 이용했다. 실험결과는 제안하는 방법이 시간적 일관성이 향상된 고해상도의 깊이 영상을 생성함을 보였다.