• 한국정보통신학회논문지
• /
• 제25권5호
• /
• pp.637-644
• /
• 2021

일반적으로, 컴퓨터 비전, 로보틱스, 증강현실 분야에서 3차원 공간 및 3차원 객체 검출 및 인식기술의 중요성이 대두되고 있다. 특히, 마이크로소프트사의 키넥트(Microsoft Kinect) 방식을 사용하는 영상 센서를 통하여 RGB 영상과 깊이 영상을 실시간 획득하는 것이 가능해짐으로 인하여 객체 검출, 추적 및 인식 연구에 많은 변화를 가져오고 있다. 본 논문에서는 다시점 카메라 시스템 상에서의 깊이 기반(RGB-Depth) 카메라를 통해 획득된 영상을 처리하여 3D 복원 영상의 품질을 향상하는 방법을 제안한다. 본 논문에서는 컬러 영상으로부터 획득한 마스크 적용을 통해 객체 바깥쪽 잡음을 제거하는 방법과 객체 안쪽의 픽셀 간 깊이 정보 차이를 구하는 필터링 연산을 결합하여 적용하는 방법을 제시하였다. 각 실험 결과를 통해 제시한 방법이 효과적으로 잡음을 제거하여 3D 복원 영상의 품질을 향상할 수 있음을 확인하였다.

• 한국통신학회논문지
• /
• 제38C권10호
• /
• pp.920-927
• /
• 2013

크로마키 방식에 의한 영상 합성은 색상 정보에 의해 전경 후경을 분리하기 때문에 객체 색상의 제약과 특정 스크린이 위치해 있어야 하는 공간의 제약이 있다. 특히 스테레오스코픽 3D 디스플레이를 위한 영상 합성은 크로마키 방식과는 달리 3D 공간에서의 자연스러운 영상 합성이 요구된다. 본 논문에서는 고해상도의 깊이 정보를 이용하여 깊이 키잉(depth keying) 방식에 의한 3D 공간에서의 스테레오스코픽 영상 합성을 제안하였다. 이를 위해 DSLR과 마이크로소프트사 키넥트 센서간의 카메라 캘리브레이션을 통해 고화질의 깊이 정보 획득 후 RGB 정보와의 정합 과정을 통해 3차원 데이터를 획득하였다. 깊이 정보에 의해 배경과 분리 된 객체는 3차원 공간에서의 포인트 클라우드 형태로 표현되어 가상 배경과 합성하였다. 이후 가상의 스테레오 카메라에 의해 Full HD 스테레오스코픽 비디오 합성 영상 획득 결과를 보였다.

• 대한의용생체공학회:의공학회지
• /
• 제36권5호
• /
• pp.228-234
• /
• 2015

The balance ability significantly decreased in the elderly because of deterioration of the neural musculature regulatory mechanisms. Several studies have investigated methods of improving balance ability using real-time systems, but it is limited by the expensive test equipment and specialized resources. Recently, Kinect system based on depth data has been applied to address these limitations. Little information about accuracy/inaccuracy of Kinect system is, however, available, particular in motion analysis for evaluation of effectiveness in rehabilitation training. Therefore, the aim of the current study was to evaluate accuracy/inaccuracy of Kinect system in specific rotational movement for balance rehabilitation training. Six healthy male adults with no musculoskeletal disorder were selected to participate in the experiment. Movements of the participants were induced by controlling the base plane of the balance training equipment in directions of AP (anterior-posterior), ML (medial-lateral), right and left diagonal direction. The dynamic motions of the subjects were measured using two Kinect depth sensor systems and a three-dimensional motion capture system with eight infrared cameras for comparative evaluation. The results of the error rate for hip and knee joint alteration of Kinect system comparison with infrared camera based motion capture system occurred smaller values in the ML direction (Hip joint: 10.9~57.3%, Knee joint: 26.0~74.8%). Therefore, the accuracy of Kinect system for measuring balance rehabilitation traning could improve by using adapted algorithm which is based on hip joint movement in medial-lateral direction.

• 제어로봇시스템학회논문지
• /
• 제22권7호
• /
• pp.552-556
• /
• 2016

Obstacle detection is a key feature in the safe driving control of electric wheelchairs. The suggested obstacle detection algorithm was designed to provide obstacle avoidance direction and detect the existence of cliffs. By means of this information, the wheelchair can determine where to steer and whether to stop or go. A 3D depth camera (Microsoft KINECT) is used to scan the 3D point data of the scene, extract information on obstacles, and produce a steering direction for obstacle avoidance. To be specific, ground detection is applied to extract the obstacle candidates from the scanned data and the candidates are projected onto a 2D map. The 2D map provides discretized information of the extracted obstacles to decide on the avoidance direction (left or right) of the wheelchair. As an additional function, cliff detection is developed. By defining the "cliffband," the ratio of the predefined band area and the detected area within the band area, the cliff detection algorithm can decide if a cliff is in front of the wheelchair. Vehicle tests were carried out by applying the algorithm to the electric wheelchair. Additionally, detailed functions of obstacle detection, such as providing avoidance direction and detecting the existence of cliffs, were demonstrated.

• 항공우주기술
• /
• 제11권2호
• /
• pp.140-148
• /
• 2012

자율 주행을 위해 주행 지도, 위치 추적 및 목적지까지의 최단 경로 설정 연구가 필요하다. 특히 실내에서는 GPS 신호를 수신 받을 수 없기 때문에 이미지 프로세싱과 같은 방법을 통해 현재 위치를 인식하고 3차원 지도를 생성해야 한다. 본 논문에서는 Depth 카메라인 키넥트를 이용하여 3차원 지도를 생성하고, 일반 카메라로 촬영한 2차원 이미지를 이용하여 3차원 지도에서 현재 위치를 파악하는 방법에 대해 설명한다. 그리고 지도에서 장애물을 확인하고 단순화하는 방법에 대해서도 설명한다.

• 한국컴퓨터정보학회논문지
• /
• 제26권3호
• /
• pp.43-50
• /
• 2021

본 논문에서는 키넥트 센서를 기반으로 한 휘트니스(Fitness) 동작의 정확성을 피드백 하는 윈도우 애플리케이션 KITNESS를 설계하고 구현한다. 이 애플리케이션의 특징은 키넥트의 카메라와 관절 인식 센서를 활용하여 사용자가 정확한 휘트니스 자세로 운동할 수 있도록 피드백을 주는 것이다. 이때 키넥트의 IR Emitter와 IR Depth Sensor를 이용하여 사용자와 키넥트 간의 거리를 측정하고, 사용자의 관절 위치인 조인트(Joint)와 각 관절의 스켈레톤(Skeleton) 데이터를 측정한다. 이러한 데이터를 이용하여 사용자의 관절 위치와 자세마다 일정 거리를 계산하고 자세의 정확도를 판단한다. 그리고 키넥트의 RGB 카메라를 통해 사용자가 본인의 자세를 확인할 수 있도록 구현한다. 즉, 사용자의 자세가 정확하면 스켈레톤 정보를 초록색 선으로 표시하고, 정확하지 않으면 정확하지 않은 부분을 빨간색 선으로 표시하여 직관적으로 알려준다. 사용자는 이 애플리케이션을 통하여 운동하는 자세의 정확도를 피드백 받기 때문에 혼자서도 정확한 자세로 운동할 수 있다. 이 애플리케이션은 운동 부위를 목, 허리, 다리 세 가지 영역으로 분류하고, 각 운동 부위의 자세에서 관절이 겹쳐서 키넥트가 인식하지 못하는 자세를 제외함으로써 키넥트의 인식률을 높인다. 그리고 애플리케이션 종료 시에는 마지막 운동 모습을 이미지로 5초간 보여줌으로써 성취감을 고취시키고 지속적으로 운동할 수 있도록 구현한다.

• International Journal of Computer Science & Network Security
• /
• 제22권6호
• /
• pp.97-108
• /
• 2022

The video-assisted human action recognition [1] field is one of the most active ones in computer vision research. Since the depth data [2] obtained by Kinect cameras has more benefits than traditional RGB data, research on human action detection has recently increased because of the Kinect camera. We conducted a systematic study of strategies for recognizing human activity based on deep data in this article. All methods are grouped into deep map tactics and skeleton tactics. A comparison of some of the more traditional strategies is also covered. We then examined the specifics of different depth behavior databases and provided a straightforward distinction between them. We address the advantages and disadvantages of depth and skeleton-based techniques in this discussion.

• 한국멀티미디어학회논문지
• /
• 제15권4호
• /
• pp.501-507
• /
• 2012

Human body motion is a non-verbal part for interaction or movement that can be used to involves real world and virtual world. In this paper, we explain a study on natural user interface (NUI) in human hand motion recognition using RGB color information and depth information by Kinect camera from Microsoft Corporation. To achieve the goal, hand tracking and gesture recognition have no major dependencies of the work environment, lighting or users' skin color, libraries of particular use for natural interaction and Kinect device, which serves to provide RGB images of the environment and the depth map of the scene were used. An improved Camshift tracking algorithm is used to tracking hand motion, the experimental results show out it has better performance than Camshift algorithm, and it has higher stability and accuracy as well.

• 방송공학회논문지
• /
• 제18권3호
• /
• pp.393-400
• /
• 2013

손 모양 인식은 자연스러운 인간-컴퓨터 상호작용을 위한 기반 기술이다. 본 논문에서는 Kinect 기반 손 모양 인식을 위해 효과적으로 손 영역을 검출하기 위한 방법에 대해 논의한다. Kinect는 컬러 영상과 적외선 영상(혹은 깊이 영상)을 동시에 획득할 수 있는 카메라이기 때문에, 손 영역을 검출하는 과정에서 컬러 정보와 깊이 정보를 활용할 수 있다. 즉, 손 영역은 스킨 컬러를 가지는 영역으로 검출될 수도 있으며, 일정한 깊이 값을 가지는 영역으로 검출될 수도 있다. 그러므로, 이러한 방법들의 성능을 분석하여, 손 영역의 실루엣이 깔끔하게 도출될 수 있도록 적절히 결합하는 방법이 마련되어야 한다. 이는 손 모양 인식률을 크게 좌우하기 때문이다. 최종적으로 일반적인 환경에서 손 영역 검출 방법의 차이에 따른 손 모양 인식률을 비교함으로써, 성능이 우수한 손 영역 검출 방법을 제안한다.

• 한국콘텐츠학회논문지
• /
• 제21권2호
• /
• pp.130-139
• /
• 2021

본 연구에서는 매실에 가장 큰 피해를 주는 복숭아 씨살이좀벌의 방제 적기 안내를 위해 3D 영상을 활용한 매실 인식 및 크기 추정 프로그램을 통해 매실 크기를 예측하였다. 3차원 영상 측정이 가능한 Kinect 2.0 Camera 및 RealSense Depth Camera D415를 사용하여 야간 영상 촬영을 진행하였다. 획득한 영상을 토대로 MATLAB R2018a를 이용하여 영상 전처리, 크기 추정이 가능한 매실 추출, RGB 및 Depth 영상 정합 및 매실 크기 추정의 4단계로 구성된 매실 인식 및 추정 프로그램을 구현해 매실 성장 단계를 고려하여 2018년의 5개 영상 및 2019년의 5개의 영상을 분석하였다. 10개 영상에 대해 프로그램을 구동하여 얻은 결과를 통해 매실 인식률의 평균 61.9%, 매실 인식 오류율 평균 0.5% 및 크기 측정 오차율 평균 3.6%를 도출하였다. 이러한 매실 인식 및 크기 추정 프로그램의 지속적인 개발은 향후 정확한 열매 크기 모니터링 및 복숭아 씨살이좀벌의 적기 방제 시스템 개발을 가능하게 할 것으로 예상한다.