A Study on the Design and Implementation of a Camera-Based 6DoF Tracking and Pose Estimation System

카메라 기반 6DoF 추적 및 포즈 추정 시스템의 설계 및 구현에 관한 연구

Abstract

This study presents the design and implementation of a camera-based 6DoF (6 Degrees of Freedom) tracking and pose estimation system. In particular, we propose a method for accurately estimating the positions and orientations of all fingers of a user utilizing a 6DoF robotic arm. The system is developed using the Python programming language, leveraging the Mediapipe and OpenCV libraries. Mediapipe is employed to extract keypoints of the fingers in real-time, allowing for precise recognition of the joint positions of each finger. OpenCV processes the image data collected from the camera to analyze the finger positions, thereby enabling pose estimation. This approach is designed to maintain high accuracy despite varying lighting conditions and changes in hand position. The proposed system's performance has been validated through experiments, evaluating the accuracy of hand gesture recognition and the control capabilities of the robotic arm. The experimental results demonstrate that the system can estimate finger positions in real-time, facilitating precise movements of the 6DoF robotic arm. This research is expected to make significant contributions to the fields of robotic control and human-robot interaction, opening up various possibilities for future applications. The findings of this study will aid in advancing robotic technology and promoting natural interactions between humans and robots.

본 연구에서는 카메라 기반의 6DoF(6 Degrees of Freedom) 추적 및 포즈 추정 시스템을 설계하고 구현하였다. 특히, 6DoF 로봇 팔을 활용하여 사용자의 모든 손가락에 대한 위치와 자세를 정밀하게 추정하는 방법을 제안한다. 시스템은 Python 프로그래밍 언어를 기반으로 하여, Mediapipe와 OpenCV 라이브러리를 활용하여 개발되었다. Mediapipe는 손가락의 키포인트를 실시간으로 추출하는 데 사용되며, 각 손가락의 관절 위치를 정확하게 인식한다. OpenCV는 카메라에서 수집된 이미지 데이터를 처리하여 손가락의 위치를 분석하고, 이를 통해 포즈 추정을 수행한다. 이러한 접근법은 다양한 조명 조건과 손의 위치 변화에도 불구하고 높은 정확도를 유지할 수 있도록 설계되었다. 제안한 시스템은 실험을 통해 그 성능을 검증하였으며, 손동작 인식의 정확성과 로봇 팔의 제어 능력을 평가하였다. 실험 결과, 본 시스템은 실시간으로 손가락의 위치를 추정하고, 이를 기반으로 6DoF 로봇 팔의 정밀한 동작을 구현할 수 있음을 보여주었다. 본 연구는 로봇 제어 및 인간-로봇 상호작용 분야에 중요한 기여를 할 것으로 기대되며, 향후 다양한 응용가능성을 열어줄 것이다. 본 연구의 결과는 로봇 기술의 발전과 더불어 사람과 로봇 간의 자연스러운 상호작용을 촉진하는 데 기여할 것이다.

Ⅰ. 서론

현대 기술의 발전은 로봇 공학과 인간-로봇 상호작용 분야에 혁신적인 변화를 가져오고 있다. 특히, 6DoF(6Degrees of Freedom) 로봇 팔은 다양한 작업을 수행할 수 있는 뛰어난 유연성과 정밀성을 제공하여, 산업, 의료, 그리고 서비스 분야에서의 응용 가능성을 높이고 있다. 이러한 로봇 팔의 효과적인 제어를 위해서는 사용자의 손동작을 정확하게 인식하고 추적할 수 있는 시스템이 필수적이다. 본 연구에서는 카메라 기반의 6DoF 추적 및 포즈 추정 시스템을 설계하고 구현하여, 사용자의 모든 손가락에 대한 위치와 자세를 정밀하게 추정하는 방법을 제안한다^{[1, 14]}.

본 시스템은 Python 프로그래밍 언어를 기반으로 개발되었으며, Mediapipe와 OpenCV 라이브러리를 활용하여 실시간 손가락 추적 및 포즈 추정을 구현한다. Mediapipe는 구글이 개발한 머신러닝 기반의 프레임워크로, 손가락의 키포인트를 실시간으로 추출하는 데 매우 효과적이다. 이 프레임워크는 손가락의 각 관절 위치를 정확하게 인식할 수 있는 알고리즘을 제공하며, 다양한 조명 조건과 손의 위치 변화에도 높은 정확도를 유지할 수 있도록 설계되었다.

OpenCV는 이미지 처리와 컴퓨터 비전 분야에서 널리 사용되는 라이브러리로, 카메라에서 수집된 이미지 데이터를 효과적으로 처리하여 손가락의 위치를 분석하는 데 사용된다. 본 연구에서는 OpenCV를 활용하여 이미지 전처리, 특징 추출, 및 객체 인식을 수행하고, 이를 Mediapipe와 통합하여 손가락의 포즈를 실시간으로 추정한다. 이러한 통합된 접근 방식은 손가락의 정확한 위치 추정뿐만 아니라, 6DoF 로봇 팔의 동작 제어를 위한 기반을 제공한다^[15].

제안한 시스템의 성능은 다양한 실험을 통해 검증되었다. 실험에서는 여러 가지 손동작을 인식하고, 이를 기반으로 6DoF 로봇 팔의 동작을 제어하는 과정이 포함되었다. 실험 결과, 본 시스템은 실시간으로 손가락의 위치를 정확하게 추정하고, 이를 통해 로봇 팔의 정밀한 동작을 구현할 수 있음을 입증하였다. 이는 로봇 제어의 정확성을 높이고, 인간-로봇 상호작용을 더욱 자연스럽고 직관적으로 만들어 줄 것이다^{[2, 3, 9, 10]}.

또한, 본 연구는 로봇 기술의 발전과 더불어 다양한 응용 가능성을 열어줄 것으로 기대된다. 예를 들어, 의료분야에서는 수술 보조 로봇이나 재활 로봇에 적용될 수 있으며, 산업 분야에서는 조립 및 검사 작업에 활용될 수 있다. 이러한 응용은 로봇 팔이 사용자와 더욱 효과적으로 상호작용할 수 있도록 도와줄 것이다^{[11, 12, 13, 15]}.

결론적으로, 본 연구는 카메라 기반의 6DoF 추적 및 포즈 추정 시스템의 설계 및 구현에 대한 포괄적인 논의를 제공하며, 향후 연구 방향성과 응용 가능성에 대해서도 다룰 것이다. 이러한 연구는 인간과 로봇 간의 상호작용을 보다 매끄럽고 자연스럽게 발전시킬 수 있는 기초를 마련할 것이다.

앞으로의 연구에서는 본 시스템의 성능을 더욱 개선하고, 다양한 환경에서도 안정적으로 작동할 수 있도록 최적화하는 방향으로 진행할 계획이다. 또한, 사용자 경험을 고려한 인터페이스 설계와 같은 추가적인 요소를 통합하여, 보다 직관적이고 편리한 시스템으로 발전시킬 것이다^{[1, 2, 3]}.

Ⅱ. 관련 연구

1. 카메라 기반 6DoF 추적 및 포즈 추정 시스템에 관한 연구 동향

본 연구에서는 카메라 기반의 6DoF 추적 및 포즈 추정 시스템을 설계하고 구현하였으며, 이와 관련된 여러 연구를 살펴본다. 특히, 손가락 다중 관절 경로 측정 및 운동학 분석을 위한 머신 비전 기반의 방법론과 협업 로봇에서의 충돌 회피를 위한 골격 추적 시스템에 대해 다루고 있다^[4].

첫 번째로, 현재 손가락 경로를 연구하는 데 주로 사용되는 방법으로 Denavit-Hartenberg(DH) 방법과 인공 키포인트 정렬 방법이 언급된다^[1]. 연구에서는 각 손가락의 관절에 좌표계를 설정하고, 4 × 4 동차 변환 행렬을 사용하여 인접 링크 간의 공간적 관계를 설명한다. 이를 통해 로봇의 좌표계를 구축하고, 손가락의 운동학 방정식을 도출한다. DH 방법은 직관적이고 동적 분석에 유리하지만, 손가락 운동을 단순히 회전 운동으로 간주하여 관절의 회전 중심을 기하학적 중심으로 가정하는 한계가 있다. 반면, 인공 키포인트 정렬 방법은 이미지를 수동으로 마킹하여 키포인트를 기록하고 정리함으로써 기본 정보를 얻는다. 이러한 방법들은 손가락의 움직임을 보다 정밀하게 분석할 수 있는 기반을 제공하지만, 효율성이 떨어질 수 있다.

Mediapipe는 구글에서 개발한 머신 비전 도구로, 손가락의 움직임을 실시간으로 추적하고 분석하는 데 매우 효과적이다. Gökhan Güney와 동료들은 Mediapipe를 활용하여 파킨슨병 환자의 손가락 움직임 궤적을 분석하고 약물의 영향을 평가하였다. 또한, Haji Mohd 등은 Mediapipe를 이용하여 10가지 제스처 비디오를 분석하고, 손의 빠르고 강력한 감지를 달성하였다. Mediapipe의 손가락 관절 기능은 이미지 데이터를 키포인트 데이터로 변환하여 포괄적인 키포인트 데이터셋을 생성하며, 평균 인식 정확도는 95.7%에 달한다. 이는 본 연구의 정확도 요구를 충분히 충족시킨다^[13].

손가락의 자연스러운 이동 시간은 약 0.5초로, 짧은 시간 내에 상당한 양의 정보를 정확하게 캡처할 수 있는 시스템의 필요성이 있다. 일반 디지털카메라는 30~60fps의 프레임 속도로 작동하므로, 충분한 데이터를 수집하는 데 부족할 수 있다. 따라서 해당 연구에서는 Mini-AX100de1 고속 카메라를 활용하여 충분한 데이터 수집을 보장한다. 고속 카메라 촬영의 장점은 후처리 회로가 필요 없고, 원본 데이터의 무결성을 유지하는 흑백 이미지를 제공한다는 점이다. 고속 카메라로 촬영된 이미지는 촬영 순서에 따라 엄격하게 저장되며, 예를 들어 500fps로 설정하면 각 프레임 간의 간격은 2ms가 된다. 이는 Mediapipe 시스템이 프레임을 개별적으로 처리하므로, 획득된 데이터의 시간 간격이 일관되게 유지될 수 있다. 이러한 일관성은 후속 실험 데이터 처리의 간소화에 기여하며, 손가락 관련 동작의 시뮬레이션과 제어에 유용한 통찰을 제공한다.

두 번째로 협업 로봇 조작기에서 충돌을 피하기 위한 알고리즘을 테스트하고 있다^[2]. ISO/TS 15066 및 ISO 10218-1 표준에 따르면, 협업 시나리오에서 로봇과 인간이 작업 공간을 공유할 경우, 로봇이 충돌을 피할 수 있도록 미리 장애물을 인식하는 것이 생산성과 작업자 안전을 고려한 더 나은 해결책이다. 이 연구에서는 실시간 인간 감지를 위한 센서 시스템을 활용하여 장애물 회피 알고리즘을 테스트하였다. 센서 시스템은 세 개의 RGB-D 카메라로 구성되어 있으며, Python을 활용하여 머신러닝 도구를 이용한 인간 골격 감지 소프트웨어 프레임워크가 개발되었다.

해당 연구에서는 로봇 조작기 기준에 대한 인간 신체 관절의 좌표를 장애물 회피 알고리즘의 입력으로 사용한다. 여러 센서를 활용함으로써 가림 문제를 제한할 수 있으며, 비 착용 센서의 선택은 작업자의 편안함을 고려한 것이다. 결론적으로, 본 연구는 카메라 기반의 6DoF 추적 및 포즈 추정 시스템의 설계 및 구현을 위한 기반을 제공하며, 관련 연구를 통해 시스템의 정확도와 효율성을 더욱 향상할 수 있는 방향성을 제시한다^{[1, 2, 4]}.

2. 역기구학적 접근법이 카메라 기반 6DoF 추적 시스템에 미치는 영향

최근 로봇 기술의 발전은 산업 및 정밀 의료 분야에 막대한 영향을 미치고 있다. 특히, 로봇의 기구학 모델링, 특히 역기구학(Inverse Kinematics, IK) 문제는 로봇이 특정 작업을 수행하기 위한 필수적인 요소이다. 최근 발표된 논문에서는 "단순 제약 조건을 가진 새로운 클래스의 6R 로봇 팔을 위한 역기구학 공식"을 제안하였으며, 이를 통해 이론적 배경과 실용적인 응용 간의 연결고리를 이해할 수 있다. 이 연구는 공장 자동화 및 정밀 외과 수술 등에 필요한 고정밀 로봇 팔의 설계 및 구현을 다루고 있다^[12].

이 논문에서는 6개의 자유도를 가진 로봇 팔의 IK 문제를 중심으로 기구학적 구조 및 해법을 제시한다.

본 연구는 이러한 역기구학적 접근법을 독립적으로 다루지는 않지만, 카메라 기반 시스템에서 6자유도(DoF) 추적 및 포즈 추정의 설계 및 구현을 통해 로봇 팔의 정확한 위치와 방향을 실시간으로 식별하는 방식을 다룰 예정이다. 기존 연구에서 제시된 수학적인 방법론을 참고하였지만, 직접적으로 수학식을 모델링하기보다는 데이터 기반의 접근 방식을 통해 추적 성능을 높이는 방향으로 진행한다. 따라서, 이 연구에서 제안된 역기구학 공식을 활용하면 로봇의 구성 요소 간의 복잡성을 줄이면서도 정확한 위치 추적이 가능해진다. 예를 들어, 고정밀 측정 및 정교한 기하학적 모델링을 통해 로봇 팔의 실시간 위치를 보다 정확하게 예측할 수 있다. 본 논문은 로봇 팔의 역기구학 문제를 해결하기 위한 다양한 이론적 기법을 다루며, 이는 카메라 기반 6DoF 추적 시스템에서의 구현과 밀접하게 연관되어 있다^[5].

Ⅲ. 카메라 기반 6DoF 추적 및 포즈 추정 시스템에 관한 연구 동향

본 연구에서는 카메라 기반의 6DoF(6 Degrees of Freedom) 추적 및 포즈 추정 시스템을 설계하고 구현하였다. 이 시스템은 사용자의 모든 손가락 위치와 자세를 정밀하게 추정하는 데 중점을 두며, 6DoF 로봇 팔을 활용하여 다양한 작업을 수행할 수 있도록 구성되었다.

그림 1은 본 연구에서 제안하는 카메라 기반 6DoF(6Degrees of Freedom) 추적 및 포즈 추정 시스템의 구조를 나타낸다. 1단계에서는 카메라를 통해 실시간으로 손가락의 움직임을 촬영하며, 고속 카메라를 사용하여 손동작의 세밀한 변화를 캡처하고 이미지 데이터를 처리할 준비를 한다. 2단계에서는 Python을 기반으로 Mediapipe와 OpenCV 라이브러리를 활용한다. Mediapipe는 손가락의 키포인트를 실시간으로 추출하여 각 손가락의 관절 위치를 정확하게 인식하며, OpenCV는 수집된 이미지 데이터를 분석하여 손가락의 위치를 추정하고 이를 기반으로 포즈 추정을 수행한다. 이 과정은 손의 위치 변화에도 높은 정확도를 유지할 수 있도록 설계되었다.

그림 1. 제안하는 카메라 기반 6DoF 로봇 시스템 구조

Fig. 1. Proposed camera-based 6DoF robot system architecture

3단계에서는 데이터 처리 모듈에서 추정한 손가락의 위치 정보를 바탕으로 6DoF 로봇 팔의 동작을 제어한다. 이 모듈은 로봇 팔의 각 관절을 적절한 위치로 이동시키기 위한 알고리즘을 포함하고 있으며, 손동작을 실시간으로 반영하여 로봇 팔이 자연스럽게 작동할 수 있도록 한다. 그림 2는 시스템의 작동 과정을 순서도로 나타낸다.

그림 2. 시스템 흐름도

Fig. 2. System Flow Diagram

1단계에서는 카메라를 통해 손가락의 움직임을 촬영한다. 2단계에서는 OpenCV를 사용하여 수집된 이미지 데이터를 전처리한다. 3단계에서는 Mediapipe를 통해 손가락의 키포인트를 실시간으로 추출한다. 4단계에서는 추출된 키포인트를 바탕으로 손가락의 위치와 자세를 정밀하게 추정한다. 5단계에서는 추정된 손가락 위치 정보를 활용하여 6DoF 로봇 팔의 동작을 제어한다.

1. 슈도코드

본 연구에서는 카메라 기반의 6DoF(6 Degrees of Freedom) 추적 및 포즈 추정 시스템의 설계 및 구현을 위한 과정을 슈도코드 형태로 정리하였다. 표 1은 본 연구에서 적용한 코드의 일부분을 슈도코드로 작성하였다. 시스템은 초기 단계에서 버저를 활성화하고, 집게 모터를 닫는 동작을 수행한 후, 해당 모터를 여는 초기화 동작을 실행한다. 이후, 카메라로부터 실시간으로 프레임을 읽어오고, 프레임을 회전시켜 이미지의 방향을 조정한다. 그 다음, Mediapipe를 활용하여 손의 랜드마크를 추적하고, 이를 통해 손가락 끝 점의 좌표를 얻는다. 손가락의 x좌표를 기반으로 회전 모터의 각도를 계산하여 해당 모터를 제어한다. 손가락 위치는 화면에 원으로 표시하며, 손의 랜드마크는 그래픽으로 그려진다. 최종적으로, 처리된 이미지를 Python 내장 서피스에 변환하여 화면에 표시하며, 사용자 이벤트를 처리하여 프로그램 종료를 관리한다.

표 1. 슈도 코드

Table 1. Algorithm performance comparison results

이러한 일련의 과정은 시스템의 효율성과 정확성을 높이는 데 기여하며, 카메라 기반 6DoF 추적 및 포즈 추정 시스템의 설계 및 구현을 위한 기초를 제공한다. 본 연구는 향후 로봇 제어 및 인간-로봇 상호작용 분야에서의 응용 가능성을 더욱 확대할 것으로 기대된다.

Ⅳ. 실험 방법 및 결과 분석

본 연구에서는 Yahboom Jetson Nano B01 Sub를 활용하여 인체 감지 시스템을 개발하고, 구글이 제공하는 Mediapipe 프레임워크를 이용하여 실험을 진행하였다.

1. 시스템 환경

시스템 환경은 표 2와 같으며, Pytorch 2.12를 사용하였으며, Cuda는 12.4버전을 사용하였다.

표 2. 시스템 개발 환경

Table 2. System Development Environment

로봇 개발 환경은 다음과 같다.

표 3. 로봇 개발 환경

Table 3. Robot development environment

2. 실험

본 실험은 인체 감지 시스템의 성능을 평가하기 위해 카메라를 중심으로 설정되었다.

그림 3은 로봇 팔의 원격 제어 화면과 초기화 상태이다.

그림 3. 로봇 팔의 원격 제어 화면과 초기화 상태

Fig. 3. Remote control screen and initialization status of the robot arm

손가락의 움직임을 실시간으로 추적하고, 이 정보를 기반으로 로봇 팔이 적절하게 반응하도록 구현하는 것이었다. 실험은 다음과 같은 방식으로 진행되었다. 모든 손가락을 왼쪽 및 오른쪽으로 이동시키는 동작을 구현 및 실험하였다.

그림 4는 손가락과 카메라를 활용하여 모터의 이동제어를 수행하였다.

그림 4. 로봇 팔의 카메라와 손가락 인식을 통한 방향 제어(왼쪽, 오른쪽)

Fig. 4. Direction control (left, right) via camera and finger recognition on the robot arm

이 과정에서 카메라는 손가락의 위치와 각도를 실시간으로 감지하도록 구성되었으며, 이 정보는 모터의 회전제어에 사용되었다. 모터는 손가락의 움직임을 즉각적으로 반영하여, 사용자가 손가락을 이동시키는 방향에 따라 회전할 수 있도록 개발되었다. 이 시스템을 통해 사용자는 자연스러운 손동작을 통해 로봇 팔의 동작을 제어할 수 있었다.

그림 5는 카메라와 손가락의 인식을 통해 위, 아래 모터를 제어한 모습이다.

그림 5. 로봇 팔의 카메라와 손가락 인식을 통한 방향 제어(위, 아래)

Fig. 5. Direction control (up, down) via camera and finger recognition on the robot arm

모든 손가락을 위쪽 및 아래쪽으로 이동시키는 실험을 실시하였다. 손가락이 위쪽으로 이동할 경우, 모터는 45도 상승하도록 설정하였고, 아래쪽으로 이동하면 원점 복귀를 위해 0도로 돌아오도록 구현하였다.

실험 진행 중, 모터의 각도를 초과하게 설정할 경우 모터가 정상적으로 작동하지 않고 가열되는 현상을 관찰하였다. 이는 시스템의 안전성을 고려할 때 중요한 요소로, 모터의 과부하를 방지하기 위한 추가적인 안전장치가 필요함을 시사하였다. 이러한 가열 현상은 모터의 내 구성에 영향을 미칠 수 있으므로, 향후 연구에서는 모터의 최대 회전각을 설정하고, 이를 초과하지 않도록 하는 제어 알고리즘의 개발이 필요할 것으로 보인다. 본 실험을 통해 인체 감지 시스템의 주요 기능이 구현되었음을 확인하였다. 또한, 로봇 팔이 손가락의 움직임에 따라 적절하게 반응하는 것을 통해 향후 다양한 응용 가능성을 제시하였다.

3. 향후 연구

본 연구에서 구현한 인체 감지 시스템은 손가락의 움직임에 따라 로봇 팔이 자연스럽게 반응하도록 설계되었으며, 실험 결과 긍정적인 성과를 얻었다. 그러나 시스템의 성능을 더욱 향상하기 위해 다음과 같은 연구 방향을 제시하고자 한다. 실험 중 모터의 각도를 초과할 경우 정상적인 작동이 이루어지지 않고 가열되는 현상이 관찰되었다. 이를 해결하기 위해 모터의 최대 회전각을 설정하고, 이를 초과하지 않도록 하는 고급 제어 알고리즘을 개발할 필요가 있다. 이러한 알고리즘은 실시간으로 모터의 상태를 모니터링하고, 과부하 상황을 예방할 수 있는 기능을 포함해야 한다^{[7, 8]}. 인체 감지 시스템의 사용자 경험을 개선하기 위해, 다양한 사용자 맞춤형 인터페이스를 개발할 필요가 있다^{[9, 10]}. 사용자별 손동작 패턴을 학습하고, 이를 기반으로 시스템이 자동으로 조정되는 기능을 도입하여 보다 직관적인 조작 경험을 제공할 수 있을 것이다. 현재 시스템은 손가락 움직임에 중점을 두고 있으나, 다양한 손동작을 인식할 수 있는 기능을 추가함으로써 시스템의 활용 범위를 넓힐 수 있다. 예를 들어, 제스처 인식 기능을 통해 손동작에 따라 다양한 명령을 수행할 수 있도록 하는 연구를 진행할 예정이다.

Ⅴ. 결론

본 연구에서는 카메라 기반의 6DoF(6 Degrees of Freedom) 추적 및 포즈 추정 시스템의 설계 및 구현을 통해 인체의 손가락 움직임을 정밀하게 추적하는 방법을 제시하였다. 구글의 Mediapipe 프레임워크와 Yahboom Jetson Nano B01 Sub를 활용하여, 다양한 손동작을 실시간으로 인식하고 이를 로봇 팔의 동작으로 변환하는 시스템을 구축하였다. 실험 결과, 시스템은 손가락의 위치와 자세를 높은 정확도로 추정할 수 있었으며, 사용자의 손동작에 따라 로봇 팔이 자연스럽게 반응하는 것을 확인하였다.

본 연구의 주요 기여는 인체 감지 시스템의 실용적인 적용 가능성을 보여준 점과, 로봇 팔 제어에 필요한 정밀한 포즈 추정 기능을 구현한 점이다. 또한, 실험을 통해 시스템의 성능을 평가하고, HCI 분야의 발전에 기여하고자 한다.