• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.134-138
• /
• 2021

3 차원 휴먼 자세 추정 모델은 다시점 모델과 단시점 모델로 분류될 수 있다. 일반적으로 다시점 모델은 단시점 모델에 비하여 뛰어난 자세 추정 성능을 보인다. 단시점 모델의 경우 3 차원 자세 추정 성능의 향상은 많은 양의 학습 데이터를 필요로 한다. 하지만 3 차원 자세에 대한 참값을 획득하는 것은 쉬운 일이 아니다. 이러한 문제를 다루기 위해, 우리는 다시점 모델로부터 다시점 휴먼 자세 데이터에 대한 의사 참값을 생성하고, 이를 단시점 모델의 학습에 활용하는 방법을 제안한다. 또한, 우리는 각각의 다시점 영상으로부터 추정된 자세의 일관성을 고려하는 다시점 일관성 손실함수를 제안하여, 이것이 단시점 모델의 효과적인 학습에 도움을 준다는 것을 보인다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.11a
• /
• pp.73-74
• /
• 2020

사용자 동작 추정이란 이미지 또는 비디오에서 사용자의 관절 위치를 추정하는 과정을 말한다. 기존의 연구들은 사용자의 몸에서 관절의 큰 부분(어깨, 무릎, 골반, 손, 발 등)만을 추정하거나 손의 세부 관절을 별도로 추정 했다. 하지만 특정 분야(수화, 댄스 등)에선 몸짓과 손을 함께 사용하기에 우리는 사용자 몸의 큰 관절과 손의 세부 관절을 같이 추정하는 방법에 대한 연구를 제안한다. 본 논문에서 제안하는 사용자 동작 추정 방법은 Cascades 방법을 이용한 합성곱 신경망 기반 회귀모델을 적용한 방식이다. 손의 관절들은 다른 큰 관절들(어깨, 무릎, 골반 등)보다 작아서 정밀한 추정을 요구하기에 Cascades 방법을 사용해 보다 정밀하게 추정할 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.11a
• /
• pp.1040-1043
• /
• 2020

본 논문에서는 골퍼의 자세 교정을 위해 레슨 프로 혹은 코치가 수행하는 교육을 담당하는 시스템을 구현한다. 이 시스템은 골프를 배우고자 하는 골퍼와 자세를 교정하고자 하는 골퍼를 대상으로 한다. 프로 골퍼의 스윙자세 영상을 촬영하고 딥러닝 라이브러리로 관절, 클럽의 위치를 디지털로 식별하여 표준 자세 정보를 입수한다. 그리고 사용자의 영상을 촬영하여 표준자세 정보와 비교 후 올바른 자세를 도표 및 시각적으로 제공 할 수 있도록 한다. 사람이 하는 방식 보다 객관적이고, 센서방식 보다 경제적인 시스템으로 골프교육산업의 활성화에 기여 할 수 있을 것이다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.322-323
• /
• 2021

증강현실이나 자율 주행, 드론 등의 기술에서 현재 위치와 시점을 파악하기 위해서는 실시간 카메라 자세 추정이 필요하다. 이를 위해 가장 일반적인 방식인 연속적인 단안 영상으로부터 카메라 자세를 추정하는 방식은 두 영상의 정적 객체 간에 견고한 특징점 매칭이 이루어져야한다. 하지만 일반적인 영상들은 다양한 이동 객체가 존재하는 동적 환경이므로 정적 객체만의 매칭을 보장하기 어렵다는 문제가 있다. 본 논문은 이 같은 동적 환경 문제를 해결하기 위해, 신경망 기반의 객체 분할 기법으로 영상 속 객체를 추출하고, 객체별 특징점 매칭 및 자세 추정 결과로 정적 객체를 특정해 매칭하는 방법을 제안한다. 또한, 제안하는 정적 객체 특정 방식에 적합한 신경망 기반 특징점 추출 방법을 사용하면 동적 환경에 보다 강인한 카메라 자세 추정이 가능함을 실험을 통해 확인한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.952-955
• /
• 2021

사람의 자세는 구면 파노라마에서 다양한 형태로 왜곡되어 나타날 수 있다. 따라서 구면 파노라마에서의 자세 추정은 평면 이미지에서의 경우보다 정확도가 떨어진다. 본 논문에서는 인식률이 높은 얼굴 인식 기법을 도입하여 구면 파노라마 영상에서 안정적으로 사람의 자세를 추정하는 방법을 제시한다. 먼저 구면 파노라마에서 얼굴을 인식한 후에 이에 기반하여 사람의 전신 영역을 추정하고 전신 영역을 포함하는 평면 영상을 획득한다. 획득된 평면 영상에서 자세를 추정하여 스켈레톤을 얻고 이를 캐릭터 모델에 적용한다. 제안 방법을 실영상에 적용하여 실험한 결과 평면 이미지에서와 동일한 수준의 정확도를 보임을 확인하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.05a
• /
• pp.667-669
• /
• 2022

2차원 이미지를 통한 자세 추정의 경우 관절이 겹치거나 가려져 있는 등의 인식 저해 요소로 인하여 자세 추정 정확도가 감소하는 한계가 있다. 본 논문에서는 GAN을 통해 2차원 이미지를 3차원으로 증강한 뒤 자세를 추정하는 기법을 제안한다. 제안하는 방법은 2차원 이미지의 평면좌표 값에서 GAN을 통해 노이즈 벡터 z축 값과 피사체에 투영되는 빛의 방향 값을 반영한 3차원 이미지를 만든다. 이러한 이미지 합성 과정을 거친 후 DeepLabCut을 사용해 관절 좌표를 추출하고 자세 추정 및 분류를 진행한다. 이를 통해 2차원에서의 자세 추정 정확도 향상을 기대할 수 있으며, 향후 이를 기반한 이상행동 탐지 분야에서 적용할 수 있다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.01a
• /
• pp.249-252
• /
• 2022

세계 태권도 연맹은 국제 축구 연맹의 가입국과 동일한 수의 가입국을 보유할 만큼 태권도는 점점 더 세계적으로 나아가고 있다. 하지만 태권도의 교육방법은 예전과 다르지 않다. 도장의 관장이나 사범이 직접 자세를 눈으로 보고 판단하여 지도해야 한다. 본 연구는 기술이 발전하고 변화함에 따라 태권도를 조금 더 다양하고 흥미롭게 배울 수 있는 방법을 개발하고자 진행하였다. 본 논문에서는 피사체 모델을 촬영하여 이미지를 추출하고 이미지에서 사람의 관절 KeyPoint를 라벨링 한 후 이를 바탕으로 COCO 형식의 DataSet을 만들어낸다. 이후 이 DataSet을 기계에 학습을 시킨다면 초심자를 위한 교육용 태권도 AI가 만들어질 수 있다. 또한, 기계학습 이후 이 AI를 실제 교육현장에 적용하여 교육과정에 직접 사용할 수 있으며 이 AI를 바탕으로 교육용 게임 개발 등 다양한 방면으로 활용할 수 있을 것이라고 기대한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.190-191
• /
• 2022

본 논문에서는 RGB-D 카메라와 Mediapipe 모듈을 이용한 신체 추적 및 리깅 프레임 워크를 제안한다. Openpose 및 Mediapipe를 통해 스켈레톤 정보를 추출할 수 있으며, 이 정보를 그래픽스 엔진의 입력으로 사용하여 휴머노이드 아바타 기능을 통해 각 캐릭터의 아바타가 다르더라도 리깅을 구현할 수 있다. 결과적으로 수작업을 통해 리깅을 구현하는 시간을 단축시킬 수 있다. 두 모듈과 RGB-D 카메라를 통해 획득한 3차원 스켈레톤 정보를 통해 실시간으로 사용자를 추적하고 자동 rigging하는 그래픽스 엔진 프레임 워크를 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.203-204
• /
• 2022

본 논문에서는 다수의 적외선 카메라의 2D 패시브마커 영상을 이용한 3차원 리지드 바디(Rigid Body) 자세추정 방법을 제안한다. 1차로 개별 카메라의 내부 변수를 구하기 위해 체스보드를 이용한 칼리브레이션 과정을 수행하고, 2차 보정 과정에서 3개의 적외선 마커가 있는 삼각형 구조물을 모든 카메라가 관찰 가능하도록 움직인 후 프레임별 누적된 데이터를 계산하여 카메라 간의 상대적인 위치정보의 보정 및 업데이트를 진행한다. 이 후 각 카메라의 좌표계를 3D월드 좌표계로 변환하는 과정을 통해 3개 마커의 3차원 좌표를 복원하여 각 마커간 거리를 계산하여 실제 거리와의 차이를 비교한 결과 1mm 내외의 오차를 측정하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.11a
• /
• pp.600-602
• /
• 2022

2차원 이미지 또는 영상을 통한 자세 추정의 경우, 영상 내에서 발생할 수 있는 탐지 오류, 피사체 잘림, 폐색(Occlusion) 등으로 인해 자세 추정 정확도가 감소할 수 있다. 본 논문에서는 4장 이상의 다양한 각도로 촬영한 이미지를 NeRF(Neural Radiance Fields)를 통해 이미지 합성(Image synthesis)을 진행하여 3차원 모델을 생성한다. 이후 DeepLabCut을 사용하여 관절 좌표와 골격(Skeleton)을 구축한다. 구축한 골격을 인공지능에 학습시킨 뒤 2차원 영상에서의 관절 좌표 인식, 골격 구축, 자세 추정을 진행한다. 2차원 영상 테스트 데이터를 통해, 3차원 모델을 사전 학습한 인공지능 모델과 기존 2차원 이미지를 사용하여 학습한 인공지능 모델의 자세 추정 정확도를 비교한다.