• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권10호
• /
• pp.409-418
• /
• 2022

본 논문에서는 연주자 자세의 그라운드 트루스 획득을 위한 반자동 주석 방법인 SAAnnot-C3Pap를 제안한다. 기존 음악 도메인에서 2차원 관절 위치에 대한 그라운드 트루스를 획득하기 위하여 2차원 자세 추정 방법인 오픈포즈를 활용하거나 수작업으로 라벨링 하였다. 하지만 기존의 오픈포즈와 같은 자동 주석 방법은 빠르지만 부정확한 결과를 보인다는 단점이 있고, 사용자가 직접 주석을 생성하는 수작업 주석화의 경우 많은 노동력이 필요하다는 한계점이 있다. 따라서 본 논문에서는 그 둘의 절충 방안인 반자동 주석화 방법인 SAAnnot-C3Pap을 제안한다. 제안하는 SAAnnot-C3Pap은 크게 3가지 과정으로 오픈포즈를 사용하여 자세를 추출하고, 추출된 부분 중 오류가 있는 부분을 슈퍼바이즐리를 사용하여 수정한 뒤, 오픈포즈와 슈퍼바이즐리의 결과값을 동기화하는 과정을 수행한다. 제안하는 방법을 통하여 오픈포즈에서 발생하는 잘못된 2차원 관절 위치 검출 결과를 교정할 수 있었고, 2명 이상의 사람을 검출하는 문제를 해결하였으며, 연주 자세 그라운드 트루스 획득이 가능하였다. 실험에서는 반자동 주석 방법인 오픈포즈와 본 논문에서 제안하는 SAAnnot-C3Pap의 결과를 비교·분석한다. 비교 결과, 제안하는 SAAnnot-C3Pap는 오픈포즈로 잘못 수집된 자세 정보를 개선한 결과를 보였다.

• 스마트미디어저널
• /
• 제12권7호
• /
• pp.59-67
• /
• 2023

최근 인간의 자세와 행동을 추적하는 행동 분석 연구가 활발해지고 있다. 특히 2017년 CMU에서 개발한 오픈소스인 오픈포즈(OpenPose)는 사람의 외모와 행동을 추정하는 대표적인 방법이다. 오픈포즈는 사람의 키, 얼굴, 손 등의 신체부위를 실시간으로 감지하고 추정할 수 있어 스마트 헬스케어, 운 동 트레이닝, 보안시스템, 의료 등 다양한 분야에 적용될 수 있다. 본 논문에서는 헬스장에서 사용자들이 가장 많이 운동하는 Squat, Walk, Wave, Fall-down 4개 동작을 오픈포즈기반 딥러닝인 DNN과 CNN을 이용하여 운동 동작 분류 방법을 제안한다. 학습데이터는 녹화영상 및 실시간으로 카메라를 통해 사용자의 동작을 캡처해서 데이터 셋을 수집한다. 수집된 데이터 셋은 OpenPose을 이용하여 전처리과정을 진행하고, 전처리과정이 완료된 데이터 셋은 본 논문에서 제안한 DNN 및 CNN 모델 이용하여 운동 동작 분류를 학습한다. 제안한 모델에 대한 성능 오차는 MSE, RMSE, MAE를 사용한다. 성능 평가 결과, 제안한 DNN 모델 성능이 제안한 CNN 모델보다 우수한 것으로 나타났다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
• /
• pp.289-290
• /
• 2020

본 논문에서는 오픈 소스인 openpose skeleton tracking 기술을 이용하여 특정 운동 동작을 영상처리 기술과 딥러닝 기술로 인체 자세에 대해서 인지와 상황 판단하여 운동 동작에 대한 인식 결과를 도출할 수 있다. 먼저 입력받은 영상을 전달받아서 딥러닝 인식 시스템를 통해 인식 결과을 추출한 뒤 비교, 분석한 후에 사전 등록된 운동 동작 명칭으로 화면에 표시하여 이용자가 정확한 동작을 취할 수 있도록 지도하는 데 활용할 수 있다. 또한, 이 기술은 행동 인식부터 얼굴 인식, 손동작 인식 등에 다양하게 활용할 수 있다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
• /
• pp.489-490
• /
• 2023

본 논문에서는 신체 영상 인식 기술을 이용한 운동 자세 교정 시스템을 제안하고 개발하였다. 구글에서 제공하는 미디어파이프 포즈(MediaPipe Pose) 오픈소스를 사용하여 웹캠으로 사용자의 운동 동작을 실시간으로 인식하여, 인식된 신체 구조의 33개의 관절 위치로 Pose Landmark를 사용하여 사용자의 운동 자세에 대한 횟수 카운트, 운동 동작의 정확도 측정을 할 수 있게 하여 혼자 운동하거나 처음 운동하는 사람들에게 운동의 접근성을 높이고, 올바른 자세로 운동을 하도록 유도할 수 있다.

• 한국전자통신학회논문지
• /
• 제19권3호
• /
• pp.583-588
• /
• 2024

BCI(뇌-컴퓨터 인터페이스) 기술의 등장으로 거울 신경을 분석하는 것이 용이해졌다. 그러나 인간의 생각에 의존하는 BCI 시스템의 정확성을 평가하는 것은 그 질적 특성으로 인해 어려움을 겪는다. BCI의 잠재력을 활용하기 위해 우리는 움직임의 궁극적인 목표에 따라 발화 속도가 영향을 받는 인간의 거울 신경의 특성을 기반으로 정확도를 측정하는 새로운 접근법을 제안한다. 본 논문에 2장에서는 거울 신경을 소개한다. 또한, 거울 신경을 위한 인간 자세 추정에 대한 설명을 제시한다. 3장에서는 인간 자세 추정 기법을 활용하여 실시간 동적 환경에 적합한 강력한 포즈 추정 방법을 소개한다. 이어서 이러한 로봇 환경을 이용한 BCI의 정확성을 분석하는 방법을 제시한다.

• 한국인터넷방송통신학회논문지
• /
• 제19권2호
• /
• pp.161-168
• /
• 2019

최근에 빠르게 확산되고 있는 CCTV와 같은 영상기기들은 거의 모든 공공기관, 기업, 가정 등에서 비정상적인 상황을 감시하고 대처하기 위한 수단으로 활용되고 있다. 그러나 대부분의 경우 이상상황에 대한 인식은 모니터링하고 있는 사람에 의해 수동적으로 이루어지고 있어 즉각적인 대처가 미흡하며 사후 분석용으로만 활용되고 있다. 본 논문에서는 최신 딥러닝 기술과 실시간 전송기술을 활용하여 이벤트 발생시 스마트폰으로 이상 상황을 동영상과 함께 실시간으로 전송하는 동영상 감시 시스템의 개발 결과를 제시한다. 개발된 시스템은 오픈포즈 라이브러리를 이용하여 실시간으로 동영상으로 부터 인간 객체를 스켈레톤으로 모델링한 후, 딥러닝 기술을 이용하여 인간의 행동을 자동으로 인식하도록 구현하였다. 이를 위해 Caffe 프레임워크를 개발된 오픈포즈 라이브러리를 다크넷 기반으로 재구축하여 실시간 처리 능력을 대폭 향상 시켰으며, 실험을 통해 성능을 검증하였다. 본 논문에서 소개할 시스템은 정확하고 빠른 행동인식 성능과 확장성을 갖추고 있어 다양한 용도의 동영상 감시 시스템에 활용될 수 있을 것으로 기대된다.

• 문화기술의 융합
• /
• 제9권1호
• /
• pp.347-353
• /
• 2023

현재 軍(육군) 입대 장병은 신병훈련소에서 신체에 대한 치수 측정(자동, 수동) 및 샘플 피복을 착용해 본 후, 희망하는 치수로 피복을 지급받고 있다. 하지만, 민간 평상복보다 상대적으로 매우 세분화된 치수 체계를 적용하고 있는 軍에서는 이와 같은 치수 측정 과정에서 발생하는 측정된 치수의 낮은 정확도로 인해 지급받은 피복이 제대로 맞지 않아 피복을 교체하는 빈도가 매우 빈번히 발생하고 있다. 뿐만 아니라 서구적으로 변화된 MZ 세대의 체형변화를 반영하지 않고, 10여 년 전(前)에 수집된 구세대 체형 데이터 기반의 치수 체계를 적용함으로써 재고량이 비효율적으로 관리되는 문제점이 있다. 즉, 필요한 규격의 피복은 부족하고 불필요한 규격의 피복재고는 다수 발생하고 있다. 따라서, 피복 교체빈도를 감소시키고 재고관리의 효율성을 향상하기 위해 딥러닝 기반의 신체 치수 자동측정과 빅데이터 분석 및 머신러닝 기반의 "입대 장병 개인 맞춤형 피복 자동 추천 시스템"을 제안한다.

• 문화기술의 융합
• /
• 제10권4호
• /
• pp.367-372
• /
• 2024

발달장애는 전체 장애인 수 중에 비교적 낮은 수치에 해당되지만 장애의 정도에서 전반적으로 중증 장애로 분류되고 있다. 이러한 발달장애는 초기에 발견이 된다면 적응력과 초기 대응에 의한 치료 효과가 향상될 수 있지만, 대부분의 부모들은 자신의 아이에게서 징후를 발견하지 못하거나 치료시기를 놓치는 경우가 대다수이다. 본 논문에서는 특이적 행동특성을 기반으로 하는 초기 발달장애 징후를 객관적으로 볼 수 없는 부모나 유아기관 관계자들을 위해 발달장애 초기 특이행동 중 손 퍼덕대기(Hand-Flapping)를 인식할 수 있는 발달장애 진단 알고리듬개발의 선행연구를 수행하였다. 인지영역과 손가락을 정확하게 인식하여, 손퍼덕임 수를 정확하게 카운트하는 것을확인할 수 있었다. 빅데이터를 활용한 알고리듬의 고도화 및 기능적 성능 확장을 통해 다양한 행동패턴의 진단이 가능한 알고리듬 연구가 지속적으로 수행 및 확대될 것으로 전망된다.