• 디지털융복합연구
• /
• 제11권7호
• /
• pp.157-163
• /
• 2013

본 논문에서는 손가락 마디 추정을 이용한 비전 및 깊이 정보 기반 손 인터페이스 방법을 제안한다. 먼저 비주얼 영상 및 깊이 정보 영상을 매핑한 후 왼손과 오른손의 영역의 레이블링 및 윤곽선 잡음 보정 후 각 손 영역에 대하여 손 중심점 및 회전각을 구현한다. 그리고 손 중심점에서 일정간격의 원을 확장하여 손 경계 교차점의 중간 지점을 계산하여 손가락 끝점과 마디를 추정하여 사용자의 손가락 동작을 인식한다. 본 방법을 실험한 결과 손의 회전 및 손가락 시작점 및 끝점을 정확하게 추정하여 다양한 손동작 인식 및 제어가 가능함을 보였다. 왼손과 오른손을 사용하여 다양한 손 포즈에 대해 실험한 결과, 본 논문의 제안 방법은 평균 90% 이상의 정확도로 초당 25프레임 이상의 처리 성능을 보였다. 제안 방법은 컴퓨터간의 HCI 제어, 게임, 교육 등의 비접촉식 인터페이스 응용분야에 적용될 수 있다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제19권2호
• /
• pp.1-8
• /
• 2013

실제 사람의 움직임을 촬영하여 얻은 동작 데이터는 인체운동의 메커니즘을 이해하거나 가상 캐릭터의 애니메이션을 합성하기 위한 목적으로 널리 활용되고 있다. 주어진 동작 데이터로부터 원하는 동작을 검색하는 작업은 찾아낸 동작을 분석하고 편집하기 전에 선행되어야 하는 주요 과정이다. 본 논문은 기술어와 같은 별도의 메타 데이터 없이 원본 데이터에 내재된 정보만을 이용하여 검색을 수행하는 새로운 내용 기반 동작 데이터 검색 방법을 제안한다. 주로 신체 자세의 골격 형태나 평면 상의 이동 궤적에 초점을 맞춘 기존 검색 방식과 달리, 본 논문에서 제안하는 방법은 3차원 공간 상의 궤적을 질의로 입력 받아서 손, 발, 허리와 같은 신체 부위의 이동 궤적이 그와 가장 유사한 일련의 동작 구간들을 검출한다. 사용자가 직관적으로 공간적 궤적을 묘사할 수 있도록 하기 위하여, 본 논문의 실험에서는 손가락의 공간적 움직임을 정밀하게 추적할 수 있는 Leap Motion 제어기를 입력 도구로 사용하였다. 드리블, 슈팅 등의 다양한 동작이 포함된 농구 동작 데이터로부터 미리 선택된 수십 여개의 동작을 검색하는 사용자 테스트를 수행하여 제안된 방법의 효용성을 평가하였다.

• 전자공학회논문지C
• /
• 제35C권6호
• /
• pp.76-87
• /
• 1998

본 논문에서는 동적 제스처인 수화와 정적 제스처인 지문자가 섞여 있으며 연속으로 수행하는 손 제스처를 실시간으로 인식하는 시스템을 구현하였다. 연속적인 손 제스처는 동작의 시작과 끝에 대한 명확한 표시가 없고 제스처의 형태가 복잡하다. 본 논문에서는 연속적인 손 제스처에서 개별 제스처를 구분하기 위하여 제스처의 속력과 속력 변화를 이용한 상태 오토마타를 구현하였으며, 다양한 손 제스처의 의미를 인식하면서도 확장이 쉬운 시스템을 구현하기 위하여 14가지 손운동, 23가지 손모양, 그리고 14가지 손방향의 기본 요소 인식기를 구현하였다. 양손 사이버글러브와 자장 추적 장치를 이용하여, 구현된 시스템은 131개의 한글수화와 31개의 지문자를 실시간으로 인식하며, 수화의 인식률은 기각인 경우를 제외한 경우 94.3%, 지문자의 인식률은 96.7%에 이른다.

• 디지털융복합연구
• /
• 제13권9호
• /
• pp.259-267
• /
• 2015

본 논문에서는 직선을 판별하는 판별방법과 또한 직선으로 판정되는 경우 직선의 8가지 방향에 대한 판정을 위하여 좌표정보와 삼각함수 성질을 이용하여 직선 8반향 알고리즘을 제안하였다. 본 실험은 각 동작 별로 100회씩 총 800회를 실험 하였으며, 본 논문에서 제안한 알고리즘을 통한 정확도는 왼쪽 위로의 대각선 방향이 92%로 가장 높았으며 왼쪽 방향, 오른쪽 위로의 대각선 방향과 오른쪽 아래로의 대각선 방향이 모두 82%로 가장 낮은 인식률을 나타내었다. 이 방법은 기존 방법과는 다르게 학습과정 없이 이미지 처리를 통해 얻은 좌표 정보만으로 손 제스처 인식이 가능하다는 것을 보여준다.

• Journal of Platform Technology
• /
• 제11권1호
• /
• pp.38-51
• /
• 2023

인공지능에 기반한 손 제스처 인식 정보를 활용한 지능형 인터페이스 알고리즘을 제안한다. 이 방법은 기능적으로 사용자 손 제스처의 추적 및 인식을 미디어파이프와 KNN, LSTM, CNN의 인공지능 기법을 사용해 다양한 동작을 빠르고 지능적으로 인식되는 인터페이스이다. 제안한 알고리즘 성능 평가를 위해 자체 제작한 2D 탑뷰 레이싱 게임과 로봇제어에 적용한다. 알고리즘 적용 결과 게임의 가상 객체의 다양한 움직임을 세밀하고 강건하게 제어할 수 있었으며, 실세계의 로봇 제어에 적용한 결과 이동과 정지, 좌회전, 우회전 등의 제어가 가능하였다. 또한 게임의 메인 캐릭터와 실세계 로봇을 동시에 제어하여 가상과 현실의 공존공간 상황 제어를 위한 지능형 인터페이스로 최적화된 동작도 구현하였다. 제안한 알고리즘은 신체를 활용한 자연스럽고 직관적 특성과 손가락의 미세한 움직임 인식에 따른 정교한 제어가 가능하며, 빠른 기간 내에 숙련되는 장점이 있어 지능형 사용자 인터페이스 개발을 위한 기본자료로 활용될 수 있다.

• 인터넷정보학회논문지
• /
• 제12권3호
• /
• pp.119-129
• /
• 2011

비전기반 인간컴퓨터 상호작용은 컴퓨터와 인간의 상호소통을 자연스럽게 제공하는 측면에서 과학과 산업분야에서 주목받는 연구 분야이다. 특히 최근 모바일 증강현실의 활용에 대한 수요증대는 증강된 가상 객체와 사용자간의 효과적인 상호작용 기술 개발을 요구하고 있다. 본 논문에서는 안드로이드기반 모바일 플랫폼에서 비 마커기반의 새로운 모바일 증강현실 객체생성 및 제어 방법을 제시하였다. 전통적인 마커를 대신하여 비 마커기반 모바일 증강현실 시스템에서는 사용자에게 친숙한 손 인터페이스를 이용하였다. 기존의 데스크 탑 기반의 증강현실에 비하여 제한된 시스템 사양을 이용하는 비 마커기반 모바일 증강현실을 구현하기 위하여 마커의 역할을 수행할 손의 최적영역을 모바일 장치의 카메라로부터 실시간으로 검출 하여 객체를 증강시키는 방법을 제시하였다. 손의 최적영역의 추출은 YCbCr 스킨컬러 모델을 이용한 손영역 검출과 Rotating Calipers 알고리즘을 적용한 최적 사각형 추출에 의해 구현하였다. 이때 추출된 최적 사각형은 통상적인 마커기반 증강현실에서의 마커역할을 수행할 수 있도록 하였으며, 기존의 손끝추적에 의한 마커 생성 시 발생하는 손의 회전이나 가려짐에 의한 문제를 해결하였다. 실험을 통하여 제안된 방법이 비 마커기반 모바일 객체를 효과적으로 생성 제어할 수 있음을 입증하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제21권2호
• /
• pp.11-20
• /
• 2015

본 논문은 캐릭터의 특정 신체 부위를 3차원 가상 환경 안의 원하는 위치로 드래깅 함으로써 미래의 동작 시퀀스를 지시하는 새로운 대화형 기법을 제시한다. 캐릭터의 동작 시퀀스는 미리 촬영된 동작 데이터의 세부 구간들을 모션 그래프 구조에 따라 시간적으로 재배열 함으로써 합성한다. 손 동작 추적 장치에 의하여 사용자의 3차원 위치 입력이 주어지면, 모션 그래프를 공간 상에 펼침으로써 캐릭터의 현재 상태로부터 도달 가능한 잠재적 미래 상태들을 샘플링 하고, 선택된 신체 부위와 입력 위치 간의 거리가감소하는 미래 상태를 검출하여 해당 자세를 사용자에게 제시한다. 연속적으로 검출된 자세 간의 변화를 최소화 함으로써 사용자가 입력 위치를 변화 시킴에 따라 어떤 상태가 검출될지 예상하기 용이하도록 하고, 결과적으로 원하는 미래 상태에 신속하게 도달하도록 한다. 제안된 방법의유용성은 브레이크 댄스, 권투, 농구 등의 동작 데이터를 이용한 실험을 통하여 확인할 수 있었다.

• 스마트미디어저널
• /
• 제12권7호
• /
• pp.59-67
• /
• 2023

최근 인간의 자세와 행동을 추적하는 행동 분석 연구가 활발해지고 있다. 특히 2017년 CMU에서 개발한 오픈소스인 오픈포즈(OpenPose)는 사람의 외모와 행동을 추정하는 대표적인 방법이다. 오픈포즈는 사람의 키, 얼굴, 손 등의 신체부위를 실시간으로 감지하고 추정할 수 있어 스마트 헬스케어, 운 동 트레이닝, 보안시스템, 의료 등 다양한 분야에 적용될 수 있다. 본 논문에서는 헬스장에서 사용자들이 가장 많이 운동하는 Squat, Walk, Wave, Fall-down 4개 동작을 오픈포즈기반 딥러닝인 DNN과 CNN을 이용하여 운동 동작 분류 방법을 제안한다. 학습데이터는 녹화영상 및 실시간으로 카메라를 통해 사용자의 동작을 캡처해서 데이터 셋을 수집한다. 수집된 데이터 셋은 OpenPose을 이용하여 전처리과정을 진행하고, 전처리과정이 완료된 데이터 셋은 본 논문에서 제안한 DNN 및 CNN 모델 이용하여 운동 동작 분류를 학습한다. 제안한 모델에 대한 성능 오차는 MSE, RMSE, MAE를 사용한다. 성능 평가 결과, 제안한 DNN 모델 성능이 제안한 CNN 모델보다 우수한 것으로 나타났다.

• 디지털콘텐츠학회 논문지
• /
• 제13권2호
• /
• pp.235-245
• /
• 2012

우리는 본 논문에서 사용자 제스처 인터페이스 기반 퀴즈게임 콘텐츠를 제안한다. 우리는 기존의 아날로그 방식으로 수행해 오던 퀴즈게임의 요소들을 파악하여 디지털화함으로써 퀴즈 진행자의 역할을 콘텐츠 프로그램이 담당할 수 있도록 하였다. 우리는 키넥트 카메라를 사용하여 깊이영상을 획득하고 깊이영상에서 사용자 분할, 머리 위치 검출 및 추적, 손 검출 등의 전처리 작업과 손들기, 손 상하이동, 주먹 모양, 패스, 주먹 쥐고 당김 등의 명령형 손 제스처 인식기술을 개발하였다. 특히 우리는 사람이 일상생활에서 물리적인 객체를 조작하는 동작으로 인터페이스를 위한 제스처를 정의함으로써 사용자가 이동, 선택, 확인 등의 추상적인 개념을 인터페이스 과정에서 체감할 수 있도록 디자인하였다. 앞서 발표되었던 선행 작업과 비교할 때, 우리는 승리 팀에 대한 카드보상 절차를 추가하여 콘텐츠의 완성도를 높였으며, 손 상하이동 인식과 주먹 모양 인식 알고리즘 등을 개선하여 문제 보기선택의 성능을 크게 향상시켰고, 체계적인 실험을 통해 만족할 만한 인식 성능을 입증하였다. 구현된 콘텐츠는 실시간 테스트에서 만족스러운 제스처 인식 결과를 보였으며 원활한 퀴즈게임 진행이 가능하였다.

• 한국인터넷방송통신학회논문지
• /
• 제13권4호
• /
• pp.91-97
• /
• 2013

본 논문에서는 단일 카메라를 사용하여 사용자 제스쳐 명령을 사용자의 손가락 개수 및 이동 방향을 기반으로 인식하는 손동작 리모트 컨트롤러 인터페이스를 구현한다. 구현한 손동작 리모트 컨트롤러 인터페이스는 손 영역의 추출을 위해서 RGB 컬러모델로부터 YCbCr 컬러모델로의 색 변환에 의한 색차정보를 이용하고, 추출된 손 영역의 중심에서 이중 원형 추적(Double Circle Tracing)에 의한 교차정보를 이용하여 손가락 개수 및 위치 정보를 계산한다. 특히, 제안하는 방법에서 지속적 사용자 명령은 제스쳐 단일 형상의 방향 이동에 의해서 반복 수행이 가능하고, 손가락 위치 정보는 사용자 경험(UX: User eXperience)에 기반 하여 사용자 명령을 증폭 수행한다. 또한 Intel사(社)의 OpenCV 라이브러리를 기반으로 C++언어를 사용하여 구현된 손동작 컨트롤러 인터페이스의 성능 평가를 위해서는 상용 비디오 플레이어 프로그램에 적용하여 각 컨트롤 모드별 인식률을 측정한 결과 평균 89%의 인식률을 보였다.