• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.787-790
• /
• 2021

본 논문에서는 최신 모션 인식 기술을 활용하여 골프 스윙 비디오에서 사람의 자세를 추정한 후 다양한 원인으로 오검출된 좌표들을 보정하여 자세 추정의 정확도를 높이는 방법을 제안한다. 기존의 사람 자세 추정 모델은 골프 스윙 데이터에서 오검출, 반전, 불안정성, 미검출의 문제를 보여 정확한 자세 추정을 어렵게 했다. 이를 해결하기 위하여 본 연구에서는 자세 추정시 발생하는 이상치 데이터들을 Bi-LSTM 으로 학습하고 골프 스윙의 특징을 고려한 간단한 규칙을 통하여 이상치 데이터를 효과적으로 검출하고 이를 보정하는 방법을 제안한다. 또한 다양한 실험과 분석을 통하여 제안하는 방법이 골프 스윙 모션에서 사람의 자세를 정확히 추정할 수 있음을 보인다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.763-765
• /
• 2023

본 논문에서는 저성능 컴퓨터나 스마트폰의 카메라를 통해 입력받은 영상을 기반으로 사용자의 포즈를 추정하고, 실시간으로 사용자의 포즈에 따라 3D 모델의 모션이 제어되어 가시화 될 수 있는 클라이어트-서버 구조의 "자세추정 및 3D 모델 모션 제어 시스템"을 제안한다. 제안 시스템은 소켓통신 기반의 클라이언트-서버구조로 구성되어, 서버에서는 실시간 자세 추정을 위한 딥러닝 모델이 수행되고, 저성능 클라이언트에서는 실시간으로 카메라 영상을 획득하여 영상을 서버에 전송하고, 서버로부터 자세 추정 정보를 받아 이를 3D 모델에 반영하고 렌더링 함으로써 사용자와 함께 3D 모델이 같은 동작을 수행하는 증강현실 화면을 생성한다. 고성능을 요구하는 객체 자세 추정 모듈은 서버에서 실행하고, 클라이언트에서는 영상 획득 및 렌더링만을 실행하기 때문에, 모바일 앱에서의 실시간 증강현실을 위한 자세 추정 및 3D 모델 모션 제어가 가능하다. 제안 시스템은 "증강현실 기반 영상 찍기 앱" 에 반영되어 사용자의 움직임을 따라하는 3D 캐릭터들의 영상을 쉽게 생성할 수 있도록 할 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.615-616
• /
• 2024

현대 야구에서 타자의 스윙 패턴 분석은 상대 투수가 투구 전략을 수립하는데 상당히 중요하다. 이미지 기반의 인간 포즈 추정(HPE)은 대규모 스윙 패턴 분석을 자동화할 수 있다. 그러나 기존의 HPE 방법은 빠르고 가려진 신체 움직임으로 인해 복잡한 스윙 모션을 정확하게 추정하는 데 어려움이 있다. 이러한 문제를 극복하기 위해 스윙 모션에 대한 사전 정보를 활용하여 야구 선수의 포즈를 보정하는 방법(BPPC)을 제안한다. BPPC는 동작 인식, 오프셋 학습, 3D에서 2D 프로젝션 및 동작 인지 손실 함수를 통해 스윙 모션에 대한 사전 정보를 반영하여 기성 HPE 모델 결과를 보정한다. 실험에 따르면 BPPC는 벤치마크 데이터셋에서 기성 HPE 모델의 2D 키포인트 정확도를 정량적 및 정성적으로 향상시키고, 특히 신뢰도 점수가 낮고 부정확한 키포인트를 크게 보정했다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.04a
• /
• pp.1020-1023
• /
• 2017

Viola와 Jones가 제안한 AdaBoost(Adaptive Boosting) 알고리즘은 기존의 물체 검출기에 비해 속도와 정확도 면에서 우수하여 실시간 물체 검출기로써 좋은 성능을 보인다. 하지만 여전히 많은 계산량 때문에 성능이 낮은 임베디드 환경에서는 실시간 검출에 대한 아쉬움이 있다. 본 논문에서는 계산량을 줄이기 위해 모션 검출을 통해 배경 영역을 제거하고 얼굴 영역을 추정한다. 제거된 배경 영역은 AdaBoost 알고리즘의 검출 과정에서 제외되며 추정된 얼굴 영역에 대해서만 검출을 하게 된다. 모션검출은 ${\Sigma}-{\Delta}$(Sigma-Delta) 배경 추정에 기반한 알고리즘을 사용한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.399-402
• /
• 2011

카메라를 이용하여 정지 영상을 획득할 때 발생할 수 있는 모션 블러 (motion blur) 현상을 보정하기 위해서는 정확한 블러파라미터 (블러의 방향, 블러의 크기)의 추정이 가장 중요하다. 본 논문에서는 블러된 영상의 로그 스펙트럼 (log spectrum)의 비등방성 (anisotropic)과 엔트로피 (Entropy) 특성에 기반한 블러 파라미터 추정 방법을 제안한다. 제안하는 기법은 1D 로그스펙트럼을 이용한 비등방성의 효과적인 분석과 블러 크기의 정확도를 증가시키기 위한 보상 과정을 포함한다. 실험 결과를 통해 제안하는 기법이 단일 영상에서의 등속 직선 운동의 모션 블러 현상을 더 효과적으로 보정하는 것을 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2006.05a
• /
• pp.709-712
• /
• 2006

다양한 종류의 컴퓨터가 사람, 사물, 환경 속에 내재되어 있고, 이들이 서로 연결되어, 필요한 곳에서 활용할 수 있는 유비쿼터스 환경에서는 홈 네트워크를 통해 이 기종 기기간 다양한 데이터 교환을 요구한다. 더욱이 원활한 영상 데이터의 처리, 전송, 모니터링 기술은 핵심적 요소가 아닐 수 없다. 공간 및 시간적인 해상도, 컬러의 표현 그리고 화질의 측정방법 등 고전적 영상 처리 연구 분야뿐만 아니라 국한된 대역폭을 갖는 홈네트워크의 전송체계에서 전송률 문제에 대한 심도 있는 연구가 필요하다. 본 논문에서는 홈네트워크 상황에서 콘텐츠의 중심이 되는 영상 데이터의 전송과 처리 그리고 제어를 위하여 새로운 움직임 추정 알고리즘을 제안한다. 각도, 거리등 다양한 환경에서 전송되어지는 스테레오 카메라의 영상데이터들은 축소, 확대, 이동, 보정 등 전처리 후 제안된 변형계층 모션벡터 추정 알고리즘을 이용하여 압축 처리, 전송된다. 기존 모션벡터 추정 알고리즘의 장점을 계승하고 단점을 보완한 변형계층 알고리즘은 비정형, 소형 매크로 블록을 이용하여 휘도의 편차가 큰 영상의 효율적 움직임 추정에 이용된다. 본 논문에서 제안한 변형계층 알고리즘과 이를 이용해 구현된 영상시스템은 유비쿼터스 환경에서 다양하게 활용될 수 있다.

• The KIPS Transactions:PartB
• /
• v.14B no.4
• /
• pp.311-320
• /
• 2007

This paper presents vision-based 3D facial expression animation technique and system which provide the robust 3D head pose estimation and real-time facial expression control. Many researches of 3D face animation have been done for the facial expression control itself rather than focusing on 3D head motion tracking. However, the head motion tracking is one of critical issues to be solved for developing realistic facial animation. In this research, we developed an integrated animation system that includes 3D head motion tracking and facial expression control at the same time. The proposed system consists of three major phases: face detection, 3D head motion tracking, and facial expression control. For face detection, with the non-parametric HT skin color model and template matching, we can detect the facial region efficiently from video frame. For 3D head motion tracking, we exploit the cylindrical head model that is projected to the initial head motion template. Given an initial reference template of the face image and the corresponding head motion, the cylindrical head model is created and the foil head motion is traced based on the optical flow method. For the facial expression cloning we utilize the feature-based method, The major facial feature points are detected by the geometry of information of the face with template matching and traced by optical flow. Since the locations of varying feature points are composed of head motion and facial expression information, the animation parameters which describe the variation of the facial features are acquired from geometrically transformed frontal head pose image. Finally, the facial expression cloning is done by two fitting process. The control points of the 3D model are varied applying the animation parameters to the face model, and the non-feature points around the control points are changed by use of Radial Basis Function(RBF). From the experiment, we can prove that the developed vision-based animation system can create realistic facial animation with robust head pose estimation and facial variation from input video image.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.11a
• /
• pp.952-953
• /
• 2017

립모션(Leap Motion)은 가상현실 환경의 상호작용 장치로 각광받는 기기이다. 이에 따라 가상현실 출력장치인 HMD에 립모션을 부착해 사용하는 콘텐츠가 늘고 있다. 하지만, 립모션이 HMD상의 부착된 위치가 매번 다르기 때문에, 립모션의 손가락 감지범위와 HMD의 출력 범위가 서로 다르다는 문제점이 있다. 이를 해결하기 위해 본 논문에서는 번들 조정 알고리즘을 이용해 HMD와 립모션의 상대위치를 추정하는 기법을 제안한다. 제안하는 기법을 통해 HMD와 립모션을 부착해 이용하는 콘텐츠에 전처리기로 활용할 수 있을 전망이다.

• Journal of KIISE:Computer Systems and Theory
• /
• v.33 no.8
• /
• pp.536-546
• /
• 2006

Painterly animation is a method that expresses painterly images with a hand-painted appearance from a video, and the most crucial element for it is the temporal coherence of brush strokes between frames. A motion map is proposed in this paper as a solution to the issue of maintaining the temporal coherence in the brush strokes between the frames. A motion map is the region that frame-to-frame motions have occurred. Namely, this map refers to the region frame-to-frame edges move by the motion information with the motion occurred edges as a starting point. In this paper, we employ the optical flow method and block-based method to estimate the motion information. The method that yielded the biggest PSNR using the motion information (the directions and magnitudes) acquired by various methods of motion estimation has been chosen as the final motion information to form a motion map. The created motion map determine the part of the frame that should be re-painted. In order to express painterly images with a hand- painted appearance and maintain the temporal coherence of brush strokes, the motion information was applied to only the strong edges that determine the directions of the brush strokes. Also, this paper seek to reduce the flickering phenomenon between the frames by using the multiple exposure method and the difference map created by the difference between images of the source and the canvas. Maintenance of the coherence in the direction of the brush strokes was also attempted by a local gradient interpolation to maintain the structural coherence.

• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10b
• /
• pp.616-618
• /
• 1999

본 논문에서는 트래커(tracker)라고 불리는 자기센서 내장 모션캡쳐 장치(장치명 INSIDETRAK)로 취득한 모션 데이터를 이용하여 캐릭터를 애니메이션하는 방법에 대해 기술한다. 이 방법은 PC를 이용하여 간단히 취득되는 저해상도의 위치 데이터를 스플라인 보간법에 의해 보간하고, 추정된 위치를 제약으로 inverse kinematics 방정식을 풀어 연속적인 동작을 재현한다. 이 기술은 최소의 모션 데이터로 리얼리스틱한 움직임을 재생하는 것이 가능하며 그 결과를 상호작용이 가능한 인터페이스에 적용시키거나 실시간 애니메이션에 활용하는 것이 가능하다.