• Journal of Korea Multimedia Society
• /
• v.15 no.8
• /
• pp.1059-1066
• /
• 2012

With the development of Smartphone, Smartphone contains diverse functions including many sensors that can describe users' state. So there has been increased studies rapidly about activity recognition and life pattern recognition with Smartphone sensors. This research suggest modeling of the activity data to classify extracted data in existing activity recognition study. Activity data is divided into two parts: Physical activity and Logical Activity. In this paper, activity data modeling is theoretical analysis. We classified the basic activity(walking, standing, sitting, lying) as physical activity and the other activities including object, target and place as logical activity. After that we suggested a method of visualizing modeling data for users. Our approach will contribute to generalize human's life by modeling activity data. Also it can contribute to visualize user's activity data for existing activity recognition study.

• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10b
• /
• pp.518-520
• /
• 1999

모션 캡쳐 결과 데이터와 연속 이미지로부터 구현하고자 하는 가장 큰 목적은 바로 이미 적용된 데이터가 있다면 그 데이터를 다른 모든 신체 동작에 적용하는 것이다. 본 연구는 신체 동작을 응용하여 추적된 자료를 토대로 인간의 자연스러운 움직임을 구현할 수 있도록 인체 동작의 움직임에 대한 데이터 제어 방법과 영상분석을 통하여 그에 대응하는 다른 동작을 생성할 수 있는 재사용 방법과 시스템을 개발하는 것이 목적이다. 이와 같은 시스템을 달성하기 위해 신체 동작의 제어를 위해서는 외국의 선행 연구를 도입하여, 신체 동작의 움직임에 대한 제스춰 성분 요소와 그것의 조합을 표상할 수 있는 제스춰를 연결하는 모형들에 근거하여 입력 영사에서 얻은 제스춰를 다른 d사한 동작에 사용하기 위한 합성하는 기술의 개발이 필요하다. 향후의 이러한 연구를 통해 획득한 인체 동작에 관한 것을 데이터베이스화하여 이것을 활용하고 또한 동작제어기술과 합성을 통하여 가상공간에서 사람의 동작행위를 대신할 수 있는 수준으로 확장할 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.1075-1080
• /
• 2006

본 연구에서는 영화나 게임 등에서 사용되는 인간형 관절체의 움직임을 만들어내기 위하여 동역학 시뮬레이션을 이용하는 방법을 제안한다. 동역학을 이용하여 동작을 생성하는 방법은 실제 배우가 연기하기 힘들어서 동작 포착을 활용할 수 없는 경우, 키프레임 방식에 비해 보다 사실적이고 효과적으로 동작을 만들어 내는 장점이 있다. 하지만 시간이 많이 소요되고 결과 동작을 예측하거나 제어하기 힘들기 때문에 지금까지 활용도가 낮았다. 본 연구에서 제안하는 방법은 복잡한 최적화나 컨트롤러 모델링과정 없이 동작 포착 데이터를 이용한 비례 미분 제어기를 통해서 포착된 동작과 유사한 패턴을 가지는 관절 제어기를 만들어낸다. 특히, 내부 관절 제어기뿐만 아니라 최상위 관절에 작용하는 가장제어기를 생성하여 포착된 동작의 관절 궤적을 보다 효과적으로 흉내 낼 수 있게 한다. 생성된 제어기의 매개변수를 조정함으로써 여러 가지 효과를 만들어 낼 수 있으며, 동시에 다양한 동작 패턴도 적용 가능하다. 마지막으로 제어기를 통해 시뮬레이션 되는 동작과 원래 동작 포착된 결과를 혼합하거나 보간함으로써 최종 동작을 생성한다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.616-623
• /
• 2007

본 논문에서는 음악 신호로부터 추출한 비트 정보를 사용하여 가상 캐릭터의 움직임을 제어하는 방법에 대해 논한다. 특히 주기를 가지는 반복적인 동작, 그 중에서도 춤동작에 대한 음악 신호와의 동기화 방법을 제안한다. 서버로 구현된 음악 비트 인식기는 입력 음악 신호에 대한 분석 정보를 규칙적으로 출력한다. 동작 클라이언트는 동작 캡쳐를 통해 얻은 동작 데이터를 여러 개의 기본 동작들로 나누고, 사용자가 선택한 새로운 순서대로 기본 동작들을 연결하여 부드럽게 재생한다. 또한 서버에 접속하여 전송 받은 음악의 템포에 맞게 동작데이터를 와핑(warping)하고 음악의 주요 비트 시각에 맞추어 기본 동작들의 재생시작 시간을 동기화한다. 음원에 의한, 즉 박자, 강약, 비트와 같은 기본적인 정보뿐만 아니라 분위기, 박자 변화와 같은 고급 정보에도 동적으로 반응하여 춤을 추는 가상 캐릭터를 개발하는 것이 본 연구의 궁극적인 목표이다.

• Journal of Internet Computing and Services
• /
• v.15 no.4
• /
• pp.9-20
• /
• 2014

Making good predictions about the outcome of one's actions would seem to be essential in the context of social interaction and decision-making. This paper proposes a computational model for learning articulated motion patterns for action recognition, which mimics biological-inspired visual perception processing of human brain. Developed model of cortical architecture for the unsupervised learning of motion sequence, builds upon neurophysiological knowledge about the cortical sites such as IT, MT, STS and specific neuronal representation which contribute to articulated motion perception. Experiments show how the model automatically selects significant motion patterns as well as meaningful static snapshot categories from continuous video input. Such key poses correspond to articulated postures which are utilized in probing the trained network to impose implied motion perception from static views. We also present how sequence selective representations are learned in STS by fusing snapshot and motion input and how learned feedback connections enable making predictions about future input sequence. Network simulations demonstrate the computational capacity of the proposed model for motion recognition.

• Journal of the Korea Computer Graphics Society
• /
• v.5 no.2
• /
• pp.25-32
• /
• 1999

본 논문은 한 캐릭터의 동작을 다른 캐릭터에게도 이용 가능하도록 실시간으로 동작을 변환하는 알고리즘을 제시한다. 본 알고리즘은 작업 우선 순위를 고려한 폐루프 역 변화율 제어(closed-loop inverse rate control)에 기반하고 있다. 최우선 순위의 작업으로서 캐릭터간의 앤드이펙터들의 궤적의 차이를 줄이도록 하고, 다음 우선 순위의 작업으로 잉여 자유도를 이용하여 캐릭터간의 관절각의 차이를 최소화함으로서 전체 동작 변환이 수행된다. 동작 변환은 온라인으로 이루어지므로 모션 캡쳐시 변환되는 동작을 화면상에서 실시간으로 볼 수 있다. 따라서 동작을 수행하는 사람이 원하는 결과가 얻어질 때까지 화면을 보면서 동작을 변화시킬 수 있으며 이는 오프라인 알고리즘에 비해 보다 효과적인 인터액션을 가능하게 한다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2002.11b
• /
• pp.466-469
• /
• 2002

게임이나 가상현실에서 캐릭터의 보행 동작의 움직임은 일정한 동작만을 생성하여 가상공간에 표현한다. 지형이나 다른 주변 환경에 의한 적응적인 동작을 실시간으로 자동 생성하는데 있어서 자연스러운 동작을 표현하기에는 매우 어려움이 따른다. 본 논문에서는 지질에 따른 캐릭터의 걷기 동작을 생성하는 방법에 대해 제안한다. 우선 캐릭터의 기본 걷기 동작 생성은 inverse kinematics방법을 적용하고, 지형 성질을 분석하여 이를 캐릭터의 걷기 동작 생성하는데 적용한다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2002.05d
• /
• pp.1093-1098
• /
• 2002

본 연구실에서 개발한 MIMIC(Motion Interface & Motion Information Capture system)은 동작자의 동작을 획득하고, 동작의 의미를 이해할 수 있도록 설계된 시스템이다. 비전 센서로부터 입력된 영상을 분석하여 동작자의 머리와 두 손, 두 발의 정보를 찾는다. 그리고, 이 정보를 기반으로 팔꿈치나 무릎 등의 중간 관절을 추정한 후 20개의 관절을 가지는 3차원 인체 모델을 구성한다. 이 인체 모델은 동작자의 동작을 실시간으로 흉내낸다. 그러므로, 기존의 마커프리 모션캡쳐 시스템과 달리 완벽한 인체를 구성하기 위한 중간 관절까지 생성함으로써 동작자의 동작을 더욱 자연스럽게 구현할 수 있다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2004.05a
• /
• pp.679-683
• /
• 2004

흔히 애니메이션은 캐릭터의 표정이 얼굴에만 나타난다고 생각한다. 하지만 캐릭터의 몸도 얼굴만큼이나 풍부하게 감정을 표현할 수 있다. 이에 따라 본 논문에는 캐릭터 움직임에 따른 동작이 어떻게 변화되고, 생동감 있게 움직일 것인가에 대해 알아보고자 한다. 애니메이션의 기본 동작원리에는 스쿼시, 스트레치, 동작의 속도와 타이밍, 관성, 선행동작, 포물선 따라 움직이기, 인비트위닝 등 많은 것이 있다. 이들 기본동작들은 모두 애니메이션 성공에 크게 영향을 끼친다. 애니메이션에서 캐릭터의 연기는 보는 사람들로 하여금 필요한 동작을 통하여 어떤 표현을 전달할 수 있도록 올바른 타이밍을 가져야한다. 본 논문은 애니메이션 동작을 표현하기 위해 각각의 이미지들의 표현방법에서 감성위주의 느낌들을 어떻게 보여줘야 할 것인가에 대해 다양한 표현들로 나타내었다.

• Journal of the Korea Computer Graphics Society
• /
• v.29 no.5
• /
• pp.11-20
• /
• 2023

In this paper, we propose a novel deep learning-based motion reconstruction approach that facilitates the generation of full-body motions, including finger motions, while also enabling the online adjustment of motion generation delays. The proposed method combines the Vive Tracker with a deep learning method to achieve more accurate motion reconstruction while effectively mitigating foot skating issues through the use of an Inverse Kinematics (IK) solver. The proposed method utilizes a trained AutoEncoder to reconstruct character body motions using tracker data in real-time while offering the flexibility to adjust motion generation delays as needed. To generate hand motions suitable for the reconstructed body motion, we employ a Fully Connected Network (FCN). By combining the reconstructed body motion from the AutoEncoder with the hand motions generated by the FCN, we can generate full-body motions of characters that include hand movements. In order to alleviate foot skating issues in motions generated by deep learning-based methods, we use an IK solver. By setting the trackers located near the character's feet as end-effectors for the IK solver, our method precisely controls and corrects the character's foot movements, thereby enhancing the overall accuracy of the generated motions. Through experiments, we validate the accuracy of motion generation in the proposed deep learning-based motion reconstruction scheme, as well as the ability to adjust latency based on user input. Additionally, we assess the correction performance by comparing motions with the IK solver applied to those without it, focusing particularly on how it addresses the foot skating issue in the generated full-body motions.