• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.1012-1018
• /
• 2007

본 논문에서는 비전 기반 3차원 얼굴 모델의 자동 표정 생성 시스템을 제안한다. 기존의 3차원 얼굴 애니메이션에 관한 연구는 얼굴의 움직임을 나타내는 모션 추정을 배제한 얼굴 표정 생성에 초점을 맞추고 있으며 얼굴 모션 추정과 표정 제어에 관한 연구는 독립적으로 이루어지고 있다. 제안하는 얼굴 모델의 표정 생성 시스템은 크게 얼굴 검출, 얼굴 모션 추정, 표정 제어로 구성되어 있다. 얼굴 검출 방법으로는 얼굴 후보 영역 검출과 얼굴 영역 검출 과정으로 구성된다. HT 컬러 모델을 이용하며 얼굴의 후보 영역을 검출하며 얼굴 후보 영역으로부터 PCA 변환과 템플릿 매칭을 통해 얼굴 영역을 검출하게 된다. 검출된 얼굴 영역으로부터 얼굴 모션 추정과 얼굴 표정 제어를 수행한다. 3차원 실린더 모델의 투영과 LK 알고리즘을 이용하여 얼굴의 모션을 추정하며 추정된 결과를 3차원 얼굴 모델에 적용한다. 또한 영상 보정을 통해 강인한 모션 추정을 할 수 있다. 얼굴 모델의 표정을 생성하기 위해 특징점 기반의 얼굴 모델 표정 생성 방법을 적용하며 12개의 얼굴 특징점으로부터 얼굴 모델의 표정을 생성한다. 얼굴의 구조적 정보와 템플릿 매칭을 이용하여 눈썹, 눈, 입 주위의 얼굴 특징점을 검출하며 LK 알고리즘을 이용하여 특징점을 추적(Tracking)한다. 추적된 특징점의 위치는 얼굴의 모션 정보와 표정 정보의 조합으로 이루어져있기 때문에 기하학적 변환을 이용하여 얼굴의 방향이 정면이었을 경우의 특징점의 변위인 애니메이션 매개변수를 획득한다. 애니메이션 매개변수로부터 얼굴 모델의 제어점을 이동시키며 주위의 정점들은 RBF 보간법을 통해 변형한다. 변형된 얼굴 모델로부터 얼굴 표정을 생성하며 모션 추정 결과를 모델에 적용함으로써 얼굴 모션 정보가 결합된 3차원 얼굴 모델의 표정을 생성한다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.780-785
• /
• 2006

HCI, 비전 기반 사용자 인터페이스 또는 제스쳐 인식과 같은 많은 분야에서 3 차원 얼굴 모션을 추정하는 것은 중요한 작업이다. 연속된 2 차원 이미지로부터 3 차원 모션을 추정하기 위한 방법으로는 크게 외형 기반 방법이나 모델을 이용하는 방법이 있다. 본 연구에서는 동영상으로부터 3 차원 실린더 모델과 Optical flow를 이용하여 실시간으로 얼굴 모션을 추정하는 방법을 제안하고자 한다. 초기 프레임으로부터 얼굴의 피부색과 템플릿 매칭을 이용하여 얼굴 영역을 검출하고 검출된 얼굴 영역에 3 차원 실린더 모델을 투영하게 된다. 연속된 프레임으로 부터 Lucas-Kanade 의 Optical flow 를 이용하여 얼굴 모션을 추정한다. 정확한 얼굴 모션 추정을 하기 위해 IRLS 방법을 이용하여 각 픽셀에 대한 가중치를 설정하게 된다. 또한, 동적 템플릿을 이용해 오랫동안 정확한 얼굴 모션 추정하는 방법을 제안한다.

• The Journal of the Korea Contents Association
• /
• v.10 no.3
• /
• pp.1-9
• /
• 2010

In this paper, we propose a new method of improving accuracy of motion estimation in mobile environments, compared with Rosten's algorithm. The present method selects corners as feature points. The Rosten's algorithm uses simple addition and subtraction to detect the corners. Although it has the advantage of faster processing speed, Rosten's algorithm has a drawback of low performance in motion estimation. We use the NCC(Normalized Cross Correlation) coefficients to match the corners, and remove in two steps the outliers of inaccurate matching corners. We compare the proposed algorithm with Rosten's algorithm by applying both to the real images. We find that the proposed method shows better performance than Rosten's algorithm in motion estimation. In addition, we implement the present method on mobile devices and confirm that it works in mobile environments in real time.

• Journal of KIISE:Computing Practices and Letters
• /
• v.16 no.12
• /
• pp.1219-1223
• /
• 2010

This paper proposes a fast motion estimation algorithm based on motion speed and multiple initial center points. The proposed method predicts initial search points by means of the spatio-temporal neighboring motion vectors. A dynamic search pattern based on the motion speed and the predicted initial center points is proposed to quickly obtain the motion vector. Due to the usage of the spatio-temporal information and the dynamic search pattern, the proposed method greatly accelerates the search speed while keeping a good predicted image quality. Experimental results show that the proposed method has a good predicted image quality in terms of PSNR with less searching time comparing with the Full Search, New Three-Step Search, and Four-Step Search.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.11a
• /
• pp.594-596
• /
• 2012

본 논문에서는 손 모션에 대하여 피부색 검출을 기반으로 전역적인 모션을 추적하고 모션 벡터를 생성하여 제스처를 인식하는 방법을 제안한다. 추적을 위하여 Shi-Tomasi 특징점 검출 방법과 Lucas-Kanade 옵티컬 플로우 추정 방법을 사용한다. 손 모션을 추적하는 경우 손의 모양이 다양하게 변화하므로 초기에 검출된 특징점을 계속적으로 추적하는 일반적인 방법으로는 손의 모션을 제대로 추적할 수 없다. 이에 본 논문에서는 프레임마다 새로운 특징점을 검출한 후 옵티컬 플로우를 추정하고 이상치(outlier)를 제거하여 손 모양의 변화에도 추적을 통한 모션 벡터 생성이 가능하도록 한다. 모션 벡터들로 인공 신경망을 사용한 판별 과정을 수행하여 최종적으로 손 모션 제스처에 대한 인식이 가능하도록 한다.

• The Journal of The Korea Institute of Intelligent Transport Systems
• /
• v.12 no.6
• /
• pp.78-86
• /
• 2013

In this paper, we propose design of a high-performance vehicle imaging information system for an efficient vehicle imaging stabilization. The proposed system was designed the algorithm by divided as motion estimation and motion compensation. The motion estimation were configured as local motion vector estimation and irregular local motion vector detection, global motion vector estimation. The motion compensation was corrected for the four directions for compensate to the shake of vehicle video image using estimate GMV. The designed algorithm were designed the motion compensation technology chip by applied to IP for vehicle imaging stabilization. In this paper, the experimental results of the proposed vehicle imaging information system were proved to the effectiveness by compared with other methods, because imaging stabilization of moving vehicle was not used of memory by processing real-time. Also, it could be obtained to reduction effect of calculation time by arithmetic operation through to block matching.

• KIPS Transactions on Software and Data Engineering
• /
• v.11 no.10
• /
• pp.419-426
• /
• 2022

In this paper, we propose a method to improve the accuracy of 3D human pose estimation model in various move motions. Existing human pose estimation models have some problems of jitter, inversion, swap, miss that cause miss coordinates when estimating human poses. These problems cause low accuracy of pose estimation models to detect exact coordinates of human poses. We propose a method that consists of detection and correction methods to handle with these problems. Deep learning-based outlier detection method detects outlier of human pose coordinates in move motion effectively and rule-based correction method corrects the outlier according to a simple rule. We have shown that the proposed method is effective in various motions with the experiments using 2D golf swing motion data and have shown the possibility of expansion from 2D to 3D coordinates.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.06a
• /
• pp.309-312
• /
• 2019

본 논문에서는 계산의 복잡성을 줄이고 피크 신호 대 잡음 비율(PSNR) 성능을 개선하기 위한 새로운 프레임 상향 변환 (Frame Rate Up Conversion) 알고리즘을 제안한다. 제안된 알고리즘을 사용하기 위한 모션 추정 과정(Motion Estimation) 은 이전 프레임과 현재 프레임에서 마크로블록(Macroblock) 값의 최소 차이값(Sum of absolute differences) 을 이용하여 보간된 프레임(Interpolated Frame) 의 마크로블록이 가지게 되는 모션 벡터 값을 추출한다. 이 때 반복된 배경 패턴 및 여러 움직임들 때문에 모션 추정 과정에서 출력되는 벡터값이 비정상적으로 출력되는 경우가 있다. 여기서 제안된 알고리즘을 통해 모션 벡터값들의 특이치(Outlier) 를 검출하고 이를 교정하기 위한 분산값(Variance) 을 이용하여 모션 벡터 평활화 작업(Motion Vector Smoothing) 을 거친다. 이와 같이 제안된 알고리즘을 이용하여 실험한 결과값으로 프레임률 상향 변환 과정을 통해 상대적으로 계산의 복잡성은 낮으면서 양호한 PSNR 값이 출력됨을 확인할 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.05a
• /
• pp.544-545
• /
• 2023

최근 화제인 가상 아이돌의 춤 제작에 많은 자원 및 비용이 발생한다. 만일 춤을 자동으로 생성해 3D 모델에 피팅하면 이러한 비용을 줄일 수 있으며, 다양하고 복잡한 춤의 구현도 가능할 것이다. 또한, 댄스 게임을 통해 춤을 배우고 즐기는 사람들이 많지만, 경험할 수 있는 춤이 한정적이며, 모션 인식 정확도가 낮다는 단점이 있다. 따라서 본 논문에서는 트랜스포머 구조의 인공지능 모델을 통해 음악에 어울리는 3D 춤 모션을 자동으로 생성하고, 3D 자세 추정 모델을 사용해 사용자의 모션을 추정한 후, 두 모션의 유사도를 랜드마크 3D 좌표로 계산하여 판정하고자 한다. 이는 1 인 댄스 룸 또는 댄스 게임에 활용되어 발전 가능하다.

• Journal of the Korea Academia-Industrial cooperation Society
• /
• v.11 no.7
• /
• pp.2579-2585
• /
• 2010

This paper proposes a dynamic human pose tracking method using motion-based search strategy from an image sequence obtained from a monocular camera. The proposed method compares the image features between 3D human model projections and real input images. The method repeats the process until predefined criteria and then estimates 3D human pose that generates the best match. When searching for the best matching configuration with respect to the input image, the search region is determined from the estimated 2D image motion and then search is performed randomly for the body configuration conducted within that search region. As the 2D image motion is highly constrained, this significantly reduces the dimensionality of the feasible space. This strategy have two advantages: the motion estimation leads to an efficient allocation of the search space, and the pose estimation method is adaptive to various kinds of motion.