• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.1012-1018
• /
• 2007

본 논문에서는 비전 기반 3차원 얼굴 모델의 자동 표정 생성 시스템을 제안한다. 기존의 3차원 얼굴 애니메이션에 관한 연구는 얼굴의 움직임을 나타내는 모션 추정을 배제한 얼굴 표정 생성에 초점을 맞추고 있으며 얼굴 모션 추정과 표정 제어에 관한 연구는 독립적으로 이루어지고 있다. 제안하는 얼굴 모델의 표정 생성 시스템은 크게 얼굴 검출, 얼굴 모션 추정, 표정 제어로 구성되어 있다. 얼굴 검출 방법으로는 얼굴 후보 영역 검출과 얼굴 영역 검출 과정으로 구성된다. HT 컬러 모델을 이용하며 얼굴의 후보 영역을 검출하며 얼굴 후보 영역으로부터 PCA 변환과 템플릿 매칭을 통해 얼굴 영역을 검출하게 된다. 검출된 얼굴 영역으로부터 얼굴 모션 추정과 얼굴 표정 제어를 수행한다. 3차원 실린더 모델의 투영과 LK 알고리즘을 이용하여 얼굴의 모션을 추정하며 추정된 결과를 3차원 얼굴 모델에 적용한다. 또한 영상 보정을 통해 강인한 모션 추정을 할 수 있다. 얼굴 모델의 표정을 생성하기 위해 특징점 기반의 얼굴 모델 표정 생성 방법을 적용하며 12개의 얼굴 특징점으로부터 얼굴 모델의 표정을 생성한다. 얼굴의 구조적 정보와 템플릿 매칭을 이용하여 눈썹, 눈, 입 주위의 얼굴 특징점을 검출하며 LK 알고리즘을 이용하여 특징점을 추적(Tracking)한다. 추적된 특징점의 위치는 얼굴의 모션 정보와 표정 정보의 조합으로 이루어져있기 때문에 기하학적 변환을 이용하여 얼굴의 방향이 정면이었을 경우의 특징점의 변위인 애니메이션 매개변수를 획득한다. 애니메이션 매개변수로부터 얼굴 모델의 제어점을 이동시키며 주위의 정점들은 RBF 보간법을 통해 변형한다. 변형된 얼굴 모델로부터 얼굴 표정을 생성하며 모션 추정 결과를 모델에 적용함으로써 얼굴 모션 정보가 결합된 3차원 얼굴 모델의 표정을 생성한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.780-785
• /
• 2006

HCI, 비전 기반 사용자 인터페이스 또는 제스쳐 인식과 같은 많은 분야에서 3 차원 얼굴 모션을 추정하는 것은 중요한 작업이다. 연속된 2 차원 이미지로부터 3 차원 모션을 추정하기 위한 방법으로는 크게 외형 기반 방법이나 모델을 이용하는 방법이 있다. 본 연구에서는 동영상으로부터 3 차원 실린더 모델과 Optical flow를 이용하여 실시간으로 얼굴 모션을 추정하는 방법을 제안하고자 한다. 초기 프레임으로부터 얼굴의 피부색과 템플릿 매칭을 이용하여 얼굴 영역을 검출하고 검출된 얼굴 영역에 3 차원 실린더 모델을 투영하게 된다. 연속된 프레임으로 부터 Lucas-Kanade 의 Optical flow 를 이용하여 얼굴 모션을 추정한다. 정확한 얼굴 모션 추정을 하기 위해 IRLS 방법을 이용하여 각 픽셀에 대한 가중치를 설정하게 된다. 또한, 동적 템플릿을 이용해 오랫동안 정확한 얼굴 모션 추정하는 방법을 제안한다.

• 한국콘텐츠학회논문지
• /
• 제10권3호
• /
• pp.1-9
• /
• 2010

본 논문에서는 모바일 환경에서 모션을 추정하기 위하여 특징점을 코너로 선택하고, 기존 코너 검출 알고리즘인 Rosten 알고리즘 보다 모션 추정의 정확성을 높이는 방법을 제안한다. Rosten 알고리즘은 간단한 덧셈과 뺄셈만으로 코너를 검출함에 따라 처리 속도가 빠른 장점이 있지만, 코너를 매칭하면서 모션추정의 성능이 떨어지는 단점을 가지고 있다. 우리는 Normalized Cross Correlation(NCC) 계수를 사용하여 코너를 매칭하고, 두 단계에 걸쳐 부정확한 매칭에 의한 외톨이를 제거한다. 기존의 Rosten 알고리즘과 제안하는 알고리즘을 실제 영상에서 실험을 통하여 성능을 비교하고, 실제 모바일 장치의 응용 프로그램에 적용한다. 제안한 알고리즘이 Rosten 알고리즘 보다 더 정확한 모션을 추정해 냄을 실험 결과 확인하였고, 실제 모바일 환경에서도 실시간으로 동작함을 확인하였다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제16권12호
• /
• pp.1219-1223
• /
• 2010

본 논문은 모션 속도와 다수의 초기 중심점에 기반한 빠른 모션 추정 알고리즘을 제안한다. 제안한 방법은 시공간적 이웃 모션 벡터들에 의해 초기 탐색점을 예측한다. 모션벡터를 빠르게 구하기 위하여 모션 속도와 예측된 초기 중심점들에 기반한 동적인 탐색 패턴이 이용된다. 제안한 방법은 시공간 정보와 동적 탐색 패턴을 이용하여 탐색 속도를 매우 빠르게 할 뿐만 아니라 양질의 영상화질을 유지할 수 있다. 실험결과를 통해 제안한 방법이 완전 탐색, 새로운 삼단계 탐색, 사단계 탐색 방법들과 비교하여 검색시간을 줄이면서 PSNR 관점에서 양질의 영상화질을 제공함을 알 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2012년도 추계학술발표대회
• /
• pp.594-596
• /
• 2012

본 논문에서는 손 모션에 대하여 피부색 검출을 기반으로 전역적인 모션을 추적하고 모션 벡터를 생성하여 제스처를 인식하는 방법을 제안한다. 추적을 위하여 Shi-Tomasi 특징점 검출 방법과 Lucas-Kanade 옵티컬 플로우 추정 방법을 사용한다. 손 모션을 추적하는 경우 손의 모양이 다양하게 변화하므로 초기에 검출된 특징점을 계속적으로 추적하는 일반적인 방법으로는 손의 모션을 제대로 추적할 수 없다. 이에 본 논문에서는 프레임마다 새로운 특징점을 검출한 후 옵티컬 플로우를 추정하고 이상치(outlier)를 제거하여 손 모양의 변화에도 추적을 통한 모션 벡터 생성이 가능하도록 한다. 모션 벡터들로 인공 신경망을 사용한 판별 과정을 수행하여 최종적으로 손 모션 제스처에 대한 인식이 가능하도록 한다.

• 한국ITS학회 논문지
• /
• 제12권6호
• /
• pp.78-86
• /
• 2013

본 논문에서는 효율적인 차량 영상 안정화를 위한 고성능 차량 영상 정보 시스템을 제안한다. 제안된 시스템은 움직임 추정 및 움직임 보상으로 분할하여 설계하였다. 움직임 추정은 지역 모션 벡터 추정 및 불규칙 지역 모션 검출, 전역 모션 벡터 추정으로 구성하였다. 움직임 보상은 추정된 전역 모션 벡터를 사용하여 차량의 영상 흔들림을 보상하기 위해 네 방향에 대하여 보정을 하였다. 설계된 알고리즘은 차량 영상 안정화를 위해 IP에 적용하여 움직임 보정 기술 칩을 설계하였다. 본 논문의 결과, 움직이는 물체에 대한 차량 영상 안정화는 메모리를 사용하지 않고 실시간 처리를 했기 때문에 다른 방법과 비교하여 효율성을 입증하였다. 또한, 블록 정합을 통한 연산으로 계산 시간 감소 효과를 얻었다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권10호
• /
• pp.419-426
• /
• 2022

본 논문에서는 다양한 운동 모션에서 3차원 사람 자세 추정 모델의 정확도를 향상하는 방법을 제안한다. 기존의 사람 자세 추정 모델은 사람의 자세를 추정할 때 좌표 오차를 유발하는 흔들림, 반전, 교환, 오검출 등의 문제가 발생한다. 이러한 문제는 사람 자세 추정 모델의 정확한 자세 추정을 어렵게 한다. 이를 해결하기 위해 본 논문에서는 딥러닝 기반 이상치 검출 및 보정 방법을 제안한다. 딥러닝 기반의 이상치 검출 방법은 여러 모션에서 좌표의 이상치를 효과적으로 검출하고, 모션의 특징을 활용한 규칙 기반 보정 방법을 통해 이상치를 보정한다. 다양한 실험과 분석을 통하여 제안하는 방법이 골프 스윙 모션과 다양한 운동 모션에서도 사람의 자세를 정확히 추정할 수 있고, 3차원 좌표 데이터에서도 확장 가능함을 보인다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.309-312
• /
• 2019

본 논문에서는 계산의 복잡성을 줄이고 피크 신호 대 잡음 비율(PSNR) 성능을 개선하기 위한 새로운 프레임 상향 변환 (Frame Rate Up Conversion) 알고리즘을 제안한다. 제안된 알고리즘을 사용하기 위한 모션 추정 과정(Motion Estimation) 은 이전 프레임과 현재 프레임에서 마크로블록(Macroblock) 값의 최소 차이값(Sum of absolute differences) 을 이용하여 보간된 프레임(Interpolated Frame) 의 마크로블록이 가지게 되는 모션 벡터 값을 추출한다. 이 때 반복된 배경 패턴 및 여러 움직임들 때문에 모션 추정 과정에서 출력되는 벡터값이 비정상적으로 출력되는 경우가 있다. 여기서 제안된 알고리즘을 통해 모션 벡터값들의 특이치(Outlier) 를 검출하고 이를 교정하기 위한 분산값(Variance) 을 이용하여 모션 벡터 평활화 작업(Motion Vector Smoothing) 을 거친다. 이와 같이 제안된 알고리즘을 이용하여 실험한 결과값으로 프레임률 상향 변환 과정을 통해 상대적으로 계산의 복잡성은 낮으면서 양호한 PSNR 값이 출력됨을 확인할 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.544-545
• /
• 2023

최근 화제인 가상 아이돌의 춤 제작에 많은 자원 및 비용이 발생한다. 만일 춤을 자동으로 생성해 3D 모델에 피팅하면 이러한 비용을 줄일 수 있으며, 다양하고 복잡한 춤의 구현도 가능할 것이다. 또한, 댄스 게임을 통해 춤을 배우고 즐기는 사람들이 많지만, 경험할 수 있는 춤이 한정적이며, 모션 인식 정확도가 낮다는 단점이 있다. 따라서 본 논문에서는 트랜스포머 구조의 인공지능 모델을 통해 음악에 어울리는 3D 춤 모션을 자동으로 생성하고, 3D 자세 추정 모델을 사용해 사용자의 모션을 추정한 후, 두 모션의 유사도를 랜드마크 3D 좌표로 계산하여 판정하고자 한다. 이는 1 인 댄스 룸 또는 댄스 게임에 활용되어 발전 가능하다.

• 한국산학기술학회논문지
• /
• 제11권7호
• /
• pp.2579-2585
• /
• 2010

본 논문은 단안 카메라로부터 입력된 영상에서 모션 기반의 검색을 사용한 동적인 사람 자세 추적 방법을 제안한다. 제안된 방법은 3차원 공간에서 하나의 사람 자세 후보를 생성하고, 생성된 자세 후보를 2차원 이미지 공간으로 투영하여, 투영된 사람 자세 후보와 입력 이미지와의 특징 값 유사성을 비교한다. 이 과정을 정해진 조건을 만족 할 때까지 반복하여 이미지와의 유사성과, 신체 부분간 연결성이 가장 좋은 3차원 자세를 추정한다. 제안된 방법에서는 입력 이미지에 적합한 3차원 자세를 검색할 때, 2차원 영상에서 추정된 신체 각 부분들의 모션 정보를 사용해 검색 공간을 정하고 정해진 검색 공간에서 탐색하여 사람의 자세를 추정한다. 2차원 이미지 모션은 비교적 높은 제약이 있어서 검색 공간을 의미있게 줄일 수 있다. 이 방법은 모션 추정이 검색 공간을 효율적으로 할당 해주고, 자세 추적이 여러 가지 다양한 모션에 적응할 수 있다는 장점을 가진다