• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2014년도 추계학술발표대회
• /
• pp.817-820
• /
• 2014

본 논문에서는 휴대용 카메라를 이용한 3차원 공간 재구성을 위해 카메라의 실시간 포즈를 정확히 추정할 수 있는 카메라 포즈 최적화 시스템을 제안한다. 본 시스템에서는 3차원 공간에서 6차원 자유도를 가지고 움직이는 카메라의 주행 거리와 추정 포즈들 사이의 관계를 3차원 포즈 그래프로 나타냈다. 그리고 이 포즈 그래프에 대표적인 포즈 SLAM 알고리즘인 g2o를 적용함으로써, 최적화된 카메라 포즈들을 계산해낸다. 본 논문에서는 TUM 대학의 벤치마크 데이터 집합을 이용해 다양한 성능 평가 실험들을 수행하였고, 이를 통해 본 논문에서 제안한 카메라 포즈 최적화 시스템의 높은 성능을 확인할 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.419-422
• /
• 2012

최근, 인간과 컴퓨터 간의 상호작용을 위해 카메라의 정확한 포즈를 추정하고자 하는 연구가 많이 이루어지고 있다. 이러한 연구들은 인간의 움직임을 추적하기 위하여 카메라 영상으로부터 인간의 포즈를 추정하여 주된 인터랙션으로 활용하고자 한다. 그러나 기존의 움직임 추정 방법은 주로 내부(ego) 혹은 외부(exo)의 단일 카메라만을 이용하기 때문에 미세한 움직임을 분석하기 어렵다. 본 논문에서는 외부 카메라뿐만 아니라 내부 카메라를 혼합하여 사용함으로써 미세한 움직임도 추정할 수 있는 하이브리드 비전 기반 움직임 추정 방법을 제안한다. 실험 결과는 단일 카메라만을 이용한 결과와 비교해 더 정확한 포즈 추정을 보인다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 추계학술대회
• /
• pp.185-188
• /
• 2015

미리 저장된 객체의 3차원 특징점(Feature point) 좌표와 카메라 영상의 2차원 특징점 좌표를 매칭(Matching)하여 객체를 추적하는 방식의 경우, 카메라의 시점이 변할 때 특징점에서 발생되는 원근 효과(Perspective effect)가 반영되지 못하여 특징점 매칭 오류가 발생한다. 따라서 특징점에서 발생하는 원근 효과를 반영하여 정확한 카메라 포즈를 추정하기 위해 이전 프레임(Frame)의 카메라 포즈(Camera Pose)에 맞추어 텍스쳐가 포함 된 3차원 객체의 모델을 렌더링 하여 원근 효과를 적용한 후, 현재 카메라 영상과 특징점 매칭하여 프레임 사이의 카메라 움직임을 구하여 객체를 추적한다. 더 나아가 본 논문에서는 특징점 매칭에서 발생하는 작은 오류들로 인한 미세한 카메라 움직임은 2단계의 임계치(Threshold)를 적용하여 떨림 현상으로 간주하여 떨림 현상이 제거된 객체 추적을 수행한다. 매 프레임마다 카메라 포즈에 맞춘 추적 객체를 렌더링 하기 때문에 떨림 현상으로 간주되어 제거된 카메라 움직임은 누적되지 않고, 추적 오류도 발생시키지 않는다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.65-68
• /
• 2011

본 논문에서는 모바일 증강현실을 실현하기 위한 3차원 모델기반 카메라 추적 기술을 제안한다. 3차원 모델기반 추적 기술은 평면적이지 않은 객체에 적용 가능하며, 특히 텍스처가 없는 환경에서 유용하다. 제안하는 방식은 대상 객체의 3차원 모델정보로부터 영상에서 추출한 에지와의 대응점을 찾고, 대응점의 거리를 최소화하는 카메라 움직임을 추정함으로써 이전 카메라 포즈(위치 및 방향)로부터 현재 포즈가 추적되는 방식이다. 안드로이드 플랫폼의 스마트폰 상에서 제안된 방식으로 카메라 포즈를 추적하고 3차원 가상 콘텐츠를 증강시켜 봄으로써 그 유용성을 확인한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 추계학술발표대회
• /
• pp.686-689
• /
• 2018

3D 손 포즈 추정(Hand Pose Estimation, HPE)은 스마트 인간 컴퓨터 인터페이스를 위해서 중요한 기술이다. 이 연구에서는 딥러닝 방법을 기반으로 하여 단일 RGB-Depth 카메라로 촬영한 양손의 3D 손 자세를 실시간으로 인식하는 손 포즈 추정 시스템을 제시한다. 손 포즈 추정 시스템은 4단계로 구성된다. 첫째, Skin Detection 및 Depth cutting 알고리즘을 사용하여 양손을 RGB와 깊이 영상에서 감지하고 추출한다. 둘째, Convolutional Neural Network(CNN) Classifier는 오른손과 왼손을 구별하는데 사용된다. CNN Classifier 는 3개의 convolution layer와 2개의 Fully-Connected Layer로 구성되어 있으며, 추출된 깊이 영상을 입력으로 사용한다. 셋째, 학습된 CNN regressor는 추출된 왼쪽 및 오른쪽 손의 깊이 영상에서 손 관절을 추정하기 위해 다수의 Convolutional Layers, Pooling Layers, Fully Connected Layers로 구성된다. CNN classifier와 regressor는 22,000개 깊이 영상 데이터셋으로 학습된다. 마지막으로, 각 손의 3D 손 자세는 추정된 손 관절 정보로부터 재구성된다. 테스트 결과, CNN classifier는 오른쪽 손과 왼쪽 손을 96.9%의 정확도로 구별할 수 있으며, CNN regressor는 형균 8.48mm의 오차 범위로 3D 손 관절 정보를 추정할 수 있다. 본 연구에서 제안하는 손 포즈 추정 시스템은 가상 현실(virtual reality, VR), 증강 현실(Augmented Reality, AR) 및 융합 현실 (Mixed Reality, MR) 응용 프로그램을 포함한 다양한 응용 분야에서 사용할 수 있다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제35권12호
• /
• pp.780-788
• /
• 2008

손 포즈 모델링 및 추적은 컴퓨터 시각 분야에서 어려운 문제로 알려져 있다. 손 포즈 3차원 복원을 위한 방법에는 사용되는 카메라의 수에 따라 다중 카메라 또는 스테레오 카메라 기반 방식과 단일카메라 기반 방식이 있다. 다중 카메라의 경우 여러 대의 카메라를 설치하거나 동기화를 시키는 등에 대한 제약사항이 따른다. 본 논문에서는 확률 그래프 모델에서 신뢰 전파 (Belief Propagation) 알고리즘을 이용하여 단안 카메라에서 획득된 2차원 입력 영상으로부터 3차원 손 포즈를 추정하는 방법을 제안한다. 또한, 은닉 마르코프 모델(Hidden Markov Model)을 인식기로 하여 손가락 클릭 동작을 인식한다. 은닉 노드로 손가락의 관절 정보를 표현하고, 2차원 입력 영상에서 추출된 특징을 관측 노드로 표현한 확률 그래프 모델을 정의한다. 3차원 손 포즈 추적을 위해 그래프 모델에서의 신뢰 전파 알고리즘을 이용한다. 신뢰 전파 알고리즘을 통해 3차원 손 포즈를 추정 및 복원하고, 복원된 포즈로부터 손가락의 움직임에 대한 특징을 추출한다. 추출된 정보는 은닉 마르코프 모델의 입력값이 된다. 손가락의 자연스러운 동작을 위해 본 논문에서는 한 손가락의 클릭 동작 인식에 여러 손가락의 움직임을 함께 고려한다. 제안한 방법을 가상 키패드 시스템에 적응한 결과 300개의 동영상 테스트 데이타에 대해 94.66%의 높은 인식률을 보였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (2)
• /
• pp.841-843
• /
• 2005

비디오 데이터 분석은 감시, 검색, 스포츠 경기 자동 요약 등 많은 분야에서 사용되는 기술이다. 그러나 감시 카메라나 스포츠 경기 비디오와 같이 사람의 영역이 저해상도인 환경에서는 포즈 추정, 모델과의 매칭이 어렵기 때문에 제스처 인식 연구는 많이 이루어지고 있지 못하다. 본 논문에서는 카메라가 Pan/Tilt/Zoom 동작을 하고 사람이 빠르게 움직이는 방송용 테니스 비디오에서, 사람을 추출하고, Curvature Scale Space를 기반으로 한 특징을 추출하여 학습된 포즈 모델과 매칭하는 방법과, 차원의 축소를 통해 일련의 포즈들을 학습된 제스처와 매칭하는 방법을 제안한다. 50개의 방송용 테니스 경기 비디오 장면에 대하여 서브 제스처 추출을 수행한 결과, 서브 포즈에 대하여 모델과 매칭이 잘 되고, 매칭이 되지 않는 포즈를 포함하는 시퀀스에 대해서도 강인한

• 한국컴퓨터정보학회논문지
• /
• 제11권3호
• /
• pp.151-159
• /
• 2006

본 논문에서는 두 대의 카메라 영상으로부터 얼굴의 포즈를 추정하는 방법을 제안한다. 제안된 방법은 먼저 두 얼굴 영상으로부터 대응되는 눈썹, 눈, 입의 특징점을 추출한 다음, 스테레오 비전의 삼각법에 의해 특징점에 대한 3차원 위치를 계산한다. 그 다음에는 특징점으로 부터 삼각형을 생성하고 그 삼각형에 수직 방향을 계산함으로써 얼굴의 포즈를 계산한다. 계산된 얼굴의 포즈를 3D 얼굴 모델에 적용해 본 결과 본 논문에서 제안된 방법이 정확한 얼굴 포즈를 추정할 수 있음을 알 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.851-853
• /
• 2024

본 논문에서는 MediaPipe 라이브러리 및 OpenCV 를 활용한 포즈 추정 및 체형 인식 알고리즘을 통해 사용자의 체형과 선호도에 맞는 의류를 가상으로 입어볼 수 있는 생성형 FashionNet 을 제안한다. 구체적으로는 먼저 웹 카메라를 통해 얻어진 사용자의 외형 이미지로부터, 사용자의 신체 포즈를 추정하고, OpenCV 코드를 통해 사용자의 신체 윤곽을 검출한다. 이후 가상 옷장 데이터베이스로부터 선택된 가상 의류를 사용자의 신체 윤곽에 맞춰 입혀진 가상 피팅 이미지를 생성한다. 특히, 본 논문의 FashionNet 은 사용자와 카메라 간의 거리에 따른 인체 비율을 사전 실험으로 미리 설정해놓음으로써, 카메라와 사용자간의 거리에 관계없이 의류 사이즈가 사용자의 신체 조건에 맞게 자동으로 피팅되는 특징을 갖는다. 또한 가상 옷장 데이터베이스로부터 의류 아이템 선정의 편의를 제공하기 위해, 가상 현실 속에서 스크린상의 메뉴 버튼과 사용자의 포즈 동작간의 상호작용을 통해 FashionNet 의 다양한 기능을 수행할 수 있는 증강현실(AR) 기법을 적용하였다. 가상 옷장 데이터베이스를 사용한 다양한 가상 피팅 체험 실험을 통해 온라인상에서 자기가 원하는 의류를 가상으로 착용해 볼 수 있고 이를 통해 구매를 결정하는 등의 FashionNet 의 유효성과 가능성을 확인하였다.

• 방송공학회논문지
• /
• 제18권3호
• /
• pp.362-371
• /
• 2013

본 논문에서는 스테레오 카메라 추적을 이용한 모바일 3차원 디스플레이 상의 실시간 증강현실 프레임웍에 대하여 기술한다. 모델 기반 추적 방법에 기초하여 카메라 포즈는 스테레오 카메라 간의 기하 관계를 만족하도록 동시 추정된다. 동시 추정된 카메라 포즈를 통해 가상 콘텐츠는 교정된 스테레오 영상에 올바르게 증강된다. 스테레오 카메라 추적과 스테레오 영상 교정은 서로 다른 쓰레드에서 수행하고, 영상 형식 변환 및 스테레오 영상 교정은 GPU로 고속으로 처리함으로써 실시간으로 수행된다. 제안된 프레임웍은 스테레오 카메라와 3차원 디스플레이가 장착된 스마트폰에서 구현되었다.