• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.620-624
• /
• 2009

본 논문은 고화질(high definition, HD) 복합형 카메라 시스템과 고품질(high-quality) 3차원 스캐너를 결합하여 다시점 비디오와 그에 상응하는 다시점 깊이맵을 생성하는 시스템을 제안한다. 복합형 카메라 시스템과 3차원 스캐너를 이용해 3차원 비디오를 생성하기 위해서는, 우선 움직임이 없는 배경영역에 대한 깊이정보를 고품질 3차원 스캐너를 이용해 미리 획득하고, 동적으로 움직이는 전경영역에 대해서는 다시점 카메라와 깊이 카메라를 결합한 복합형 카메라 시스템을 이용해 다시점 비디오와 깊이맵을 획득한다. 그리고 3차원 스캐너와 깊이카메라를 통해 획득한 깊이정보를 이용해 3차원 워핑(warping)을 적용하여 각 다시점 카메라를 위한 초기 깊이정보를 예측한다. 초기 깊이정보를 이용해 다시점 깊이를 예측하는 것은 다시점 카메라의 각 시점에서의 초기 깊이맵을 계산하기 위한 것이다. 고화질의 다시점 깊이맵을 생성하기 위해서 belief propagation 방법을 이용하여 초기 깊이맵을 정제한다. 마지막으로, 전경영역의 경계선 영역의 불규칙적인 깊이맵을 정제하기 위해 전경영역의 외곽선 정보를 추출하여 생성된 깊이맵의 경계선 영역을 다시한번 정제한다. 제안한 3차원 스캐너와 복합형 카메라를 결합한 시스템은 기존의 깊이맵 예측 방법보다 정확한 다시점 깊이맵을 포함하는 3차원 비디오를 생성할 수 있었으며, 보다 자연스러운 3차원 영상을 생성할 수 있었다.

• 대한전자공학회논문지SP
• /
• 제48권6호
• /
• pp.8-17
• /
• 2011

최근 비행시간 (Time-of-Flight, TOF) 원리에 기반한 깊이 카메라의 등장과 함께 저해상도 깊이 카메라와 고해상도 컬러 카메라로 이루어진 복합형 카메라 시스템 (Fusion Camera System) 이 각광을 받고 있다. 복합형 카메라 시스템에서 취득한 저해상도 깊이맵을 컬러 영상과 같은 영상 평면 (Image Plane) 에 위치시키고 같은 해상도를 가질 수 있게 하려면 카메라 보정 및 3차원 투영, 홀 (Hole) 채우기와 같은 일련의 전처리 과정이 필요하다. 그러나 전처리 과정을 거친 깊이맵은 깊이 카메라의 내부 특성, 카메라 보정의 부정확성 등에 의해 많은 오차를 가진다. 그러므로 본 논문에서는 오차가 많은 상황에서도 강건하게 동작하는 깊이맵 업샘플링 방법을 제안한다. 먼저, 전처리 과정을 통해 얻은 깊이 정보의 신뢰도를 컬러 영상과의 상관관계에 기반하여 측정한다. 그리고 낮은 신뢰도의 깊이 정보를 참조하지 않는 수정된 커널 회기법 (Kernel Regression)을 통해 깊이맵과 컬러 영상의 경계 정합을 수행하여 세밀한 깊이 표현이 가능한 고해상도 깊이맵을 형성한다. 제안하는 알고리즘은 깊이 정보의 신뢰도 정의와 그에 따른 참조를 통해 카메라 보정 결과가 부정확하더라도 높은 성능의 깊이맵 생성을 보장한다. 실험결과를 통해 기존의 깊이맵 업샘플링 기술보다 제안하는 방법이 더 정확한 깊이 정보를 제공하는 것을 확인할 수 있다.

• 정보처리학회논문지B
• /
• 제15B권5호
• /
• pp.477-486
• /
• 2008

얼굴의 기하학적 특징이 변하여 생기는 표정은 얼굴 인식 시스템의 인식 결과에 다양한 영향을 끼친다. 얼굴 인식율을 개선하기 위해 본 연구에서는 인식 대상 얼굴과 참조 얼굴 사이의 표정 차이를 줄이는 방법으로 얼굴 표정 정규화를 제안한다. 본 연구에서는 대형의 이미지 데이터베이스를 구축하지 않고도 한 개의 정지 이미지에 일반적인 얼굴 근육 모델을 이용하는 접근 방식을 제시하여 얼굴 표정 모델링과 정규화를 처리한다. 첫 번째 방식은 본능적으로 변하는 얼굴 표정의 생물학적 모델을 구축하기 위해 선형 근육 모델의 기하학적 계수를 예측하는 것이다. 두 번째 방식은 RBF(Radial Basis Function)기반의 보간과 와핑을 통해 주어진 표정에 따라 얼굴 근육 모델을 무표정한 얼굴로 정규화한 것이다. 실험 결과, 기저얼굴 방식, 지역 이진 패턴 방식, 회색조 상관측정 방식과 같은 얼굴 인식 과정의 전처리 단계로 본 연구의 표정 정규화 과정을 적용하면 정규화를 거치지 않은 것보다 더 높은 인식율을 보인다.

• 전자공학회논문지
• /
• 제54권8호
• /
• pp.67-80
• /
• 2017

본 논문에서는 추정된 시공간 배경 정보를 이용하여 자유 시점에서 합성영상을 생성하기 위한 홀채움 방식을 제안한다. 시간적 배경 정보를 추정하기 위해 비겹침 패치 기반의 배경 코드북을 이용한 새로운 시간적 배경 모델을 소개한다. 더불어, 공간적 배경 후보의 하한 및 상한 값의 제약 조건을 설정하는 깊이영상 기반 공간적 국부 배경 예측 방식에 대해 제안한다. 추정된 시간적 배경 정보와 공간적 배경 정보의 유사도를 비교하여 가려짐 배경 영역의 홀채움 과정을 수행한다. 또한 3-D 워핑 후 발생하는 컬러영상과 깊이영상간의 불일치 문제를 해결하기 위해 깊이영상 기반의 고스트 제거 필터를 기술한다. 마지막으로 잔여 홀을 채우기 위해 새로운 깊이 항을 포함한 우선순위 함수를 이용하여 인페인팅 방식이 적용된다. 실험 결과를 통해 기존의 홀채움 방식들과 비교하여 제안하는 방식의 객관적, 주관적 성능의 우수성을 확인할 수 있었다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제21권3호
• /
• pp.55-61
• /
• 2015

본 논문은 입력 영상에 자연스러운 가상 화장 효과를 빠르게 적용하기 위한 방법을 다룬다. 특히 얼굴의 굴곡과 조명에 따라 나타나는 자연스러운 음영 효과를 가상 화장에 적용함으로써 기존의 방법에 비해 자연스럽고 다양한 화장 효과를 얻기 위한 방법을 제안한다. 가상 화장 효과에 음영을 적용하기 위해서는 입력 영상의 조명 환경과 입력 영상의 얼굴 면의 각 화소에 대한 법선 벡터가 필요하다. 기존에 영상에서 조명 환경 및 법선 벡터를 생성하는 과정이 비교적 많은 계산량이 필요하므로 때문에 본 논문에서는 얼굴의 특징점을 찾는 단계적 자세 회귀 방법에 조명 환경을 근사하는 과정을 통합하고, 3차원 표준모델을 변환, 와핑하여 법선 벡터를 계산하는 과정을 통하여 빠르게 화장 효과를 합성하기 위한 방법을 제안한다. 실험을 통하여 본 논문에서 제안하는 방법으로 근사한 조명 환경 및 법선 벡터는 시각적으로 자연스러운 가상 화장 효과를 표현할 수 있는 것을 보였다.

• 감성과학
• /
• 제7권1호
• /
• pp.23-28
• /
• 2004

한국인 20대 여성 얼굴의 DB에서 얼굴의 물리적 특징을 고루 반영하는 대표적인 얼굴들을 선정하고 감성 및 미모 평정을 실시하여 아름다운 얼굴의 감성 특징을 파악하였다. 연구 1에서는 얼굴 감성 평정을 요인 분석하였으며, 그 결과 두 개의 요인으로 전체 변량의 약 65%를 설명할 수 있었다. 이들 두 요인은 각각 샤프(sharp) 요인과 소프트(soft) 요인으로 명명되었다. 연구 2에서는 각 얼굴들에 대해 감성 평정과 미모 평정을 실시하고 둘 간의 상관을 내보았는데, 얼굴 미모는 소프트한 느낌보다는 샤프한 느낌과 상관이 있는 것으로 나타났다. 연구 3에서는 얼굴 합성법을 이용하여 합성 이미지에 대해 미모 평정과 감성 평정을 실시하였다. 그 결과 미인들을 평균한 '상위 평균' 이미지가 '전체 평균' 이미지보다 아름답다고 평가되었으며, 그보다는 약하지만 '상위 평균' 이미지를 과장한 '상위 + 50' 이미지가 '상위 평균' 이미지보다 더 아름답다고 평가되었다. 감성 평정 결과, 전반적으로 '전체 평균' 이미지는 소프트한 느낌을, '상위 평균' 이미지는 샤프한 느낌을 지니고 있는 것으로 나타났으며, '상위 + 50' 이미지는 양쪽 느낌을 고루 지니고 있는 것으로 나타났다. 본 연구의 결과는 아름다운 얼굴이 감성적 특징과 연결될 수 있는 독특한 물리적 특징을 지니고 있으며 이 물리적 특징의 과장이 이중적인 감성 특징을 유발하고 더 아름답게 평정될 수 있음을 시사한다.

• 한국정보과학회논문지:시스템및이론
• /
• 제27권8호
• /
• pp.691-700
• /
• 2000

볼륨 데이타에 대한 팔진트리와 같은 계층 자료구조를 사용하는 광선 추적법은 모든 광선이 계층구조를 순회하는 것으로 인한 중복된 계산을 포함하고 있으며, 좋은 화질의 영상을 얻기 위한 3차원 보간으로 인하여 많은 계산 비용을 요구한다. 본 논문은 볼륨 데이타의 계층구조에 대한 중복된 방문을 피하고， 오직 한 번만 계층구조를 방문하면서 효과적으로 광선의 리샘플링 지점을 결정하여 색상과 투병도를 구하는 볼륨 렌더링 알고리듬을 제안한다. 이 방법은 물체 순서로 광선 추적법을 수행하면서, 각 복셀 주위에서의 리샘플링 지점을 점진적으로 찾아가면서 각 슬라이스 상에서의 2차원 보간에 기반을 둔 리샘플링을 수행한다. 또한 물체 순서 렌더링에서는 조기 광선 종결과 같은 최적화 기법을 구현하기 힘든데, 영상공간에서의 동적 자료구조를 이용하여 이를 효과적으로 해결하였다 본 논문이 제안한 방법은 구현하기 쉽고 속도 향상을 위하여 추가적으로 요구되는 메모리가 매우 적기 때문에 광선 추적법과 쉬어 와핑 방법 사이의 성능 차이를 메워주는 효과적인 방법으로 사용될 수 있을 것이다.

• 전자공학회논문지
• /
• 제52권7호
• /
• pp.93-99
• /
• 2015

본 논문에서는 실감형 원격 영상회의를 위한 시스템을 제안한다. 원격 영상회의에서 카메라는 보통 디스플레이의 중앙이 아닌 측면에 설치가 된다. 이는 시선 불일치를 만들고, 사용자들의 몰입도를 떨어뜨린다. 따라서 실감형 영상회의에 있어서 시선 맞춤은 중요한 부분을 차지한다. 제안하는 방법은 스테레오 카메라와 깊이 카메라를 사용하여 시선 맞춤을 시도한다. 깊이 카메라는 비교적 적은 비용으로 효율적으로 깊이 정보를 생성할 수 있는 키넥트 카메라를 선택하였다. 하지만 키넥트 카메라는 비용적인 장점에도 불구하고 단독으로 사용하기에는 내제하는 단점이 많다. 따라서 스테레오 카메라를 더하여 각 깊이 센서 간의 단점을 보완하는 방법을 개발하였고, 이는 각 깊이 정보 간의 혼합 및 정제 과정을 통해서 실현된다. 시선 맞춤 영상 생성은 후처리를 통한 보완된 깊이 정보를 이용하여 3차원 워핑 기술을 이용하여 구현된다. 실험결과를 보면 제안한 시스템이 자연스러운 시선 맞춤 영상을 제공하는 것을 알 수 있다.

• 방송공학회논문지
• /
• 제27권5호
• /
• pp.638-653
• /
• 2022

본 논문은 고화질 2차원 전신 영상을 입력으로 받아 영상 속 인물이 입고 있는 의상 패턴과 체형 정보를 추정한 후, 이를 반영한 3차원 가상 휴먼의 생성 기법을 제안한다. 의상의 패턴을 얻기 위해서 Cascade Mask R-CNN을 이용하여 의상 분할을 진행한다. 이후 Pix2Pix로 경계를 블러 및 배경색을 추정하고, UV-Map 기반으로 변환하여 3차원 의상 메쉬의 UV-Map을 얻을 수 있다. 또한, SMPL-X를 이용하여 체형 정보를 얻고 이를 기반으로 의상과 신체의 기본 메쉬를 변형한다. 앞서 얻은 의상 UV-Map, 체형이 반영된 의상과 신체의 메쉬를 이용해 최근 각광받고 있는 게임 엔진인 언리얼 엔진에서 렌더링하여 최종적으로 사용자가 그의 외형이 반영된 3차원 가상 휴먼의 애니메이션을 볼 수 있도록 한다.

• 전자공학회논문지CI
• /
• 제43권3호
• /
• pp.67-75
• /
• 2006

얼굴의 표정은 얼굴의 구성요소같은 기하학적 정보와 조명이나 주름 같은 세부적인 정보들로 표현된다. 얼굴 표정은 기하학적 변형만으로는 실감적인 표정을 생성하기 힘들기 때문에 기하학적 변형과 더불어 텍스처 같은 세부적인 정보도 함께 변형해야만 실감적인 표현을 할 수 있다. 표정비율이미지 (Expression Ratio Image)같은 얼굴 텍스처의 세부적인 정보를 변형하기 위한 기존 방법들은 조명에 따른 피부색의 변화를 정확히 표현할 수 없는 단점이 있다. 따라서 본 논문에서는 이러한 문제를 해결하기 위해 서로 다른 조명 조건에서도 실감적인 표정 텍스처 정보를 적용할 수 있는 비선형 피부색 모델 기반의 표정 합성방법을 제안한다. 제안된 방법은 동적 외양 모델을 이용한 자동적인 얼굴 특징 추출과 와핑을 통한 표정 변형 단계, 비선형 피부색 변화 모델을 이용한 표정 생성 단계, 유클리디 거리 변환 (Euclidean Distance Transform)에 의해 계산된 혼합 비율을 사용한 원본 얼굴 영상과 생성된 표정의 합성 등 총 3 단계로 구성된다. 실험결과는 제안된 방법이 다양한 조명조건에서도 자연스럽고 실감적인 표정을 표현한다는 것을 보인다.