증강현실에서 사실적인 그림자 생성을 위한 조명 분포 모델의 계층적 분할

Hierarchical Subdivision of Light Distribution Model for Realistic Shadow Generation in Augmented Reality

Abstract

증강현실에서 주변 환경의 조명 분포를 추정하여 자연스러운 그림자 영상을 생성할 수 있다. 그러나 별도의 센서 장비 없이 주변 환경을 해석하는 과정에는 조명 분포의 모델, 가상 객체의 기하정보, 표면의 반사특성 등이 필요하다. 3D 마커를 이용하는 기존의 조명분포 추정 방법은 조명 공간을 지오데식 돔(geodesic dome)으로 모델링하고 마커에 의한 그림자 이미지를 분석한다. 그러나 사전에 설정 된 후보 그림자 맵을 이용하기 때문에 실제 조명의 분포를 정확하게 추정하지 못할 수 있다. 본 논문에서는 증강현실에서 주변 환경의 광원 정보를 정확하게 추정하기 위해 조명 공간을 계층적으로 분할하는 방법이 제안된다. 제안된 방법은 그래디언트 레이(gradient ray)를 이용해 분할된 그림자 영역과 후보 그림자 맵 간의 상대적 중첩 영역 비(ratio)에 따라 지오데식 돔을 계층적으로 분할한다.

By estimating environment light distribution, we can generate realistic shadow images in AR(augmented reality). When we estimate light distribution without sensing equipment, environment light model, geometry of virtual object, and surface reflection property are needed. Previous study using 3D marker builds surrounding light environment with a geodesic dome model and analyzes shadow images. Because this method employs candidate shadow maps in initial scene setup, however, it is difficult to estimate precise light information. This paper presents a novel light estimation method based on hierarchical light distribution model subdivision. By using an overlapping area ratio of the segmented shadow and candidate shadow map, we can make hierarchical subdivision of light geodesic dome.

Ⅰ. 서 론

증강현실(AR: augmented reality)은 현실 세계에 가상의 객체를 정합하여 추가적인 정보나 가상의 CG 객체를 가시화하는 기술이다[1]. 증강되는 객체가 주변 환경과 이질감이 없도록 함으로써 사용자로 하여금 자연스럽게 증강현실을 경험하도록 하는 연구가 활발히 진행되고 있다. 특히 실제 주변 환경을 해석하여 카메라의 위치와 자세에 따라 가상 객체를 배치하는 카메라 정합 기술과 주변 환경에 조화롭게 가상객체를 장면에 생성하는 조명 해석과 렌더링 기술이 주목 받고 있다.

기존의 연구에서는 비디오 시퀀스로 입력되는 주변 환경 이미지를 환경 맵핑(environment mapping) 등으로 합성장면을 표현하였다[2]. 그러나 이러한 방식은 가상 객체의 표면 특성에 따른 효과를 표현하기 위한 텍스쳐 처리에 많은 계산이 필요하다. 또한 전 방향(omni-directional) 카메라 등의 별도 이미징 시스템을 이용하는 해석 방법은 다양한 지역에 적용하는데 어려움이 있다[3].

조명 분포를 해석하는 기존 연구에서는 조명이 충분히 멀리 존재한다는 가정 하에 주변 조명 공간을 지오데식 돔(geodesic dome)으로 모델링한다[4]. 3D 마커에 의한 그림자의 영역을 분할하여 주변 조명 정보를 추정하는 기존 방법에서는 조명 지오데식 돔에 의해 발생할 수 있는 그림자 영역을 후보 그림자 맵으로 설정한다. 그래디언트 레이(gradient ray)를 이용해 분할된 그림자 영역과 후보 그림자 간의 상대적인 중첩 영역을 계산하여 조명 분포를 추정한다. 따라서 조명 공간을 구성하는 지오데식 돔의 폴리곤의 개수가 적을 경우, 주변의 조명 정보를 빠르게 계산할 수 있는 반면에 추정된 조명의 위치와 생성되는 그림자의 정확도는 낮아지는 단점이 있다.

본 논문에서는 지오데식 돔으로 표현된 조명 공간을 계층적으로 샘플링하는 새로운 방법이 제안된다. 실제 주변의 조명광원의 위치를 정확하게 구할 수 있고 이를 통해 자연스러운 합성영상을 생성할 수 있다. 제안된 전체 시스템을 그림 1에 나타내었다. 3D 마커를 이용하는 기존 조명 추정 방법을 기반으로 제안된 알고리즘을 회색으로 표시했다.

그림 1.제안된 시스템 Fig. 1. Proposed system

 

Ⅱ. 기존 연구

1. 별도의 이미징 장비를 이용

증강현실에서 가상 객체를 사실적으로 표현하기 위해 다양한 연구가 진행되고 있다. 특히 증강현실 공간에서 취득 된 영상으로부터 조명 환경을 분석하는 기술들이 제안되고 있다.

조명 정보를 얻기 위해 별도의 측정 장비 이용하는 연구를 먼저 소개하면, Agusanto는 조명 프루브(probe)를 이용하여 주변 환경에 대한 환경 맵을 만든 후 전역조명 효과를 적용함으로써 부드러운 그림자를 생성하였다[5]. 또한 미러 볼(mirror ball)을 이용하여 모든 방향으로 입사되는 조명 정보를 얻고 실제 주변 공간에서 모든 조명의 위치 정보를 계산하고 3D 가상 객체에 맵핑하는 라이팅 기반 모델링 방법이 제안되었다[6]. 그리고 어안렌즈가 각각 부착된 두 대의 전 방향 카메라로부터 얻어진 입력 영상에 스테레오 알고리즘을 적용하여 장면에 대한 기하 모델과 조명 정보를 해석하는 방법도 있다[7]. Zhang은 난반사구를 사용하여 명암 변화도를 측정함으로써 실제 환경조명의 조도와 방향을 추정하였고[8], 두 개의 난반사구를 이용하여 환경조명의 변화를 측정한 Feng은 정반사광이 아닌 물체에 대한 조명도를 측정한 다음 명암도의 변화를 반영한 가상 객체를 렌더링하여 보다 자연스러운 장면을 표현하였다[9]. Okatani는 정반사 구체를 이용하며, 사전에 반사구와 카메라의 위치정보를 고정시키고 각각의 위치정보를 이용하여 조명광원을 측정하였다[10]. Peter는 구형 거울에 비치는 주변 장면을 촬영하여 큐브 형태의 환경맵을 얻은 후, 다운 샘플링으로 컬러 영역을 분석하고 조명광원을 설정한다. 얻어진 광원으로 부드러운 그림자를 생성하기 위한 그림자 맵을 만들고 가상객체와 부드러운 그림자 등을 렌더링 한다[11]. 또한 모바일의 전방 카메라 센서를 통해 주변 조명 환경을 추정하고 이를 이용하여 증강현실 영상을 렌더링하는 방법도 있다[12].

2. 그림자 영상 분석

주변의 조명 환경 정보를 얻기 위해 입력 영상 장면만을 이용하는 연구도 많이 제안되었다. Frahm는 마커리스(markerless) 증강현실 방송에서 실제 주변의 조명정보를 가상의 객체에 적용하기 위해 촬영 스튜디오 내부에 카메라를 설치하여 광원의 위치를 측정하였다. 스튜디오 내부를 미리 3차원으로 환경을 구성하여 측정된 광원을 배치하고 가상의 객체에 조명효과를 표현했다[13]. Haller는 물체의 그림자를 인식하고 그림자의 길이와 방향정보로부터 광원의 위치를 역으로 추정하여 가상의 객체에 적용하는 방법을 제시하였다[14]. Sato는 물체에 의해 생기는 그림자로부터 조명의 위치와 강도를 측정하기 위해 픽셀 값과 바닥면의 반사 특성 파라미터와 주변 환경의 조명 방향광을 이용한 선형 최소자승법(linear least squares algorithm) 방법을 제안하였다[4]. 또한 주변 조명 환경을 가상의 지오데식 돔으로 모델링하고 3D 마커에 의해 생기는 그림자 영역을 기준으로 조명을 추정하는 방법도 있다[15].

3. 그래디언트 레이를 이용

조명 분포를 추정하기 위해 그림자 영역을 해석하는 연구 중에서 입력 영상에 캐니(Canny) 에지(edge) 연산자를 적용하여 그림자 영역의 에지를 찾고, 그래디언트 분포를 참조하면서 레이를 이용해 그림자 영역을 분할하는 방법이 최근 제안되었다[16]. 가상의 지오데식 돔으로 주변 조명 환경을 구성하고 각 폴리곤의 중심에 점광원을 위치시킨다. 바닥면의 중심에 위치한 3D 마커에 의해 발생할 수 있는 후보 그림자 맵을 각각 계산하고, 실제 영상에서 얻어진 그림자 영역과 논리곱 연산을 통해 조명 분포를 추정한다. <그림 3>은 그래디언트 레이와 후보 그림자 맵을 이용하여 조명의 위치를 추정하고 가상 객체를 렌더링한 결과이다. 입력 영상(a)에서 3D 마커와 주변 바닥면을 마스크로 제거하고 그림자 분포를 해석하는 평면(b)를 구한다. 캐니 에지 연산자로 얻어진 에지(d)의 그래디언트를 기준으로 레이를 이용하여 그림자 영역(e)을 검토한다. 즉, 에지를 따라 반대편으로 레이를 사영(projection)하면 (e)와 같이 영역을 채울 수 있다. 또한 3D 마커와 지오데식 돔에 위치한 가상의 조명광원에 의해 발생할 수 있는 후보 그림자 맵(c)을 사전에 만든다. 분할된 그림자 영역(e)과 가상의 조명들에 의한 후보 그림자 맵의 중첩되는 면적을 계산해서 실제 조명 분포를 해석한다. (f)는 렌더링된 최종 결과이다.

그림 2.가상 반구 형태의 광원[15] Fig. 2 Light sources on virtual hemisphere

그림 3.(a): 입력 영상, (b): 합성 평면, (c): 후보 그림자 맵, (d): 에지 이미지, (e): 그래디언트 레이로 얻어진 그림자 영역, (f): 추정된 조명원에 의해 렌더링 된 그림자[16] Fig. 3 (a): Input image, (b): mask image for shadow surfaces, (c): candidate shadow map (d): edge image, (e): segmented regions with gradient-based ray, (f): rendering images by estimated light sources

이 방법은 지오데식 돔 상에 위치한 가상 조명광원들의 개수가 고정된 형태로 진행된다. 따라서 초기에 가상의 조명광원의 개수를 충분히 설정하지 않는다면, 실제 이미지와 렌더링 결과에서 차이가 발생할 수 있다. 반대로 초기에 가상 조명광원의 개수를 충분히 설정하면, 다양한 형태의 후보 그림자 맵을 생성할 수 있다. 결국 실제 그림자와 유사한 가상의 그림자를 렌더링할 수 있지만, 후보 그림자 마스크의 개수가 증가할수록 중첩 면적을 계산하기 위한 논리곱 연산량이 크게 증가하는 단점이 있다.

 

Ⅲ. 제안된 방법

3D 마커에 의해 발생한 그림자 영상으로부터 주변 조명 정보를 보다 정확하게 추정하는 동시에 계산의 효율성을 향상시키기 위해 계층적 샘플링 방법을 이용한다. 그림 4와 같이 40개의 폴리곤으로 구성된 지오데식 돔을 3D 마커의 중심에 위치시키고 가상의 조명원을 각 폴리곤의 중점에 고정한다.

그림 4.40개 폴리곤의 지오데식 돔, x-y평면(좌); 3차원(우) Fig. 4. 40 polygons on Geodesic dome, x-y plane(left); three-dimensional space(right)

초기에 설정된 40개의 조명을 대상으로 그래디언트 레이 기반 방법을 이용해 주변 조명 정보를 추정한다. 얻어진 조명 광원의 후보맵과 그래디언트 레이에 의한 그림자 영역 간의 중복되는 면적 관계를 식 (1)로 계산하여 지오데식 돔의 분할 여부를 결정한다. 위에서 검출된 조명의 후보 마스크들과 분할된 그림자 영역이 충분히 겹치는지 여부를 C1과 C2로 계산한다. 즉, C1과 C2로 계산된 중복면적이 일정 문턱치를 넘기는지 조사한다. 그래디언트 레이를 이용하여 그림자 영역을 추출하면 영상에 따라 레이가 그림자 밖으로 나올 수 있고 그림자 내부 영역에도 채워지지 않는 경우가 있어 문턱치가 낮을수록 정확한 결과를 얻지 못하는 경우가 발생한다. 본 논문에서는 그래디언트 레이에 검출된 그림자 영역의 평균 오차인 5%로 설정하였다. 식 (1)에서 Mi는 선택된 조명광원의 후보 그림자 영역이고, N은 광원의 개수이다. 그리고 O는 후보 그림자 맵과 그림자 영상 S와의 논리곱 연산에 의해 얻어지는 중복 영역이다. 그림 5에서 C1과 C2의 문턱치에 따라 그라운드 트루스(ground truth)에 대한 평균 정확도의 변화를 나타내었다.

그림 5.문턱치에 따른 평균 정확도, C1(좌) C2(우) Fig 5. Average accuracy of threshold, C1(left) C2(right)

기존의 그래디언트 기반 방법에 의해 검출된 후보 그림자 맵 Mi의 합집합 면적과 O 영역의 면적비 C1을 계산한다. 그리고 그림자 영역 S와 검출된 그림자 맵의 면적 차이를 C2로 계산한다.

조명에 의한 그림자가 충분히 실제 그림자 영역을 포함하지 못하면 해당 조명을 분할한다. 먼저, 지오데식 돔의 삼각형 폴리곤 내부를 4개의 삼각형으로 분할한다. 첫 번째 분할 시 4개의 삼각형으로 분할되고 두 번째 분할 시에는 16개, 다음은 64개로 분할된다. 그림 6는 삼각형의 계층적 분할에 따른 삼각형의 수를 나타낸다. 지오데식 돔의 계층적 분할에 따라 새롭게 생성된 폴리곤의 교차점들은 반지름 인 구의 표면으로 사상된다[17]. 지오데 식 돔에서 새로운 교차점은 그림 7과 같이 사상(mapping)된다. 지오데식 돔으로 표현된 조명 분포 모델의 계층적 분할 방법을 슈도코드와 구성도를 표 1과 그림 8에 각각 정리하였다.

그림 6.삼각형의 계층적 분할 Fig. 6. Hierarchical subdivision of triangle

그림 7.분할된 폴리곤과 사상법에 의한 절점 생성 방법 Fig. 7. Subdivided and new point generating method by projection

표 1.계층적 조명 공간 분할의 슈도 코드 Table 1. Pseudo code for hierarchical subdivision of light distribution

그림 8제안된 시스템 구성도 Fig. 8 Diagram of proposed system

 

Ⅳ. 실험 결과

실험환경은 InTel Core i7 3.40GHz CPU 컴퓨터와 MS LiteCam Cinema HD 카메라로 구성하였다.

조명의 분포가 달라짐에 따라 입력 영상의 그림자가 형성하는 모양과 그림자의 밝기가 달라진다. 다양한 상황을 고려하기 위해 본 논문에서는 조명의 개수를 1개, 2개, 3개의 세 가지 상황에 대해 실험하였다. 조명의 개수가 1개일 때는 그림자가 어둡지만 조명의 개수가 증가할수록 그림자가 밝아지고 그래디언트 레이를 사용한 그림자 추출함에 있어 그라운드 트루스에 대한 오차가 증가함을 실험을 통해 확인할 수 있었고 정확한 조명의 위치를 찾기 위한 방법으로 계층적 분할을 사용한 결과를 비교 분석하기 위해 가상의 고정된 40개, 160개의 조명 상태일 때의 결과와 함께 실험하였다. 계층적 분할을 이용하여 조명의 위치를 찾는 방법이 가장 정확한 결과를 보여주고 수행시간에서도 좋은 성능을 확인할 수 있다.

3D 마커에 의한 그림자 영상(a)에 대해 그래디언트 레이를 이용한 그림자 분할 결과(b)를 그림 9에 나타내었다. 조명 분포 해석을 통해 생성된 그림자의 정확도를 정량적으로 비교하기 위해 그림자에 해당하는 영역(c)을 사용자의 입력으로 지정하였다. 조명 분포 모델을 구성하는 지오데식 돔의 폴리곤 수를 40개와 160개로 설정해서 얻어진 조명 분포를 이용해서 렌더링된 결과 영상을 (d)와 (e)에 각각 보였다. 제안된 방법의 결과 영상을 (f)에 나타내었으며, 그라운드 트루스(ground truth) 영상인 (c)와 비교를 통해 개선된 정확도 성능을 확인하였다. 다양한 입력 영상에 대한 결과를 그림 10에 나타내었고 각 방법의 계산 시간과 상대적 정확도를 표 2에 비교하였다. 수행 시간은 입력 영상을 받아 마커를 인식하는 것부터 조명을 찾아 가상 객체에 그림자를 렌더링하는 전 과정의 계산시간을 의미하고 정확도는 그라운드 트루스 영상에 대한 그래디언트 레이로 추출된 그림자 영상의 중첩되는 영역비를 계산하여 나타내었다.

그림 9.(a): 입력 영상, (b): 그래디언트 레이에 의해 분할된 영역, (c): 그라운드 트루스(ground truth), (d): 고정된 40개 조명, (e): 고정된 160개 조명, (f): 계층적 분할 이용한 조명 Fig. 9 (a): Input image, (b): segmented regions with gradient-based ray, (c): ground truth, (d): 40 candidate lights, (e): 160 candidate lights, (f): candidate lights using Hierarchical subdivision

표 2제안된 방법 성능 비교 Table 2 Comparison of the previous and proposed method

Fig. 10. Various object rendering, (a): Input image, (b): result image다양한 객체 렌더링, (a): 입력 영상, (b): 결과 영상 Fig. 10. Various object rendering, (a): Input image, (b): result image

 

Ⅴ. 결 론

증강현실에서 주변 환경의 조명을 고려하여 그림자를 생성하면 보다 자연스러운 합성 장면을 표현할 수 있다. 그래디언트 레이 기반의 조명 분포 추정 방법에서 보다 정확한 그림자를 표현하기 위한 계층적 분할 방법이 제안된다. 기본 방법은 사전에 제한된 후보 그림자 맵을 이용하기 때문에 실제 조명의 분포를 정확하게 추적하지 못할 수 있다. 제안된 방법은 후보 그림자 맵과 실제 그림자 영역 간의 중복 영역을 계산하여 분할 여부를 결정한다. 지오데식 돔의 계층적 분할에 의해 실제 그림자에 보다 가까운 가상의 그림자를 표현할 수 있다.