• Proceedings of the Korean Society of Computer Information Conference
• /
• 2020.01a
• /
• pp.203-205
• /
• 2020

본 논문에서는 게임 엔진에서 사용되는 노말맵(Normal Map)의 원리와 그 응용 방식에 대해 연구하였다. 노말맵은 게임에서 하이 폴리곤 모델링에 적용되는 조명 적용 데이터를 로우 폴리곤에 적용할 수 있는 기술로, 하이 폴리곤 모델링의 벡터 방향 데이터를 텍스쳐로 저장하여 로우 폴리곤에 적용해서 벡터 방향을 텍셀단위로 조정할 수 있게 한다. 여기에서는 게임에서의 노말맵 저장 방식과 연산 방식에 대해 소개하고 이를 응용하여 최적화 시킬 수 있는 방법에 대해 연구한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.101-104
• /
• 2021

영상에 새로운 광원을 추가하거나 기존의 광원을 변경하여 영상 내 오브젝트들에 적용된 조명을 변경하는 것을 영상 기반 재조명이라 한다. 하지만, 영상에는 재조명을 위해 필요한 광원과 오브젝트들의 3차원 기하 정보가 부재하다는 문제가 있다. 이를 해결하기 위해, 본 연구에서는 영상으로부터 재조명에 필요한 요소들을 추정하는 접근법을 취한다. 오브젝트 표면의 노말과 알베도는 조명의 주 요소이지만 광원에는 독립적이므로 새로운 광원에 대한 재조명을 가능케 한다. 따라서 본 연구는 영상으로부터 노말맵과 알베도맵을 추정한 뒤, 이를 이용하여 영상 기반 렌더링하는 영상 재조명 방법을 제안한다. 조건부 적대적 생성망을 다양한 조명 환경에서 렌더링된 3차원 오브젝트 영상들과 그에 대응하는 노말맵, 알베도맵을 이용해 학습함으로써, 임의의 영상에 대한 노말맵과 알베도맵 추정기를 생성한다. 이를 통해 추정된 노말맵과 알베도맵은 3차원 공간상에서 새로운 광원에 대해 렌더링됨으로써 재조명 영상을 생성한다. 마지막으로, 영상 기반으로 재조명된 영상과 ground truth와의 비교 실험을 통해 본 연구에서 제안한 방법이 유효함을 확인한다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.1031-1036
• /
• 2007

최근 가상현실 기술의 주요 연구 동향으로 몰입감을 증가시키는 실감공간 구현구술이 주목 받고 있다. 실감공간 기술이란 서로 다른 공간에 떨어져 있는 사용자가 같은 공간에 있는 효과를 구현하는 기술이다. 본 논문에서는 특히 상호간의 주변 환경을 일치시키는 기술에 중점을 두고, 실시간으로 두 공간의 조명정보를 일치시키는 기술로서 2가지 핵심 내용을 소개한다. 첫째는 비주얼 헐 데이터를 기반으로 고속으로 노말벡터를 추출하는 방법이고, 둘째는 사용자 주변 조명 환경 정보를 반영하는 라이팅 방법이다. 본 논문에서 수행한 첫번째 방법은 비주얼 헐 데이터의 depth존재영역에서 노말맵을 계산하도록 하고, 노말맵을 계산할 때 주변 폴리곤들 기하학적 변화가 심할수록 노말맵 계산에 사용하는 주변 벡터의 선태을 늘리거나 줄이는 방식으로, 불필요한 계산량을 감소시켰다. 본 논문에서 수행한 두번째 방법에서는 주변 조명 정보에서 빛의 세기와 라이팅을 반영할 객체의 반사율의 특성을 고려하여 라이팅에 사용할 광원을 선택적으로 반영하여 불필요한 연산량을 감소시켰다. 종래의 영상기반 라이팅 기술이 사전에 촬영된 영상을 사용하거나 정지영상에 적용되는 연구를 한 반면에 본 논문은 실시간에서 라이팅을 구현하기 위한 시도로서 고속 라이팅 연산 기법을 제시하고 있다. 본 연구의 결과를 이용하면 영상기반 라이팅 연구의 실제적이고도 폭넓은 적용이 가능할 것으로 사료되며 고화질의 콘텐츠 양산에도 기여할 것으로 사료된다.

• Journal of Broadcast Engineering
• /
• v.27 no.1
• /
• pp.69-79
• /
• 2022

In this study, a method of generating and utilizing a normal map image used to represent the characteristics of the surface of an image material to improve the classification accuracy of the original material image is proposed. First of all, (1) to generate a normal map that reflects the surface properties of a material in an image, a U-Net with attention-R2 gate as a generator was used, and a Pix2Pix-based method using the generated normal map and the similarity with the original normal map as a reconstruction loss was used. Next, (2) we propose a network that can improve the accuracy of classification of the original material image by applying the previously created normal map image to the attention gate of the classification network. For normal maps generated using Pixar Dataset, the similarity between normal maps corresponding to ground truth is evaluated. In this case, the results of reconstruction loss function applied differently according to the similarity metrics are compared. In addition, for evaluation of material image classification, it was confirmed that the proposed method based on MINC-2500 and FMD datasets and comparative experiments in previous studies could be more accurately distinguished. The method proposed in this paper is expected to be the basis for various image processing and network construction that can identify substances within an image.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11a
• /
• pp.685-687
• /
• 2005

본 논문에서는 옷감의 결이 보이는 정도의 자세함을 가지는 옷감의 표면 질감 모델을 제안한다. 촬영한 옷감 이미지에서 "Shape from Shading" 기법을 이용하여 표면의 노말맵과 반사 계수 맵을 추출하고, 이 맵을 짜깁기(tiling)하였을 때 연결자리(Seam)가 보이는 것을 방지하기 위하여 주파수 성분 분석에 의해 맵의 오류 성분을 제거한다. 이 방법을 통하여 다양한 종류의 옷감을 짧은 시간 안에 렌더링 할 수 있게 된다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2017.10a
• /
• pp.658-660
• /
• 2017

가상현실은 실감형 콘텐츠를 제작하는 대표적인 분야로 교육, 엔터테인먼트, 의료, 국방, 항공 등 다양한 분야에서 활용할 수 있는 가능성을 보여주고 있어 주목을 받고 있다. 가상현실을 이용한 예술전시는 디지털 미디어를 극대화한 형태라 할 수 있어 최근에 가상현실 전시회로써 다양한 콘텐츠의 구현이 가능하다. 본 연구는 관람객에게 HMD를 이용한 미디어 가상전시를 경험하게 하고 작가의 의도와 보여주고자 하는 시나리오의 의미가 잘 전달될 수 있도록 하는 방법론을 제안한다. 제안한 방법에 의해 콘텐츠를 개발하는데 있어 체험의 몰입도를 높이기 위해 실제 크기의 3D 모델링을 진행하였고, 범프맵(bump map), 노말맵(normal map)과 큰 해상도의 텍스쳐를 제작하여 사용함으로 대중(관람객들)에게 하여금 현실의 오브젝트와 차이점을 느끼지 못하도록 구현 한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.01a
• /
• pp.365-368
• /
• 2023

본 논문에서는 타블렛을 이용해 사용자로부터 주름 스케치를 입력받아 피부 패턴을 고려한 사실적인 얼굴 주름을 생성 할 수 있는 인터페이스를 제안한다. 주름을 생성하고 싶은 모델의 normal map에 간단한 스케치를 하면 해당 모델의 피부 패턴을 고려해 스케치를 주름으로 생성해준다. 또한, 얼굴 부위별 주름 형태를 분석하여 부위별 생성되는 주름의 형태가 다르고, 나이 설정을 통해 나이에 맞는 잔주름 및 주름 형태를 변형 한다. 본 논문에서 제안하는 방법을 이용한 주름 생성 방식은 주름에 대한 자세한 지식이 없는 사용자라도 간단한 스케치만 한다면 자동 계산을 통해 실시간으로 주름을 생성해주며, 얼굴 패턴에 따른 사실적인 주름이 생성되는 결과를 보여준다.

• 한국HCI학회:학술대회논문집
• /
• 2008.02a
• /
• pp.433-438
• /
• 2008

본 논문은 비주얼 헐 오브젝트를 이용한 움직이는 오브젝트에 대한 실시간 영상기반 라이팅 기술을 제안한다. 본 논문에서는 특히 서로 다른 공간상의 조명 환경을 일치시키는 기술에 중점을 두고, 실시간으로 움직이는 오브젝트의 실시간 비디오 기반 재조명 기술로서 3가지 핵심 내용을 소개한다. 첫째는 비주얼 헐 데이터를 기반으로 기존에 벡터의 외적을 사용하던 방법을 개선하여 수식을 근사화시켜 연산량을 줄여서 고속으로 노말 벡터를 추출하는 방법이고, 둘째는 사용자 주변 조명 환경 정보를 효과적으로 샘플링하여 라이팅에 사용하는 점광원의 개수를 줄였으며, 세 번째는 CPU와 GPU의 연산량을 분배하여 효과적으로 병렬 고속 연산이 가능하도록 하였다. 종래의 영상기반 라이팅 기술이 정지된 환경맵 영상을 사용하거나 정지된 객체를 라이팅하였던 연구를 한 반면에 본 논문은 실시간에서 라이팅을 구현하기 위한 기술로서 고속 라이팅 연산을 위한 방법을 제시하고 있다. 본 연구의 결과를 이용하면 영상기반 라이팅 연구의 실제적이고도 폭넓은 작용이 가능할 것으로 사료되며 고화질의 콘텐츠 양산에도 기여할 것으로 사료된다.