International journal of advanced smart convergence
/
제12권1호
/
pp.130-139
/
2023
With the increasing popularity of computer-generated virtual influencers, the trend is rising especially on social media. Famous virtual influencer characters Lil Miquela and Imma were all created by CGI graphics workflows. The process is typically a linear affair. Iteration is challenging and costly. Development efforts are frequently siloed off from one another. Moreover, it does not provide a real-time interactive experience. In the previous study, a real-time graphic workflow was proposed for the Digital Actor Hologram project while the output graphic quality is less than the results obtained from the CGI graphic workflow. Therefore, a real-time engine graphic workflow for Virtual Influencers is proposed in this paper to facilitate the creation of real-time interactive functions and realistic graphic quality. The real-time graphic workflow is obtained from four processes: Facial Modeling, Facial Texture, Material Shader, and Look-Development. The analysis of performance with real-time graphical workflow for Digital Actor Hologram demonstrates the usefulness of this research result. Our research will be efficient in producing virtual influencers.
실제 원단의 소재를 반영한 렌더링은 의류 디자인 단계에서 완성된 옷을 미리 파악하는 좋은 수단 증 하나이다. 본 논문에서는 오픈소스 기반의 원단 렌더링 방법과 실제 원단 재질을 측정하는 장치를 이용하는 실측으로부터 렌더링까지의 프레임워크를 제안한다. 옷감의 재질을 측정하고 렌더링 하는 방법은 두 과정에서 공통된 특정을 파라미터화하여 측정하고 렌더링에 반영하는 것이 중요하다. 본 논문에서는 렌더링 방법으로 Ray-Tracing이 가능하고 적절한 컴퓨팅 성능을 사용하면서 최적의 렌더링 결과를 얻을 수 있는 nvidia의 오픈소스인 visRTX를 사용하였다. 또한 원단 재질 측정 장치로 렌더링에 반영되는 파라미터인 고해상도 diffuse map과 normal map을 측정하여 렌더링에 반영하였다. 본 논문에서 제안하는 원단 재질을 측정하고 렌더링하는 프레임워크를 통해서 옷을 디자인하연서 확인할 수 있는 실사 렌더링 결과물을 제공하고 이를 통해 의상 디자인 업계에 큰 도움이 될 것으로 기대된다.
Wearable metaverse devices have sparked enthusiasm as innovative virtual computing user interfaces by addressing a major source of user discomfort, namely, motion-to-photon latency. This kind of latency occurs between the user motion and screen update. To enhance the realism and immersion of experiences using metaverse devices, the vergence-accommodation conflict in stereoscopic image representation must be resolved. Ongoing research aims to address current challenges by adopting vari-focal, multifocal, and light field display technologies for stereoscopic imaging. We explore current trends in research with emphasis on multifocal stereoscopic imaging. Successful metaverse visualization services require the integration of stereoscopic image rendering modules and content encoding/decoding technologies tailored to these services. Additionally, real-time video processing is essential for these modules to correctly and timely process such content and implement metaverse visualization services.
스마트 폰의 대중화와 고속 무선 통신 기술의 도움으로 고품질 멀티미디어 콘텐츠가 모바일 기기에서 보편화되고 있다. 특히, Oculus Rift의 출시는 소비자 시장에서 가상현실 기술의 새로운 시대를 열고 있다. 또한 컴퓨터 게임을 보다 사실적 구동을 위한 3D 오디오 기술은 곧 차세대 모바일 기기에 적용될 것이며, 시각적인 것보다 더 광범위한 사실적 경험을 제공 할 것으로 예상된다. 따라서 이 논문에서는 가상현실 기반의 응용 프로그램에서 3D 사운드 모델링을 위한 개념, 알고리즘 및 시스템에 대하여 기술하고자 하며 특히 기하학적 음향 기술 기반의 알고리즘에 초점을 맞추었다. 이를 위하여 먼저, 사운드 전파를 모델링하기 위해 물리적 기반의 기하학적 알고리즘과 다중 채널 기술 중심으로 오디오 렌더링을 위한 중요한 설계 원칙 소개와 오디오 렌더링 파이프 라인을 씬 그래프 기반의 가상 현실 시스템 및 최신 하드웨어 구조 소개를 포함한다.
일반적인 화상회의 시스템에서는 카메라의 위치가 모니터 중앙에 위치하여 있지 않기 때문에 화자간의 시점 불일치 현상이 발생하게 되며 따라서 대화 시 현장감이 떨어지는 문제가 발생한다. 본 논문에서는 컬러 카메라와 깊이 카메라(depth camera)를 이용하여 획득한 컬러 영상과 깊이 정보를 가지고 DIBR(Depth image based rendering) 기반의 시점 일치(eye-contacted) 영상을 생성하는 기법을 제안한다. 제안하는 기법에서는 생성된 시점 일치 영상에서 발생하는 홀(hole)을 인접 화소 값의 산술평균을 이용하여 효율적으로 채울 수 있는 홀 채움 기법과 객체 경계에서 발생하는 잡음을 효율적으로 제거하기 위해 깊이 정보에서 획득된 객체의 경계를 확장하여 보정하는 기법이 포함되어 있다. 제안하는 기법으로 생성된 시점 일치 영상은 매우 좋은 화질을 갖는다는 것을 실험을 통하여 보였다.
영상 기반 엔더링은 장면을 3차원 기하 모델로 구축할 필요없이 실사 영상만을 이용하여 빠른 속도로 사실감 높은 결과 영상을 렌더링 할 수 있는 기법이다. 특히, '그림 속으로의 여행(Tour into the Picture: TIP)' 기법은 3차원 배경을 매우 간단히 구축할 수 있어 널리 이용되고 있다. 그러나 기존 TIP 기법은 영상 촬영 지점을 많이 벗어나면 원거리 지형 정보 부족으로 인해 시점 이동 범위에 한계가 있다. 이점을 보완하기 위해 본 연구에서는 다수의 TIP 영상을 합성하여 넓은 가상환경을 구축하는 방법을 개발하였다. 제안된 방법은 먼저, 다수의 시점에서 각각 TIP 모델을 구축하고, TIP 모델을 구성하는 전경 물체와 배경 물체를 각각 보간하여 렌더링 함으로써 부드러운 네비게이션 영상을 얻었다. 본 연구는 게임, 차량용 네비게이션 등 다양한 산업 분야에 응용될 수 있다.
본 논문에서는 만질 수 있는 비디오를 위한 햅틱 렌더링 기술을 제안한다. 만질 수 있는 비디오 기술은 사용자로 하여금 햅틱 인터페이스를 이용하여 비디오 장면의 물체를 2D 또는 3D 객체 상태로 직접 조작하며 촉감을 느낄 수 있게 해주는 기술이다. 서버에서는 비디오와 햅틱 데이터, 3D 모델 객체의 정보를 전송한다. 클라이언트에서는 서버로부터 받은 비디오, 햅틱 데이터, 3D 모델을 렌더링 해준다. 또한 화면을 사각형의 작은 셀로 나누어 각각의 셀마다 촉감을 부여하는 방식을 사용한다. 촉감을 부여하기 위하여 각 셀에 고유한 느낌을 주는 경도(stiffness), 제동성(damping), 정적 마찰력(static friction), 동적 마찰력(dynamic friction) 값의 조합을 미리 정의해 놓았다. 본 기술을 이용하면 사용자는 화면을 직접 만지거나 화면 속의 물체를 3D 모델로 불러온 다음 이동, 크기 조절, 회전 등의 기능을 이용하여 사용자가 원하는 위치에서 촉감을 느끼면서 물체를 자세히 관찰할 수도 있다. 본 논문에서 제안하는 만질 수 있는 비디오를 위한 햅틱 렌더링 기술은 영화, 홈쇼핑 등의 비디오 콘텐츠에 대하여 시각적 효과, 청각적 효과와 더불어 촉각적 효과까지 제공하여 사용자 만족감을 극대화할 수 있다.
이 논문은 입력 영상에 대해 기존의 영상기반 렌더링 기법을 적용하고 가상공간지도라는 개념을 도입하여 사실적인 3차원 가상공간을 구축할 수 있는 효율적인 저작도구 개발에 대한 연구를 기술하고 있다. TIP 같은 기존의 기법들은 단일 영상을 사용하여 작은 3D가상공간을 구축하는 반면 여기서 제안하는 저작도구는 복수의 영상을 사용하여 광범위한 가상공간을 구축한다. 이 저작도구는 입력영상 각각에 대해 작은 3차원 가상공간을 구축하고 먼저 정의된 가상공간지도를 사용하여 이 독립적인 3D가상공간을 서로 연결하여 광범위한 3D가상공간을 구축할 수 있게 설계되었다. 가상공간지도는 세 가지 구성요소와 세 가지 방향으로 구성되어있다. 세 가지 구성요소는 특정 공간, 연결점 및 통로이고, 세 가지 방향은 정방향, 역방향 및 양방향이다. 가상공간지도는 가상공간의 연결구조, 네비게이션 정보 등 다양한 정보를 가지고 있다. 또한 이 저작도구는 사용자가 광범위한 3차원 가상공간을 쉽게 구축할 수 있게끔 사용자 인터페이스를 제공하고 있다.
포톤 매핑은 대표적인 전역 조명 방법으로써 광원에서 많은 수의 포톤을 방출하여 이를 이용해 사실적인 렌더링을 수행한다. 하지만 매우 많은 수의 포톤을 추적하기 때문에 실시간 렌더링이 힘들고 많은 양의 메모리를 사용하는 문제가 있다. 이러한 문제를 개선한 방법이 점진적 포톤 매핑이다. 기존의 점진적 포톤 매핑은 먼저 광선 추적법을 통해 각 광선과 물체와의 충돌 위치를 찾는다. 다음으로 포톤 추적 단계에서는 반복적으로 적은 수의 포톤을 방출하고, 충돌 위치를 중심으로 하며 고정된 반지름을 가지는 구 안에 들어오는 포톤으로 포톤의 밝기를 누적한다. 이 방법은 포톤 매핑보다 자원을 적게 소모하지만, 방출된 포톤이 임의의 방향으로 진행하기 때문에 충분한 포톤을 확보하고 부드러운 영상을 렌더링하기 위해 많은 시간이 필요하다. 이를 보완하기 위해 본 논문에서는 포톤 탐사 단계를 추가하여 구 안에 들어오는 포톤들의 분포를 계산하고 그에 따라 구의 반지름을 조절하는 방법을 제안한다. 또한 래디언스 추정 과정에 콘 필터를 적용하여 영상을 선명히 렌더링한다.
물체 내부에서의 빛의 산란 현상 (subsurface scattering)에 기반한 조명 모델은 사실적인 이미지 생성에서 매우 중요하지만, 복잡한 계산으로 인하여 게임, 가상현실 등의 대화형 환경에 적용되기 어려웠다. 우리는 빛의 단일 산란과 다중 산란 현상에 의한 조명을 이미지 상에서 근사하는 보다 실용적인 기법을 제안한다. 먼저 광원 시점에서 렌더링한 이미지의 각 픽셀에 물체 내부로 투과된 조사도 정보를 저장하고, 쉐이딩 단계에서 이 정보를 사용하여 조명을 빠르게 계산한다. 단일 산란은 그림자 매핑과 유사한 알고리즘과 적응적인 결정적 샘플링을 통해 수행 비용을 효율적으로 줄인다. 다중 산란은 빛의 확산 이론에 기반한 계층적인 샘플링을 사용한다. 복잡한 함수의 테이블화은 속도를 보다 향상 시킨다. 실험을 통해 제안된 기법이 초당 수 십에서 수 백 프레임의 빠른 속도로 사실감있는 장면을 렌더링할 수 있으며, 게임과 같은 기존의 대화형 환경에 쉽게 적용될 수 있음을 보여준다.
본 웹사이트에 게시된 이메일 주소가 전자우편 수집 프로그램이나
그 밖의 기술적 장치를 이용하여 무단으로 수집되는 것을 거부하며,
이를 위반시 정보통신망법에 의해 형사 처벌됨을 유념하시기 바랍니다.
[게시일 2004년 10월 1일]
이용약관
제 1 장 총칙
제 1 조 (목적)
이 이용약관은 KoreaScience 홈페이지(이하 “당 사이트”)에서 제공하는 인터넷 서비스(이하 '서비스')의 가입조건 및 이용에 관한 제반 사항과 기타 필요한 사항을 구체적으로 규정함을 목적으로 합니다.
제 2 조 (용어의 정의)
① "이용자"라 함은 당 사이트에 접속하여 이 약관에 따라 당 사이트가 제공하는 서비스를 받는 회원 및 비회원을
말합니다.
② "회원"이라 함은 서비스를 이용하기 위하여 당 사이트에 개인정보를 제공하여 아이디(ID)와 비밀번호를 부여
받은 자를 말합니다.
③ "회원 아이디(ID)"라 함은 회원의 식별 및 서비스 이용을 위하여 자신이 선정한 문자 및 숫자의 조합을
말합니다.
④ "비밀번호(패스워드)"라 함은 회원이 자신의 비밀보호를 위하여 선정한 문자 및 숫자의 조합을 말합니다.
제 3 조 (이용약관의 효력 및 변경)
① 이 약관은 당 사이트에 게시하거나 기타의 방법으로 회원에게 공지함으로써 효력이 발생합니다.
② 당 사이트는 이 약관을 개정할 경우에 적용일자 및 개정사유를 명시하여 현행 약관과 함께 당 사이트의
초기화면에 그 적용일자 7일 이전부터 적용일자 전일까지 공지합니다. 다만, 회원에게 불리하게 약관내용을
변경하는 경우에는 최소한 30일 이상의 사전 유예기간을 두고 공지합니다. 이 경우 당 사이트는 개정 전
내용과 개정 후 내용을 명확하게 비교하여 이용자가 알기 쉽도록 표시합니다.
제 4 조(약관 외 준칙)
① 이 약관은 당 사이트가 제공하는 서비스에 관한 이용안내와 함께 적용됩니다.
② 이 약관에 명시되지 아니한 사항은 관계법령의 규정이 적용됩니다.
제 2 장 이용계약의 체결
제 5 조 (이용계약의 성립 등)
① 이용계약은 이용고객이 당 사이트가 정한 약관에 「동의합니다」를 선택하고, 당 사이트가 정한
온라인신청양식을 작성하여 서비스 이용을 신청한 후, 당 사이트가 이를 승낙함으로써 성립합니다.
② 제1항의 승낙은 당 사이트가 제공하는 과학기술정보검색, 맞춤정보, 서지정보 등 다른 서비스의 이용승낙을
포함합니다.
제 6 조 (회원가입)
서비스를 이용하고자 하는 고객은 당 사이트에서 정한 회원가입양식에 개인정보를 기재하여 가입을 하여야 합니다.
제 7 조 (개인정보의 보호 및 사용)
당 사이트는 관계법령이 정하는 바에 따라 회원 등록정보를 포함한 회원의 개인정보를 보호하기 위해 노력합니다. 회원 개인정보의 보호 및 사용에 대해서는 관련법령 및 당 사이트의 개인정보 보호정책이 적용됩니다.
제 8 조 (이용 신청의 승낙과 제한)
① 당 사이트는 제6조의 규정에 의한 이용신청고객에 대하여 서비스 이용을 승낙합니다.
② 당 사이트는 아래사항에 해당하는 경우에 대해서 승낙하지 아니 합니다.
- 이용계약 신청서의 내용을 허위로 기재한 경우
- 기타 규정한 제반사항을 위반하며 신청하는 경우
제 9 조 (회원 ID 부여 및 변경 등)
① 당 사이트는 이용고객에 대하여 약관에 정하는 바에 따라 자신이 선정한 회원 ID를 부여합니다.
② 회원 ID는 원칙적으로 변경이 불가하며 부득이한 사유로 인하여 변경 하고자 하는 경우에는 해당 ID를
해지하고 재가입해야 합니다.
③ 기타 회원 개인정보 관리 및 변경 등에 관한 사항은 서비스별 안내에 정하는 바에 의합니다.
제 3 장 계약 당사자의 의무
제 10 조 (KISTI의 의무)
① 당 사이트는 이용고객이 희망한 서비스 제공 개시일에 특별한 사정이 없는 한 서비스를 이용할 수 있도록
하여야 합니다.
② 당 사이트는 개인정보 보호를 위해 보안시스템을 구축하며 개인정보 보호정책을 공시하고 준수합니다.
③ 당 사이트는 회원으로부터 제기되는 의견이나 불만이 정당하다고 객관적으로 인정될 경우에는 적절한 절차를
거쳐 즉시 처리하여야 합니다. 다만, 즉시 처리가 곤란한 경우는 회원에게 그 사유와 처리일정을 통보하여야
합니다.
제 11 조 (회원의 의무)
① 이용자는 회원가입 신청 또는 회원정보 변경 시 실명으로 모든 사항을 사실에 근거하여 작성하여야 하며,
허위 또는 타인의 정보를 등록할 경우 일체의 권리를 주장할 수 없습니다.
② 당 사이트가 관계법령 및 개인정보 보호정책에 의거하여 그 책임을 지는 경우를 제외하고 회원에게 부여된
ID의 비밀번호 관리소홀, 부정사용에 의하여 발생하는 모든 결과에 대한 책임은 회원에게 있습니다.
③ 회원은 당 사이트 및 제 3자의 지적 재산권을 침해해서는 안 됩니다.
제 4 장 서비스의 이용
제 12 조 (서비스 이용 시간)
① 서비스 이용은 당 사이트의 업무상 또는 기술상 특별한 지장이 없는 한 연중무휴, 1일 24시간 운영을
원칙으로 합니다. 단, 당 사이트는 시스템 정기점검, 증설 및 교체를 위해 당 사이트가 정한 날이나 시간에
서비스를 일시 중단할 수 있으며, 예정되어 있는 작업으로 인한 서비스 일시중단은 당 사이트 홈페이지를
통해 사전에 공지합니다.
② 당 사이트는 서비스를 특정범위로 분할하여 각 범위별로 이용가능시간을 별도로 지정할 수 있습니다. 다만
이 경우 그 내용을 공지합니다.
제 13 조 (홈페이지 저작권)
① NDSL에서 제공하는 모든 저작물의 저작권은 원저작자에게 있으며, KISTI는 복제/배포/전송권을 확보하고
있습니다.
② NDSL에서 제공하는 콘텐츠를 상업적 및 기타 영리목적으로 복제/배포/전송할 경우 사전에 KISTI의 허락을
받아야 합니다.
③ NDSL에서 제공하는 콘텐츠를 보도, 비평, 교육, 연구 등을 위하여 정당한 범위 안에서 공정한 관행에
합치되게 인용할 수 있습니다.
④ NDSL에서 제공하는 콘텐츠를 무단 복제, 전송, 배포 기타 저작권법에 위반되는 방법으로 이용할 경우
저작권법 제136조에 따라 5년 이하의 징역 또는 5천만 원 이하의 벌금에 처해질 수 있습니다.
제 14 조 (유료서비스)
① 당 사이트 및 협력기관이 정한 유료서비스(원문복사 등)는 별도로 정해진 바에 따르며, 변경사항은 시행 전에
당 사이트 홈페이지를 통하여 회원에게 공지합니다.
② 유료서비스를 이용하려는 회원은 정해진 요금체계에 따라 요금을 납부해야 합니다.
제 5 장 계약 해지 및 이용 제한
제 15 조 (계약 해지)
회원이 이용계약을 해지하고자 하는 때에는 [가입해지] 메뉴를 이용해 직접 해지해야 합니다.
제 16 조 (서비스 이용제한)
① 당 사이트는 회원이 서비스 이용내용에 있어서 본 약관 제 11조 내용을 위반하거나, 다음 각 호에 해당하는
경우 서비스 이용을 제한할 수 있습니다.
- 2년 이상 서비스를 이용한 적이 없는 경우
- 기타 정상적인 서비스 운영에 방해가 될 경우
② 상기 이용제한 규정에 따라 서비스를 이용하는 회원에게 서비스 이용에 대하여 별도 공지 없이 서비스 이용의
일시정지, 이용계약 해지 할 수 있습니다.
제 17 조 (전자우편주소 수집 금지)
회원은 전자우편주소 추출기 등을 이용하여 전자우편주소를 수집 또는 제3자에게 제공할 수 없습니다.
제 6 장 손해배상 및 기타사항
제 18 조 (손해배상)
당 사이트는 무료로 제공되는 서비스와 관련하여 회원에게 어떠한 손해가 발생하더라도 당 사이트가 고의 또는 과실로 인한 손해발생을 제외하고는 이에 대하여 책임을 부담하지 아니합니다.
제 19 조 (관할 법원)
서비스 이용으로 발생한 분쟁에 대해 소송이 제기되는 경우 민사 소송법상의 관할 법원에 제기합니다.
[부 칙]
1. (시행일) 이 약관은 2016년 9월 5일부터 적용되며, 종전 약관은 본 약관으로 대체되며, 개정된 약관의 적용일 이전 가입자도 개정된 약관의 적용을 받습니다.