• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제9권3호
• /
• pp.109-122
• /
• 2020

최근 실감 미디어 콘텐츠에서 높은 관심을 모으고 있는 프로젝션 맵핑은 사용자의 몰입감을 높이는 기술로 손꼽히고 있다. 최근 관객의 참여를 유도하기 위하여 제스처 인식 기술과 결합된 프로젝션 맵핑 콘텐츠들이 선보이고 있다. 그러나 대부분의 기존 방법들은 정적인 물체를 대상으로 프로젝션 맵핑을 수행하고 있다. 이에 본 논문에서는 사용자의 움직임을 추적하여 사용자의 신체상에 미디어 콘텐츠를 동적으로 프로젝션 맵핑시키는 기술을 개발하였다. 프로젝션 되는 미디어 콘텐츠는 미리 정의된 사용자의 제스처를 인식하여 사용자가 맨손으로 제작할 수 있도록 하였다. 이러한 동적 프로젝션 맵핑 기술과 제스처 기반 드로잉 기술을 통합하여 인터랙티브한 실감미디어 시스템을 구현하였다. 제안된 실감 미디어 시스템에서는 사용자의 양손의 움직임과 개폐 상태를 인식하여 그림을 그리는데 필요한 기능을 선택하고, 임의의 물체 색상을 붓의 색으로 설정하는 등의 기능을 통해 자유롭게 그림을 그릴 수 있게 해준다. 또한 사용자가 그린 그림을 사용자의 몸에 동적으로 투사해 사용자가 실시간으로 자신의 티셔츠를 디자인하고 이를 착용해 보는 효과를 가질 수 있도록 하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 춘계학술발표대회
• /
• pp.633-634
• /
• 2020

본 논문에서는 미디어영상을 기반한 무대 공연의 다양한 미디어 효과를 분석하고, 무대 공연을 위한 제스처 기반 동적 프로젝션 맵핑 프레임워크를 설계 구현한다. 이를 위하여, 동적 프로젝션 맵핑 기반 기존 공연에서 공연자의 제스처와 이에 따른 미디어 효과를 분석하고, 동적 프로젝션 맵핑기술을 효율적으로 구현하기 위하여 모션 히스토리 이미지를 이용한 CNN(Convolutional Neural Network) 기반의 제스처 인식 기술을 구현한다. 또한, 구현된 제스처인식 기술을 기반으로 공연자의 서로 다른 제스처와 미디어 효과를 매칭시킬 수 있는 프레임 워크 구현 내용을 소개한다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2012년도 춘계학술발표대회논문집
• /
• pp.292-295
• /
• 2012

본 연구는 촬영을 통해 얻어진 투사면을 이용하여 투사면과 프로젝터 사이의 거리를 측정하고, 이미지 내에서 투사면이 가질 수 있는 영상의 원근 왜곡을 보정하는 프로젝션 맵핑에 대한 영상처리 기술을 제안한다. 그리하여, 결과적으로 프로젝터의 초기 설치에 소요되는 시간을 줄이고 변화된 투사면에 적합하게 프로젝션 맵핑이 이뤄짐에 따라 프로젝션 맵핑의 완성도를 높이고자 한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 추계학술발표대회
• /
• pp.719-721
• /
• 2016

본 논문에서는 프로젝션 맵팽 시에 요구되는 다양한 장비와 기술에 대한 학습시간을 최소화하여 초보자도 빠른 시간 안에 정교하면서도 다양한 연출이 가능한 맵핑 작업을 할 수 있도록 프로젝션 맵핑 프레임워크를 제안하였으며, 역동적인 연출을 위해서 여러 개의 비디오 클립을 동적으로 디스플레이하는 형태를 보다 쉽게 정의하고 수행할 수 있도록 하는 프레임워크를 설계하였다. 제안 프레임워크에서 구성 파일의 몇 가지 속성값을 간단히 변경하는 것만으로 다중 비디오 클립을 이용한 다양한 형태의 동적 디스플레이를 모드를 연출 할 수 있었다.

• 예술인문사회 융합 멀티미디어 논문지
• /
• 제7권6호
• /
• pp.897-906
• /
• 2017

프로젝션 맵핑(공간증강현실)은 현실세계에서 다양한 가상의 환영(幻影)을 만들어내는 것으로 최근에 많은 분야에 사용되고 있다. 기존의 프로젝션 맵핑에서는 사용자와의 자연스러운 상호작용으로서 접히거나 구부러지는 것 과 같은 유연한 물체의 기하학적인 변형 속성(예: 용지)의 움직임을 고려하지 않았다. 또한, 정적 물체에 대한 프로젝션 맵핑에 대한 많은 연구가 있었지만, 유연한 타깃의 움직임을 추적하고 사용자와의 상호작용 측면에서 모양이 변형된 물체에 맵핑을 정확히 하는 다이내믹 프로젝션 맵핑은 여전히 도전해야할 연구 분야이다. 따라서 본 논문에서는 Unity3D와 ARToolkit을 이용한 실험을 통해 단단하지 않은 물체에 대한 견실한 추적과 정확한 맵핑 방법을 제안한다. 제안하는 방법은 큐빅 베지어 곡면 형성, 움직임 변형 값 렌더링 과정, 멀티플 마커 인식과 트래킹 과정, 실시간 웹캠 지속 촬영의 4가지 실험 단계로 구성된다. 사용자는 물체에 변형을 주기 위해 직접 접고, 휘고, 구부리고 비틀 수 있다. 제안 방법은 세 가지 긍정적인 결과를 도출할 수 있다. 첫째, 물체의 형태가 강하게 변형되어 있어도 감지 가능하다. 둘째, 사용자가 직접 물체에 변형을 주는 과정에서 물체의 일부분을 차단하고 있을 때의 Occlusion오류를 줄일 수 있어 정확한 트래킹을 할 수 있다. 셋째, 제안 방법의 견실하고 정확함은 빠른 속도로 물체의 움직임을 감지하게 하므로 실시간으로 결과 값을 물체에 투영할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 하계학술대회
• /
• pp.105-106
• /
• 2018

본 논문에서는 동적 프로젝션 맵핑을 구현하기 위하여 3차원 공간의 깊이 정보와 대상 객체의 색상영상에서의 특징점을 추출하여 3차원 공간상에서 움직이는 2차원 평면 객체의 자세를 안정적으로 추정하는 기법을 제안한다. 제안 기법은 타겟 이미지를 출력하여 타겟 이미지 보다 큰 평면 패널에 부착하고, 이 평면 패널을 3차원 공간상에서 움직이는 환경에서 타겟 이미지의 자세를 안정적으로 추정하기 위하여 고안되었다. 제안 기법에서는 우선 패널이 움직일 수 있는 깊이 영역을 지정하여 해당 깊이 영역에 존재하는 2차원 패널을 추출하고, 패널의 사각영역을 추출한다. 또한, 색상 영상에 SURF 알고리즘을 적용하여 2차원 평면상에 부착된 타겟 이미지의 영역을 색상 특징을 기반으로 함께 추출하여 패널의 사각 영역과 타겟 이미지의 상대적인 위치 정보를 추출한다. 셋업 단계에서 추출된 타겟 이미지의 상대적인 위치 정보를 이용하여, 조명의 변화에 의하여 순간적으로 타겟 이미지의 특징점 추적에 실패한 경우, 패널의 사각 영역에 의해 계산된 타겟 이미지의 상대적 위치 정보를 계산하여 자세 추정에 사용함으로써 움직이는 타겟 이미지의 3차원 자세를 안정적으로 추정할 수 있도록 하였다.

• 사물인터넷융복합논문지
• /
• 제10권2호
• /
• pp.85-91
• /
• 2024

본 논문에서는 테마파크, 메가 이벤트, 전시공연에 시공간을 넘어서 디지털 캔버스로 활용하고 있는 프로젝션 매핑에 대해서 연구하였다. 기존 고정된 대상에 사용하던 프로젝션 기술은 활용도에 있어서 움직이는 대상에 맵핑 하기 힘들다는 한계점이 있기 때문에 움직이는 피사체를 추적하여 매핑할 수 있는 기술과 동적으로 움직이는 대상을 기반으로 실시간 동적 프로젝션 매핑 시스템을 개발하여 공연, 전시, 테마파크 등 다양한 시장 대응이 가능하도록 관련 연구가 시급한 실정이다. 본문에서는 실시간 사물에 해당하는 요소를 추적할 수 있는 하드웨어 개발과 초고속 영상처리를 하여 딜레이 현상이 없는 시스템을 제시하고자 한다. 구체적으로 실시간 오브제 영상분석 및 프로젝션 포커싱 제어부 개발, 실시간 오브제 추적 시스템을 위한 통합 운영 시스템, 프로젝션 매핑을 위한 영상처리 라이브러리 개발을 구현한다. 본 연구는 최근 실시간 비전머신 기반의 검출 기술을 활용한 기술 집약적인 산업임과 동시에 첨단의 과학기술이 융합되어 연출되는 산업으로 활용도가 다양할 것으로 기대된다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제23권3호
• /
• pp.115-122
• /
• 2017

4 차 산업혁명 시대로 접어들면서 증강현실은 사회 전반에 걸쳐 무한한 가능성을 보여주고 있다. 하지만 현재의 헤드-마운트 디스플레이, 핸드-헬드 디스플레이 방식의 증강현실은 착용의 번거로움, 멀미 등의 여러 문제점이 있고 이에 따라 프로젝터 기반의 증강현실 기술인 공간증강현실이 각광받고 있다. 공간증강현실은 증강현실의 실재감을 높이고 사용자의 몰입을 유도하기 위해 가상 영상을 투영할 움직이는 물체에 대한 정밀한 추적이 필수적이다. 본 논문에서 개발한 적외선 센서 기반의 정밀 추적 알고리즘은 평균 오차율 1.5% 이내의 매우 견고한 추적 성능을 통해 기술적으로는 임의의 물체에 대한 추적과 같은 진보된 증강현실 기술을 향한 길을 열었고, 사회적으로는 비전문가도 사용하기 쉬운 추적 알고리즘을 통해 디자이너, 학생, 어린이들이 쉽게 자신만의 증강현실 콘텐츠를 제작, 즐길 수 있게 하였다.

• 방송공학회논문지
• /
• 제25권4호
• /
• pp.545-559
• /
• 2020

본 논문에서는 사용자의 제스처에 따라 반응하는 인터랙티브 미디어 콘텐츠를 프로그래밍 경험이 없는 사용자가 쉽게 제작할 수 있도록 하는 콘텐츠 제작 프레임워크를 제안한다. 제안 프레임워크에서 사용자는 사용하는 제스처와 이에 반응하는 미디어의 효과를 번호로 정의하고, 텍스트 기반의 구성 파일에서 이를 연결한다. 제안 프레임워크에서는 사용자의 제스처에 따라 반응하는 인터랙티브 미디어 콘텐츠를 사용자의 위치를 추적하여 프로젝션 시키기 위하여 동적 프로젝션 맵핑 모듈과 연결하였다. 또한, 제스처 인식을 위한 처리 속도와 메모리 부담을 줄이기 위하여 사용자의 움직임을 그레이 스케일(gray scale)의 모션 히스토리 이미지(Motion history image)로 표현하고, 이를 입력 데이터로 사용하는 제스처 인식을 위한 합성곱 신경망(Convolutional Neural Network) 모델을 설계하였다. 5가지 제스처를 인식하는 실험을 통하여 합성곱 신경망 모델의 계층수와 하이퍼파라미터를 결정하고 이를 제안 프레임워크에 적용하였다. 제스처 인식 실험에서 97.96%의 인식률과 12.04 FPS의 처리속도를 획득하였고, 3가지 파티클 효과와 연결한 실험에서 사용자의 움직임에 따라 의도하는 적절한 미디어 효과가 실시간으로 보임을 확인하였다.