• 디지털융복합연구
• /
• 제17권4호
• /
• pp.255-260
• /
• 2019

연구는 $360^{\circ}$ 동영상과 3D 그래픽의 효율적인 합성 방법에 관한 연구이다. 먼저, 이안식 일체형 $360^{\circ}$ 카메라로 촬영한 영상을 스티칭하고, 영상에서 카메라 및 사물의 위치값을 추출하였다. 그리고 추출한 위치값의 데이터를 3D 프로그램으로 불러와 3D 오브젝트를 생성하고, 자연스러운 합성을 위한 방법에 관하여 연구하였다. 그 결과 $360^{\circ}$ 동영상과 3D 그래픽의 자연스러운 합성을 위한 방법으로 렌더링 요소와 렌더링 기법을 도출할 수 있었다. 첫째, 렌더링 요소로는 3D 오브젝트의 위치와 재질, 조명과 그림자가 있었고, 둘째, 렌더링 기법으로는 실사 기반 렌더링 기법의 필요성을 찾을 수 있었다. 본 연구 과정 및 결과를 통해 $360^{\circ}$ 동영상과 3D 그래픽의 자연스러운 합성에 관한 방법을 제시함으로써, $360^{\circ}$ 동영상 및 VR 영상 콘텐츠의 연구와 제작 분야에 도움이 될 것으로 기대한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2019년도 제60차 하계학술대회논문집 27권2호
• /
• pp.317-318
• /
• 2019

가상/증강현실로 대표되는 공간정보 기반 실감형 콘텐츠에 대한 관심이 증대되면서 객체인식 등의 지능형 공간인지 기술에 대한 연구가 활발히 진행되고 있다. 특히 HMD등의 영상 시각화 장치의 발달 및 5G 통신기술의 출현으로 인해 실시간 대용량 영상정보의 송, 수신 및 가시화 처리 기술의 기반이 구축됨에 따라, $360^{\circ}$ 스트리밍 영상정보 처리와 같은 고자유도 콘텐츠를 위한 관련 연구의 필요성이 증대되고 있다. 하지만 지능형 영상정보 처리의 대표적 연구인 딥 러닝(Deep Learning) 기반 객체 인식 기술의 경우 대부분 일반적인 평면 영상(Planar Image)에 대한 처리를 다루고 있고, 파노라마 영상(Panorama Image) 특히, $360^{\circ}$ 스트리밍 영상 처리를 위한 연구는 미비한 상황이다. 본 논문에서는 딥 러닝을 이용하여 $360^{\circ}$ 스트리밍 영상에서의 객체인식 연구 방법에 대해 서술한다. 이를 위해 $360^{\circ}$ 카메라 영상에서 딥 러닝을 위한 학습 데이터를 획득하고, 실시간 객체 인식이 가능한 YOLO(You Only Look Once)기법을 이용하여 학습을 한다. 실험 결과에서는 학습 데이터를 이용하여 $360^{\circ}$영상에서 객체 인식 결과와, 학습 횟수에 따른 객체 인식에 대한 결과를 보여준다.

• 전기전자학회논문지
• /
• 제22권1호
• /
• pp.68-73
• /
• 2018

본 논문에서는 $360^{\circ}$ 원형영상을 평면영상에 매핑하기 위한 효율적인 알고리즘을 제안한다. 제안된 알고리즘은 평면영상의 크기 구하기, 카메라와 평면영상 사이의 각 지점에 따른 거리 계산, 카메라와 평면영상이 수평으로 이루는 각도 산출, 카메라와 평면영상이 수직으로 이루는 각도 산출, $360^{\circ}$ 원형영상의 픽셀들을 평면영상의 픽셀에 매칭시키는 픽셀의 위치 계산 등 5단계로 구성된다. 제안한 $360^{\circ}$ 원형영상을 평면영상에 매핑하기 위한 효율적인 알고리즘을 평가하기 위하여 실험한 결과, 매핑된 평면영상의 복원율은 99%, 매핑된 평면영상의 화질은 72%로서 상용 소프트웨어의 기준치보다 높은 결과를 산출했기 때문에 알고리즘의 효용성이 확인되었다.

• 전기전자학회논문지
• /
• 제21권3호
• /
• pp.268-271
• /
• 2017

본 논문에서는 1200만 화소의 고해상도 $360^{\circ}$ 전방위 IP 카메라의 개발을 제안한다. 제안하는 1200만 화소의 고해상도 $360^{\circ}$ 전방위 IP 카메라는 $360^{\circ}$ 전방위 시야각의 렌즈 부와 1200만 화소 고해상도 IP 카메라 부로 구성된다. $360^{\circ}$ 전방위 시야각의 렌즈 부는 등사영 렌즈 설계방식과 catadioptric 면 제작방식을 적용하여 어안 렌즈에서 필연적으로 발생되고 있는 주변부 왜곡현상이 없는 화상을 얻을 수 있도록 한다. 1200만 화소 고해상도 IP 카메라 부는 CMOS 센서 & ISP 부, DSP 부, I/O 부 등으로 구성하여 카메라에 들어온 영상을 디지털 영상으로 변환하여 영상 왜곡 보정, 영상 보정, 영상 압축 등의 기능 등을 수행한 후에, NVR(Network Video Recorder)에 전송한다. 제안된 1200만 화소의 고해상도 $360^{\circ}$ 전방위 IP 카메라의 성능을 평가하기 위하여 외부시험기관에서 실험한 결과, 1200만 화소의 영상효율, $360^{\circ}$ 전방위 렌즈 화각, 전자파 인증 규격 등이 목표값에 적합하게 측정됨이 확인되었다.

• 한국콘텐츠학회논문지
• /
• 제18권3호
• /
• pp.205-214
• /
• 2018

4차 산업혁명 패러다임이 확산되면서 차세대 디지털 디바이스로 VR 디바이스와 관련 콘텐츠 산업에 대한 사회적 주목도가 더욱 높아지고 있다. VR 콘텐츠 영역 중에서 $360^{\circ}$ 3D 동영상은 미디어 영역에서 가장 주목받고 있고, 구글에서는 교육용 콘텐츠로 활용하고 있다. 이에 본 연구에서는 $360^{\circ}$ 3D 동영상에 대한 이용자 조사를 통해 이용자들의 관련 콘텐츠 이용실태 및 이용 동기를 분석하였다. 분석결과, 응답자들이 가장 많이 활용한 플랫폼은 유튜브로 나타났고, 이용했거나 이용할 의향이 있는 장르는 게임과 영화로 나타났다. 콘텐츠의 현실감에 대해서는 이용자 보다는 이용할 의향이 있는 응답자의 응답비율이 높았다. 이용동기 조사결과에서는 VR 기기를 활용해 $360^{\circ}$ 3D 콘텐츠를 시청한 경험이 있는 집단과 시청할 예정인 집단사이에 통계적으로 유의미한 차이가 있는 것은 모두 4개였다. $360^{\circ}$ 3D 동영상 이용이 '즐겁다'는 문항, '재미있다'는 문항, '새로운 경험을 준다'는 문항에 대해서는 시청 예정 집단이 시청한 집단보다 더 그렇다고 응답했다. 반면에 '미래를 생각하게 한다'는 문항에 대해선 시청한 집단이 시청 예정 집단보다 더 그렇다고 응답한 것으로 나타났다. 이런 결과를 종합해 보면 아직까지 VR 콘텐츠가 이용자들에게 주는 충족감이 기대보다 크지 못하다고 평가될 수 있지만, 기술발전에 따른 환경 변화에 대한 체험적 경험 제공 측면에서는 긍정적이라 평가될 수 있다.

• 전기전자학회논문지
• /
• 제22권4호
• /
• pp.1214-1217
• /
• 2018

본 논문에서는 소형 $360^{\circ}$ 구강 스캐너 임베디드 보드의 개발을 제안한다. 제안하는 소형 $360^{\circ}$ 구강 스캐너 임베디드 보드은 이미지 레벨 및 전송방식 변경 부, FPGA 부, 메모리 부, FIFO to USB 전송부 등으로 구성된다. 이미지 레벨 및 전송방식 변경 부는 소형 $360^{\circ}$ 전방위 구강 렌즈와 이미지 센서를 통해 들어온 MIPI 형식의 구강 영상을 Low Power Signal Mode와 High Speed Signal Mode로 나누어 포트에 분산 입력하고 레벨 시프트를 하여 FPGA 부에 전송한다. FPGA 부에서는 $360^{\circ}$ 영상 왜곡 보정, 영상 보정, 영상 처리, 영상 압축 등의 기능 등을 수행한다. FIFO to USB 전송부에서는 FPGA 내부의 FIFO를 통해 전달되어진 RAW 데이터를 트랜시버 칩을 사용하여 USB 3.0, USB 3.1 등의 통신 규격으로 PC에 전송한다. 제안된 소형 $360^{\circ}$ 구강 스캐너 임베디드 보드의 효율을 판단하기 위하여 공인시험기관에서 실험한 결과, 보정 영상 후 초당 프레임은 60fps 이상, 데이터 전송률은 4.99Gb/s로서 높은 수준의 결과가 산출되어 그 효용성이 입증되었다.

• 전기전자학회논문지
• /
• 제21권4호
• /
• pp.412-415
• /
• 2017

본 논문에서는 고해상도 $360^{\circ}$ 전방위 IP 카메라를 이용한 다중 번호판 인식 시스템을 제안한다. 제안한 시스템은 $360^{\circ}$ 원형영상의 평면 분할 부와 다중 번호판 인식 부로 구성되었다. $360^{\circ}$ 원형영상의 평면 분할 부는 고해상도 $360^{\circ}$ 전방위 IP 카메라에서 원형영상 획득, 원형영상 분할, 평면영상으로 변환, 보간법을 사용한 픽셀 보정 및 컬러보정, 에지 보정 등의 과정을 거쳐 화질이 개선된 평면영상으로 출력한다. 다중 번호판 인식 부는 평면영상에서 다중 번호판 후보영역 추출, 다중 번호판 후보영역 정규화 및 복원, 신경망을 사용한 다중 번호판 숫자, 문자 인식 과정을 거쳐 다중 번호판을 인식하게 된다. 제안된 고해상도 $360^{\circ}$ 전방위 IP 카메라를 이용한 다중 번호판 인식 시스템을 평가하기 위하여 지능형 주차관제시스템 운영 전문 업체와 공동으로 실험한 결과, 97.8%의 높은 번호판 인식률이 확인되었다.

• 한국전자통신학회논문지
• /
• 제13권6호
• /
• pp.1293-1300
• /
• 2018

$360^{\circ}$ 영상은 많은 영상정보를 담고 있어 유용하나, 눈에 보이는 물체의 방향과 그 물체의 소리가 들려오는 방향이 다른 경우 시청자에게 피로도를 느끼게 하여 감각적 이질감이 증대되어 그 활용도가 떨어지고 있다. 이에 본 논문에서는 $360^{\circ}$ 영상에서 시선에 따른 음향 정위가 얼마나 일치하는지를 백분율로 나타내는 기준을 제안하며, 제시한 영상 음향 정위 일치율을 이용하여 몰입도를 증대시키는 $360^{\circ}$ 영상의 제작 가능성을 제시한다. 제안한 영상 음향 정위 일치율은, 입체음향 콘텐츠 제작, 재생 솔루션의 정위 성능을 측정, 평가에 유용하고, 더욱 실감성 높은 시스템을 제작하는데 기여할 것으로 기대한다.

• 디지털융복합연구
• /
• 제16권2호
• /
• pp.335-341
• /
• 2018

본 연구는 두 개의 어안렌즈로 구성된 이안식 일체형 $360^{\circ}$ 카메라로 촬영한 영상의 효율적인 스티칭 기법에 관한 연구이다. 먼저, 기본적으로 제공되는 번들 프로그램의 스티칭 결과물의 문제점을 찾아보고, 전문 스티칭 프로그램인 Autopano Video Pro와 Autopano Giga를 사용한 스티칭 결과를 비교 분석하여, 보다 효율적이고 완성도 높은 스티칭 기법을 찾아내는 것에 중점을 두고 연구하였다. 그 결과 번들 프로그램의 문제점으로는 수평과 수직의 왜곡, 노출과 컬러의 불일치, 그리고 매끄럽지 못한 스티칭 라인 등이 나타났으며, Autopano Video Pro와 Autopano Giga의 Automatic Horizon과 Verticals Tool로 수평과 수직을, Levels와 Color 및 Edit Color Anchors로 노출과 컬러를, 그리고 Mask 기능으로 스티칭 라인의 문제를 해결할 수 있었다. 본 연구를 바탕으로 향후 이안식 일체형 $360^{\circ}$ 카메라 촬영 영상의 효율적인 스티칭 기법으로 더욱 완성도 높은 $360^{\circ}$ VR 영상 콘텐츠를 제작할 수 있을 것으로 기대한다.

• 디지털융복합연구
• /
• 제15권12호
• /
• pp.543-548
• /
• 2017

360도 이미지는 대중에게 이전에 경험하지 못했던 특별한 시각적 경험을 제공한다. 360도 이미지를 제작할 수 있는 방법은 여러 가지가 있지만, 본 논문에서는 기존의 제작방식을 포함하여 간단하며 유효한 두 가지의 제작방법을 제시하고자 한다. 첫 번째 방법으로는 48장의 이미지를 합성하여 한 장의 360도 이미지를 만드는 것이고, 두 번째 방법으로는 6장의 이미지를 사용하여 한 장의 360도 이미지를 제작하는 것이다. 앞서 제시한 두 가지 제작 방식의 특징과 장단점의 비교를 통하여 더욱 간단하면서도 효율적인 제작방식을 선택할 수 있다. 소개를 통하여 제시되는 제작방법은 VR작품 제작의 문턱을 낮출 수 있으며, 일반인들도 360이미지 제작을 더욱 간편하게 할 수 있게 됨으로써 VR영상 콘텐츠 산업이 더욱 발전될 수 있을 것으로 기대한다.