Development of 3D Holographic Multi-vision applying Wi-Fi Interlocking Technology

Abstract

본 논문에서는 단일 팬 방식 홀로그램 디스플레이의 제한된 시야각 문제점을 개선하기 위한 멀티비전 기반 홀로그램 디스플레이를 제안한다. 기존 단일 팬 방식의 디스플레이는 시야각이 좁고 팬의 길이가 길어짐으로 인한 낮은 해상도의 문제점을 가진다. 또한, SD 카드 사용으로 인한 데이터 변경의 어려움을 Wi-Fi 방식으로 데이터를 송신하기 위한 전용 앱을 구현하고자 한다. 본 논문에서는 3개의 REG LED 팬으로 구성된 디스플레이를 설계하고 구현하였다. 앱을 이용한 영상송신 결과, 광고 및 시연 등의 상업적 용도로 사용할 수 있음을 확인하였다. 본 연구의 결과는 멀티비전 홀로그램의 대중화에 많은 도움이 될 것으로 사료된다.

In this paper, we propose a multi-vision based hologram display to improve the limited viewing angle problem of a single fan hologram display. Existing single fan type displays have a narrow viewing angle. And when the length of the fan becomes longer, there is a problem of low resolution. Also, it is difficult to change data due to the use of the SD card. So, we want to implement a dedicated app to transmit data via Wi-Fi. In this paper, we designed and implemented a display consisting of 3 REG LED fans. As a result of video transmission using the app, it was confirmed that it can be used for commercial purposes such as advertisements and demonstrations. The results of this study are thought to be of great help in the popularization of multi-vision holograms.

I. Introduction

최근 4차 산업혁명을 주도하는 5G 무선통신 실용화로 AR/VR 기술에 관한 관심이 급증하고 있으며, 2D 영상 패러다임이 3D 영상으로 전환되고 있다[1-2]. 이에 홀로그램 기술의 발전으로 인한 초연결, 초실감 환경적 변화가 도래되고 있다. 3차원 홀로그램 기술은 신기술과 접목을 통한 의료, 교통, 공연, 광고 등 다양한 분야의 핵심 기술로 주목받고 있다. 하지만, 고객의 요구에 따른 즉시 반응의 홀로그램 적용은 제한적이며 기능별 부품과 통합패키지 형태로 이원화하여 양산라인이 구축되어 있고 기능적 향상을 위한 업그레이드 요소가 빈약한 것이 현실이다. 또한, 벽걸이나 스탠드 등 간단한 설치를 통해 제품의 홀로그램 영상을 전시할 수 있어 새로운 광고 솔루션으로 주목받고 있으며 현재 국내 기술로는 일부 회사에서 작은 영상 데이터를 위해 단일 팬 형식의 디스플레이 시스템을 자체 제작을 하고 있으나 크기가 큰 디스플레이의 경우 낮은 해상도 및 좁은 시야각 때문에 실감형 디스플레이 구현에 어려움을 지니고 있다. 또한, 기존 시스템은 마이크로 SD 카드를 사용하여 필요할 때마다 데이터를 변경해야 하는 번거로움을 가진다. 본 논문에서는 와이파이 연동이 가능한 멀티비전 기술을 활용한 융합형 3차원 영상 출력 홀로그래피 디스플레이 기술을 제안한다. 이를 통하여 홀로그램의 표현 영역을 확장시키며 외장형 SD 카드를 통한 데이터 저장방식을 메모리 모듈을 내장한 와이파이 통신방식으로 변경하며, 메모리를 통한 영상 송출을 모바일 앱을 통한 실시간 영상처리 기술을 접목하여 변경 가능성을 쉽게 확보하고자 한다. 또한, 음성지원을 위한 블루투스 기능을 내장하는 특징을 가진다. 논문의 구성은 2장에서 홀로그램 기술에 대해 살펴보고 3장에서 구현을 위한 멀티비전 디스플레이의 구조와 관련 회도도를 통한 설계에 관해 기술한다. 4장에서 구현된 멀티비전 디스플레이와 Wi-Fi로 연동하여 영상의 송신하는 모바일 앱의 동작을 설명하고 5장에서 결과에 관해 기술한다.

II. Background

1. Technology of Hologram

3D 디스플레이는 기존 2D 영상과는 달리 사물의 깊이 및 공간 형상 정보를 인식하여 입체감이 느껴지는 기술이며 대부분의 3D 디스플레이 방식은 서로 다른 가시점에서동시에 보는 것에 의해 입체감을 얻는 양안 시차 (binocular)를 이용하는 방식이다. 홀로그램 디스플레이는 모든 방향에서 사물의 입체적인 요소를 확인할 수 있는 3차원 기술로서 빛의 산란을 이용해 영상에 입체감을 부여하는 방식이며, 정면 외에 모든 각도에서 사물의 체적에 따른 깊이감을 보여주어 실제 사물과 같은 입체감을 구현하는 장치이다. 또한, 근래에는 안경 등 보조기구를 이용하는 안경 착용형(stereoscopic)[3]을 활용한 3D 홀로그래피 디스플레이에서 벗어나 별도의 안경을 착용하지 않고 입체 영상을 볼 수 있는 무안경 방식(auto-stereoscopic) 방식에 관한 연구가 활발히 이루어지고 있다[4]. 무안경 방식은 일반적으로 고속으로 회전하는 스크린에 레이저를 투사하여 입체영상을 만드는 스테레오스코픽(Stereoscopic) 3D 방식[5]과 물체에서 오는 빔과 참조(reference) 빔이 만드는 회절 무늬를 이용한 3D 영상을 만드는 홀로그래픽 (Holographic) 3D 방식이 주도적이다.

Fig. 1. Paradigm of 3D image technology method

홀로그램 기술은 내용과 기술적 범위에 따라 세 가지 정도로 구분될 수 있다. 유사 홀로그램은 반 투과형 스크린에 영상을 투영시켜 초다시점 입체 영상으로 홀로그램 효과를 구현하는 기술이며 공연이나 홍보, 원격회의 등에 사용된다[6-7]. 아날로그 홀로그램은 실물을 입체 영상으로 표현하기 위해 필름을 사용하여 홀로그램 사진이나 전시 등에 이용되고 있으며 광원 및 광학 소자 기술이 적용된다. 디지털 홀로그램은 특정 사물에서 반사된 빛을 디지털화하여 기록과 재생을 통해 현실감을 증강하는 실감 기술이며 HMD, HUD 등에 이용되며 디지털 홀로그램 획득 및 생성, 전송 및 재현 기술이 적용되고 있다[6].

상용화된 디지털 홀로그램 디스플레이 종류는 Fig. 2와 같이 피라미드 홀로그램 디스플레이와 3D 홀로그램 LED 팬(Fan) 디스플레이가 일반적이다[8]. 부채형 형태의 3D 홀로그램 LED 팬 디스플레이는 팬이 빠른 속도로 회전하면서 생기는 RGB LED의 시각적 잔상 효과와 시분할 동기화를 통해 3차원 정보를 재생하는 기술이다. 상용화된 디스플레이는 대부분 디스플레이의 앞쪽에서만 홀로그램을 확인할 수 있다. 최근에는 360도 시야각을 제공하고 SLM(Spatial Light Modulator)을 이용하여 홀로그램 영상의 크기를 확대하거나 테이블탑 형태로 구현한 체적형 3 차원 디스플레이 연구가 활발히 진행 중이다[9-11]. 하지만, 본 연구에서 광고용이나 시연용으로 사용할 수 있는 상용화가 가능한 멀티비전 디스플레이를 구현하고자 한다.

Fig. 2. Commercialized hologram display

III. Design

1. Design of Multivision Structure

본 논문에서 소개하는 멀티비전 홀로그램 디스플레이는 Fig. 3과 같이 RGB LED가 배열된 블레이드(a)를 회전 시켜 홀로그램을 형성하는 홀로그램 디스플레이를 일정한 간격으로 배열시켜 홀로그램 표현 영역을 확장시킨다. 브레이드 팬은 상면에 여러 개의 LED가 배열된 블레이드 가방 사상으로 배치된 홀로그램 형성부와 홀로그램 형성부를 회전시키는 구동 모터(b)로 구성된다. 홀로그램 형성부와구동 모터로 구성된 브레이드 팬은 일정한 간격으로 배열되고, 각 브레이드 팬의 구동 모터 및 홀로그램 형성부의 동작은 팬을 개별적으로 제어하는 제어(c)부를 포함하고 있다. 또한, 제어부에는 Wi-Fi 통신을 이용하여 홀로그램데이터를 전송하는 통신부를 포함하고 있다. 수직으로 배열된 브레이드 팬은 인접한 다른 브레이드 팬과의 충돌 방지를 위해 전면부에 일정한 거리만큼 (x)와 같이 이격되어 배치된다. 또한, 홀로그램 디스플레이가 배열되어 고정되는 지지체와 홀로그램 디스플레이를 감싸는 케이스(d)를 포함하며 케이스의 정면은 영상이 표출되는 공간을 투명아크릴로 구성하였다.

Fig. 3. Structure of Multivision

멀티비전 내에서 영상을 출력하기 위해서는 각 LED 팬 디스플레이마다 중첩되는 부분이 일정해야 하는 특성을 가진다. Fig. 4는 영상을 구동 팬의 개수에 따라 분할하는 영역을 보인 것이다. 중첩되는 부분을 구동 팬의 수와 관계없이 일정한 분할 제어를 보이고 있다.

Fig. 4. Split and control each blade panel image

2. Design of Circuit Diagram

Fig. 5는 구동 모터와 브레이드 부를 제어하는 제어부를 나타난 회로도이다. 제어부는 각 홀로그램 형성부를 제어하는 역할로 각각을 개별로 제어한다. 회로도의 Pro Micro와 MPU-6050은 MCU 및 데이터 처리를 담당하고 하단의 LED 블레이드 부를 제어하게 된다. 또한, Wi-Fi 통신을 위한 통신부와 오디로 출력을 위한 음향부를 포함한다.

Fig. 5. Circuit diagram of the Control unit(Motor & Blade)

Fig. 6은 브레이드의 핀 맵을 보인 것이며 LED 구동을 위한 칩셋은 TLC5947 이며 24채널 정전류 싱크 LED 드라이버이다. 각 채널은 4, 096단계의 PWM(Pulse Width Modulate) 신호를 개별적으로 조정 가능하며 프로그래밍된 12bit의 grayscale(GS) 데이터로 PWM 제어가 자동으로 반복되는 특성을 가진다. GS 데이터는 직렬 인터페이스 포트를 통해 기록되며 24개의 채널의 모든 전륫값은 단일저항기로 설정된다. 또한, 과열 상태에서 모든 출력 드라이버를 끄는 열 차단(Thermal Shutdown) 기능이 있다. 온도가 정상 상태로 돌아오면 모든 출력 드라이버는 자동으로 재시작된다. Fig. 6에서 볼 수 있듯이 본 연구에서는 RGB LED를 사용하기 때문에 24 채널을 가진 TLC₅₉47은 8개의 LED 쌍을 제어할 수 있으므로 32쌍의 RGB LED로 구성된 블레이드는 4개의 칩셋으로 구성되어 있다.

Fig. 6. Pin map of RGB LED Blade

Fig. 7은 브레이드을 제어하는 MCU의 핀 맵을 보인 것으로 LED 브레이드의 모듈 제어 및 헤드 역할을 담당한다. 사용되는 칩셋은 STML0 시리즈이며 ARM 계열의 마이크로 컨트롤러이다. 초저전력 마이크로 컨트롤러로 32MHz 주파수에서 작동하며 192KB의 고속 내장 메모리를 가진 특징을 가진다. 본 MCU는 3개의 I2C, 2개의 SPI, 1개의 I2S, 4개의 USART, 1개의 저전력 UART (LPUART) 및 crystal-less USB와 같은 표준 인터페이스를 포함하고 있다. Fig. 7의 MCU 18~21번 핀에 Fig. 6의 각 브레이드가 하나씩 연결된다.

Fig. 7. Pin map of Blade MCU

Fig. 8은 회로 설계에 따른 LED 블레이드의 거버파일 (Gerber file)과 SMT 장착 거버파일을 보인 것이다.

Fig. 8. Gerber file of LED Blade

Table 1은 설계된 멀티비전의 구성 요소를 요약적으로보인 것이다.

Table 1. Specification of Multivision

구현된 LED 브레이드 부와 구동 모터와 컨트롤러의 완성된 결과는 Fig. 9와 같다.

Fig. 9. Completed LED blade fan

IV. Implementation

1. Implementation of App

완성된 멀티비전 디스플레이에 Wi-Fi를 이용한 영상전송의 절차는 Fig. 10과 같다. 먼저, QR코드 인식을 통하여 장치를 식별하고 와이파이 연결을 확인한다. 스마트폰 앱에 내장된 영상이나 특정 웹 서버에 저장된 영상을 선택하여 데이터를 업로드 한다. 업로드 하는 영상은 와이파이 통신 모듈을 이용하여 MCU의 내장 메모리 영역에 저장되게 된다.

Fig. 10. Video data transmission using Wi-Fi

Fig. 11은 3차원 홀로그램 디스플레이를 조작하기 위한 사용자 앱을 보인 것이다. (a)는 해당 홀로그램과 연결하기 위한 와이파이를 세팅하기 위한 메뉴이고 (b)는 QR코드로 인식한 해당 장비의 식별자를 보인 것이다. (c)는 홀로그램 장치에 내장된 블루투스에 연결하기 위한 메뉴이고 (d)는 출력되는 홀로그램의 밝기와 회전 각도를 조절하기 위한 메뉴이다. 그리고 (e)는 표시되는 영상에 대한 사용자 조정 패널을 위한 메뉴이다. 하단에는 (f)와 같이 연결하고자 하는 영상 리스트를 보이고 있다.

Fig. 11. Smartphone App

영상의 추가는 Fig. 12와 같이 추가 버튼(a)을 이용하여 서버에 등재할 수 있는데 영상 추가 시 동영상의 러닝타임을 설정하기 위한 조절 기능(b)을 가지고 있다.

Fig. 12. App operation to add video

Ⅴ. Conclusions

본 논문은 기존의 단일 팬 방식의 브레이드를 통한 홀로그램 디스플레이를 확장하기 위한 멀티비전 홀로그램 디스플레이를 설계하고 구현하였다. 다중 브레이드의 영상 분할을 위한 구조와 함께 정적 메모리를 사용하는 SD 카드로 영상을 저장하고 재생하는 방식을 개선하여 모바일앱을 통한 Wi-Fi 통신방식을 통하여 영상의 업데이트를 원활하게 하였다. 또한, 모바일 앱에서 업로드 하고자 하는 영상의 노출 시간을 조절할 수 있는 기능과 시야각과 밝기를 조절할 수 있는 기능을 통하여 손쉽게 디스플레이를 운영할 수 있게 개선하였다.

Fig. 13의 상단 왼쪽은 앱과 Wi-Fi 연동이 완료되고 장치의 ID가 식별된 결과는 보인 것이고 단일 팬을 이용한 영상 표출에 문제가 없음을 확인하는 다양한 홀로그램을 확인할 수 있다. Fig. 13의 오른쪽의 홀로그램은 세 개의 LED 브레이드에 분할된 영상이 온전한 하나의 홀로그램으로 표출되고 있음을 확인할 수 있으며 이는 저가의 상업용 홀로그램 시장에서 경쟁력을 확보할 수 있음을 증명하였다. 하지만, 홀로그램 표출에 따른 분할 영역의 경계와 더불어 회전 속도의 차이에 따른 번짐 현상이 약간 발생하였고 측면부에서 확인할 경우 시야각의 제한적 요소로 인한 이질적 결과를 보이는 문제점을 초래하였다. 향후, 브레이드의 확장성과 시야각 확대를 통한 3차원 공간성을 증대시키는 후속 연구를 진행할 것이다.

Fig. 13. Demonstration results of various holograms