A Research on the Design and Implementation of LED Display-based Light Gun Systems

Abstract

With the current surge in leisure sports activities involving firearms and the costly shooting practices in the military, there's a growing interest in using virtual reality as a cost-effective alternative. This study proposes a system that addresses the drawbacks of existing shooting practice setups, such as dim spaces and high installation costs, by making it feasible on large display screens. The system integrates IR receivers and guns for practice, ensuring usability and efficiency through an application. Additionally, an accuracy adjustment feature enhances precise coordination recognition. As a result, this cyber light gun system offers an affordable solution for outdoor training.

본 논문은 레저스포츠 시장이 활성화되면서 총기를 활용한 활동이 늘어나고 있으며, 군대에서는 비용이 많이 드는 사격 훈련을 진행하고 있는 상황에서 저렴한 비용을 실외에서 훈련할수 있는 시스템을 연구했다. 이러한 고비용의 훈련을 저렴하게 대체하기 위해 가상 현실을 활용한 사이버 스크린이 연구되고 있다. 본 연구에서는 기존의 스크린 사격 훈련 시스템의 문제점인 어두운 공간과 높은 설치 비용을 최소화하기 위해 대형 디스플레이 장치에서도 사용할 수 있는 시스템을 제안한다. 이를 위해 전면에 IR 리시버를 부착하고 IR 건을 활용하여 훈련하는 시스템을 구축하고, 애플리케이션을 통해 사용성과 효율성을 확인했다. 또한, 영점 조절 기능을 추가하여 더 정확한 좌표를 인식할 수 있도록 했다. 이를 통해 낮은 비용으로도 사이버 라이트 건 시스템을 쉽게 활용할 수 있을 것으로 기대된다.

I. Introduction

사격연습 및 총기 교육은 고비용과 위험성에 노출되어 항상 어려움을 겪고 있다. 이에 대한 대안으로 가상현실 및 스크린 형태의 모의 시뮬레이션 형 앱을 활용하고 있다[1]. 대표적인 사례가 군 또는 경찰 사격연습에서 사용한다. 비용을 줄이고, 위험을 최소화했다는 장점이 있다. 전세계 사이버 보안 시장 규모는 2023년에 1,564억 달러에 달했으며, 2028년까지 연평균 성장률(CAGR) 13.7%로 성장하여 2028년에는 3,005억 달러에 도달할 것으로 예상된다. 또한, 사이버 사격훈련 솔루션 시장은 이러한 전 세계 사이버 시뮬레이터 중 하나이며, 2023년 시장 규모는 85억 달러로 추산된다. VR 및 AR 기술은 사용자에게 더욱 사실적인 훈련 경험을 제공하여 사이버 훈련을 통한 능력을 향상시키는 데 도움이 될 수 있다. 그림1은 실외 사격 연습과 스크린 사격연습이다[2].

Fig. 1. Screen shooting practice

하지만, 사이버 건 슈팅 게임은 대부분은 어두운 공간에서 빔프로젝터(스크린)를 360도에 설치해 연습하는 스크린 형태로 설치비용이 많이 들고, 어두운 실내에서 해야되는 단점이 있다[3]. 본 연구에서는 실외 및 밝은 곳에서도 사격연습을 할 수 있으며 설치비용을 최소화해 누구나 쉽게 이용할 수 있는 LED 대형디스플레이 형태의 건 교육 시스템을 제안한다.

II. Preliminaries

2.1 Global game market

글로벌 게임시장은 2023~2023년 동안 약 31%의 CAGR로 성장해 약 USD 450억의 수익을 올릴 것으로 예상된다.

또한, 시장은 2023년까지 약 USD 80억의 수익 창출이 발생했다. 그림2는 글로벌 게임 마켓을 분석한 보고서로 대부분이 콘솔형 PC게임과 모바일 게임이 주류를 이루고 있으며 체감형 형태의 게임이 주도를 하고 있음을 알 수 있다[4]. 또한, 향후 2027년까지 연평균 38.6%의 성장률을 보이며 46억 달러 (약 6조 2천 100억 원) 규모까지 성장할 전망하고 있으며, 이러한 변화의 요인은 VR 기술 발전으로 고해상도 디스플레이, 와이드 시야각, 향상된 모션 트래킹 등 VR 기술의 발전으로 현실감 넘치는 게임 경험 제공하며, 다양한 장르, 스토리, 게임 플레이 방식의 VR 슈팅 게임 출시 증가하고 있다. 메타, 구글, 넷이즈 등 글로벌 기업의 VR 시장 진출 및 투자 확대와 VR 기기 가격 하락으로 소비자 접근성 향상된 것으로 분석된다. 또한, e스포츠 발전, 게임 플랫폼다양화, 게임 콘텐츠 풍부화, 게임 스트리밍 서비스 성장 등으로 시장 성장 잠재력 높다고 판단된다.

Fig. 2. Global Game Market

2.2 Screen shooting System

스크린 타입의 건 슈팅 게임을 개발하고 상품화하고 있다. 그림3와 같은 시스템으로 구성한다[5].

Fig. 3. Screen shooting system

스크린 타입의 슈팅 시스템의 구성은 고성능 비전카메라 센서, 게임콘솔 및 사운드 시스템을 담당하는 메인시스템 및 3,500안시의 단초점 빔-프로젝트와 대형 스크린으로 구성되어 있다. 그 외에도 총기에 붙여서 사용하는 격발센서가 있어 개인 소장 BB탄 건에도 사용할 수 있도록 추가 모듈을 제공한다. 그림 4은 슈팅 코리아에서 제공하는 콘텐츠로 단일모드와 멀티모드를 지원하고 다양한 타깃을 이용한 사격연습, 멀티 경쟁게임을 지원한다. 또한, 스마트기기와 연동해 슈팅 게임을 사용자 맞춤형으로 재배치한다는 장점이 있다.

Fig. 4. Screen shooting practice

사이버 훈련과정은 환경설, 장비의 선택, 훈련 시나리오 선택, 사격훈련 및 결과 확인의 과정으로 진행된다.

III. The Proposed Scheme

본 연구에서는 제안하는 라이트건 시스템은 대형의 LED 디스플레이 장치에 라이트 좌표를 인식하는 센서를 상단에 배치하고 라이트 건에서 나오는 빛의 위치를 인식해 PC의 시스템의 HID(Human Interface Device)로 동작하는 방식(마우스)을 사용한다[5]. 그림5는 LED 대형디스플레이 장치에서 인식을 라이건 시스템이다. 장치 전면 2-3m 거리 밖에서 동작한다. 제안하는 시뮬레이터 슈팅 어플리케이션은 유니티 게임엔진을 통해 개발했다. 또한, 마우스가 움직이는 속도에 따른 정확도를 높이기 위해 영점조정 기능을 추가했다.

Fig. 5. Light Gun Operaion system

3.1 Light Sensor and Calibration

제안하는 라이트 건-시스템은 라이트 센서(수강부), 건(발광부:Light emitting), 구성된다. IR Sensor Bar의 경우 발사된 IR를 받아 건으로부터 수신된 빛을 스크린의 좌표로 변환해 마우스(HID)와 같은 역할을 하도록 했다. 그림 6은 라이트 센서 시스템 동작이다. 그림 6에서 Light Emitting 센서를 화면 상단 전면 부분에 부착하고 IR Lighted Area를 설정한다. 건에 부착된 Light emitting par bar을 사용해 HID 기능을 갖는 USB 디바이스와 연결한다. 또한, 그림6은 Light Sending인 건으로 라이트 발사되고 좌표 계산하고 인식하는 시스템 구성이다[7].

Fig. 6. Light Sensor System

그림7은 HID를 통한 마우스 인식 과정으로 시리얼 장치를 초기화하고 데이터를 X, Y 받아서 정수형으로 변환 후 마우스 역할을 할 수 있도록 하는 슈도코드(Pseudo code)이다. 이와 같은 과정을 거치면 건(gun)은 마우스 기능과 똑같은 역할을 한다.

Fig. 7. HID mouse recognition process

이렇게 만들어진 마우스는 좌표는 하드웨어적인 좌표와 디지털 좌표 간의 틀어지는 현상을 보상하기위해 좌표 보정 과정을 진행한다[8][9]. 표1는 디스플레이 장치의 해상도에 맞도록 범위를 보정하는 과정이다. 표에서 좌측은 현재 입력되는 마우스 좌표정보이고 우측의 경우 실제 건으로부터 입력되는 위치를 표시한 것이다.

Table 1. Mouse Calibration for light gun

그림8은 건의 버튼 매칭 과정으로 라이트 건의 키 매칭 테이블에 “Trig”,“Left“,”Right“에 마우스 키와 매칭한다. 또한, 건이 화면을 벗어났을 동작을 위해 on Screen과 Off Screen에 대한 설정을 추가했다.

Fig. 8. Mouse Button Assignments for Light Gun

3.2 Gun zeroing and target

본 과정은 3번의 슈팅을 쏘고, 거리의 평균을 탄착된 위치로 이동시키는 방법이다[10][11]. 이러한, 라이트 건의 영점조정(zeroing and target)은 그림 9와 같은 C#스크립트 코드를 작성했다. 스크립트에서 gunMuzzle 및 hitPoint는 두 개의 Transform(위치)를 저장한다. gunMuzzle은 총의 발사 위치를 hitPoint는 3점 탄착점이다. AdjustZeroing()는 총의 발사 위치와 탄착 위치를 기반으로 총의 영점을 조정한다.

Fig. 9. 3-Shot Zeroing Script for Bullseye Target

gunMuzzle과 hitPoint 변수를 설정하고, 총이 발사되고 탄착한 시점에서 AdjustZeroing() 메서드를 호출한다. 3개의 탄착점에 대한 계산방법은 (1) 3개의 탄착점 벡터를 더해 평균 탄착점 벡터를 계산(Average impact point = (Point 1 + Point 2 + Point 3) / 3), (2) 평균 탄착점 벡터와 과녁 중심 벡터의 거리를 계산(Distance = ||Average impact point - Target center), (3) 총알 발사 위치 벡터를 과녁 중심 벡터와 평균 탄착점 벡터의 방향으로 거리만큼 이동시켜 조정(Adjusted bullet spawn position = Bullet spawn position + (Target center - Average impact point) * Distance)한다[13]. 그림 10은 건의 탄착 위치에서 화면 공간을 World 공간으로 변환하고, 위치에 레이캐스트를 발사해 특정 게임 오브젝트에 충돌 여부 판단 후 탄착 위치를 정한다(충돌 지점과 오브젝트의 거리를 계산).

Fig. 10. Gun target algorithm

3.3 Action Gun Shooting Game

대형 디스플레이 장치에서 운영하기 위한 라이트 건 슈팅 시스템의 제작은 카메라 엑션을 통해 생동감이 있는 게임을 제작했다. 이를 위해 MainCamera에 액션 애니메이션을 적용했다[14][15]. 그림11은 카메라에 액션 애니메이션 4개를 만들고 카메라 움직임을 제어하도록 했다. 액션제어는 스크립트를 통해서 스테이지를 구분 후 동작하도록 구현했다.

Fig. 11. Action Camera Animation State

또한, 과녁에 대한 폭발과 효과를 넣어 보다 현장감이 있도록 구현했다, 그림 12는 객체의 폭발 효과 및 사운드을 추가한 것으로 객체의 영역을 설정하기 위한 Collider와 물리 엔진의 기능 부여를 위한 Rigidbody를 추가했다.(a)는 폭발 효과음, (b)는 Prefeb 설정, (c)는 폭팔 효과이다. 객체의 효과 및 사운드를 “Prefeb”으로 등록 후 재사용한다[16][17].

Fig. 12. Add Audio and explosion for Inspector

그림 13은 Gun Shooting Game 설계 및 제작으로 명중률에 대한 정확도를 확인하기 위한 애플리케이션이다. (a) Stage에 대한 전체조감도 (b)는 과녁 연습, (c)는 움직임이 있는 타격 연습이다. 대형 크기의 디스플레이 장치의 경우 마우스의 움직이는 범위가 넓어서 실시간 이동에 제약이 발생했다. 이러한 점을 보정하기 위해 마우스의 움직임을 2배로 설정한 후 실시간성이 확인했다. 또한, 시스템의 경우 하드웨어 장치인 GPU의 성능에 따라 반응속도가 차이가 발생해 정확도의 오류가 일부 발생했고, 이러한 문제를 해결하기 위해 소프트웨어적인 연산을 최소하도록 객체의 이동을 제안했다.

Fig. 13. Design of Gun Shooting Game

IV. Experiment and analysis

본 절에서는 설계된 라이트 건과 슈팅 연습 애플리케이션과 하드웨어와 연동하는 과정이다. 라이트 건은 좌표 교정 및 HID형 마우스 제어 장치를 통해 영점 조절을 맞추어 놓았다. 정확도를 확인하기 위해서 간단한 슈팅 게임을 제작 후 표적에 탄착 되는 정확도를 확인했다. 표2는 라이트건 실험을 위한 환경이다. 라이트 IR 센서 BAR의 성능은 최소 10인치에서 100인치까지 센싱 가능하며, 최소 인식 거리는 14피트이며 2-Way 모드 방식으로 구성된다. 실험에 사용한 인치는 75인치 LG 디스플레이 장치에 PC를 연결해서 실험을 진행했다.

Table 2. Specifications and Environment

그림14는 라이트건 시험을 위한 개발내용으로 최초 영점 조절을 위한 보정 사격을 3번 진행한다. 다음 스테이지에서는 탄착 위치와 오브젝트 효과를 실험하는 과정으로 구성되며, 마지막 스테이지에서는 마우스의 스피드에 따른 정확도 확인은 위한 움직이는 오브젝트를 맞추는 시나리오로 구성했다. 움직이는 과정에서 마우스의 속도는 정확도를 올리는 데 중요한 요소이다.

Fig. 14. Add Audio and explosion for Inspector

그림 15는 기존의 스크린 형태의 사격연습 게임을 LED 타입의 대형 디스플레이 장치에서 동작하도록 구현된 것으로 대형 디스플레이 장치의 상단에 IR 수신 센서를 부착하고 라이트게임을 진행한 것이다.

Fig. 15. Add Audio and explosion for Inspector

이로써, 기존의 수백에서 천만원 이상의 가격과 어두운 곳에서 운영하기 어려운 스크린 방식의 가상 사격시스템을 낮은 가격과 낮에도 언제 어디서나 쉽게 설치하고 운영할 수 있는 LED 기반의 사격연습 시스템을 제안했다. 표 3은 제안하는 LED 디스플레이 방식과 빔-프로젝트 방식의 차이를 비교 분석한 것이다. 제안하는 시스템은 저렴한 가격에 야외에서 쉽게 설치할 수 있다는 장점이 있다. 하지만 야외의 경우 태양광의 간섭으로 정확도가 다소 떨어지는 점이 있지만, 하드웨어 성능 개선 이루어지면 극복할 수 있을 것으로 사료 된다.

Table 3. Comparison of proposed system features

V. Conclusions

군대의 사격 훈련 및 총기 레저 스포츠는 높은 비용으로 일반인에게는 접근하기 어려운 상황이다. 이러한 문제를 해결하기 위해, 점점 더 많은 사람들이 가상 현실을 이용한 스크린 사격장을 활용하고 있다. 이 스크린 사격장은 현실감을 높이기 위해 총기 반동 및 소리 등을 구현하고 있다. 그러나 복잡한 설치와 높은 비용으로 인해 대중에게 접근하기 어려운 실정이다. 이에 본 연구에서는 기존의 프로젝터 기반 방식이 아닌 대형 디스플레이에 저렴한 적외선(IR) 센서를 부착하여 건으로부터 발사되는 IR 신호를 캡처하여 사격 연습을 할 수 있는 시스템을 제안했다. 또한, 좌표 보정을 통한 정확도 향상, 영점 조절 기능 및 사격 연습 애플리케이션을 구현해 시스템의 효율성 및 이동성을 높였다. 더 나아가 하드웨어 라이트 센서 좌표 인식과 소프트웨어 영점 조절을 결합해 가정이나 사무실의 디스플레이를 통해 이 시스템을 활용할 수 있을 것으로 전망된다. 향후 연구과제로 외부 광원으로 인한 좌표 오차를 자동으로 보정하는 인공지능 보정 모듈의 개발이 필요할 것으로 사료된다.