• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.21 no.3
• /
• pp.636-642
• /
• 2017

In this paper, We proposed a novel hand-gesture recognition algorithm using concentric-circle expanding and tracing. The proposed algorithm determines region of interest of hand image through preprocessing the original image acquired by web-camera and extracts the feature of hand gesture such as the number of stretched fingers, finger tips and finger bases, angle between the fingers which can be used as intuitive method for of human computer interaction. The proposed algorithm also reduces computational complexity compared with raster scan method through referencing only pixels of concentric-circles. The experimental result shows that the 9 hand gestures can be recognized with an average accuracy of 90.7% and an average algorithm execution time is 78ms. The algorithm is confirmed as a feasible way to a useful input method for virtual reality, augmented reality, mixed reality and perceptual interfaces of human computer interaction.

• Annual Conference of KIPS
• /
• 2018.10a
• /
• pp.686-689
• /
• 2018

3D 손 포즈 추정(Hand Pose Estimation, HPE)은 스마트 인간 컴퓨터 인터페이스를 위해서 중요한 기술이다. 이 연구에서는 딥러닝 방법을 기반으로 하여 단일 RGB-Depth 카메라로 촬영한 양손의 3D 손 자세를 실시간으로 인식하는 손 포즈 추정 시스템을 제시한다. 손 포즈 추정 시스템은 4단계로 구성된다. 첫째, Skin Detection 및 Depth cutting 알고리즘을 사용하여 양손을 RGB와 깊이 영상에서 감지하고 추출한다. 둘째, Convolutional Neural Network(CNN) Classifier는 오른손과 왼손을 구별하는데 사용된다. CNN Classifier 는 3개의 convolution layer와 2개의 Fully-Connected Layer로 구성되어 있으며, 추출된 깊이 영상을 입력으로 사용한다. 셋째, 학습된 CNN regressor는 추출된 왼쪽 및 오른쪽 손의 깊이 영상에서 손 관절을 추정하기 위해 다수의 Convolutional Layers, Pooling Layers, Fully Connected Layers로 구성된다. CNN classifier와 regressor는 22,000개 깊이 영상 데이터셋으로 학습된다. 마지막으로, 각 손의 3D 손 자세는 추정된 손 관절 정보로부터 재구성된다. 테스트 결과, CNN classifier는 오른쪽 손과 왼쪽 손을 96.9%의 정확도로 구별할 수 있으며, CNN regressor는 형균 8.48mm의 오차 범위로 3D 손 관절 정보를 추정할 수 있다. 본 연구에서 제안하는 손 포즈 추정 시스템은 가상 현실(virtual reality, VR), 증강 현실(Augmented Reality, AR) 및 융합 현실 (Mixed Reality, MR) 응용 프로그램을 포함한 다양한 응용 분야에서 사용할 수 있다.

• Annual Conference of KIPS
• /
• 2019.10a
• /
• pp.1137-1140
• /
• 2019

가상현실(Virtual Reality, VR), 증강현실(Augmented Reality, AR), 혼합현실(Mixed Reality, MR) 분야에 유용한 인간 컴퓨터 인터페이스 기술은 필수적이다. 특히 휴먼 손동작 인식 기술은 직관적인 상호작용을 가능하게 하여, 다양한 분야에서 편리한 컨트롤러로 사용할 수 있다. 본 연구에서는 뎁스 영상 기반의 1 인칭 시점 손동작 인식을 위하여 손동작 데이터베이스 생성 시스템을 구축하여, 손동작 인식기 학습에 필요한 1 인칭(Egocentric View Point) 데이터베이스를 촬영하여 제작한다. 그리고 모바일 Head Mounted Device(HMD) VR 을 위한 뎁스 영상 기반 1 인칭 시점 손동작 인식(Hand Pose Recognition, HPR) 딥러닝 Deep Residual Network 를 구현한다. 최종적으로, 안드로이드 모바일 디바이스에 학습된 Residual Network Regressor 를 이식하고 모바일 VR 에 실시간 손동작 인식 시스템을 구동하여, 모바일 VR 상 실시간 3D 손동작 인식을 가상 물체와의 상호작용을 통하여 확인 한다.

• Journal of the Korea Society for Simulation
• /
• v.31 no.2
• /
• pp.21-32
• /
• 2022

The ROK Navy is seeking to secure an aircraft carrier(CVX) to take responsibility for the maritime security of the Republic of Korea. In order for the CVX to complete the mission given to it, the crew must be able to operate the CVX perfectly, and for this purpose, the operating skills of the CVX crew result from constant training. Therefore, this paper proposes an On-board Training System(OBTS) so that the best training can always be performed even on ship. CVX OBTS should be built in the form of a thorough simulator based on a Synthetic Training Environment(STE) so that it can be optimally applied to ship and provide the best training environment to the crew. In order to satisfy the various training requirements and implementation conditions of the CVX, this paper proposes a plan to consist of Embedded Training System(ETS), VR training system, AR maintenance system, MR training system, MR metaverse training system, and realistic simulator training system.

• Journal of the Korea Convergence Society
• /
• v.6 no.3
• /
• pp.103-109
• /
• 2015

TOLED(Transparent, Organic Light Emitting Diodes) based edutainment system has been studied to solve the actual feeling training and educational experience problem of e-learning. However, edutainment system using TOLED has a problem for the non-detection of multi marker array and rotate marker array, and it has problem for the dissonance phenomena caused by Illumination Environment between real world and virtual object. It also has a do not provide services through a variety of devices problem. Therefore, in this paper, we designed a system that provides a realistic actual feeling edutainment contents by recognizes the marker array rotation and a plurality of marker arrangement via an improved marker detection technique. And to unify the real space and virtual space of the lighting environment through a nested block layer.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.557-560
• /
• 2020

최근, 광소자에서 공간 변조되는 wavefront profile 특성을 광소자의 표면 단차 변화 없이 단일 두께 박막 상에서 자유로이 구현할 수 있는 기하위상 홀로그램 (geometric phase hologram) 기반의 optical component에 대한 관심이 증대되고 있다. 특히 이를 이용해 제작된 기하위상 렌즈 (geometric phase lens)는 dynamic phase의 공간적 차이에 의해 구현되던 기존 bulk optics 기반의 lens 대비 초박형으로 제작이 가능한 파장 선택적 flat optics 기술로써, 다초점 및 경량화를 요구하는 차세대 디스플레이 기술 (augmented reality 또는 AR, mixed reality 또는 MR) 및 광파변조 및 제어를 요구하는 홀로그래픽 카메라 분야에 대한 응용처로 많은 주목을 받고 있다. 이에 본 논문에서는 해당 기하 위상렌즈에 대한 원리 및 이에 따른 개발이슈 및 해결법에 대해 연구 하였으며, 이에 대한 응용처로 기하위상 렌즈의 편광에 따른 이중초점특성을 이용해, 기존 단일 초점 형성이 가능한 AR기기 대비, 다초점 형성이 가능한 switchable dual-depth 3D AR device를 compact한 모듈과 함께 구현하였다. 또한, 기하위상렌즈의 광파 변조 및 분리특성을 이용한 기하위상 렌즈기반의 자가간섭 홀로그래픽 시스템(GP-self-interference incoherent digital holographic, GP-SIDH)에 편광 이미지센서 적용과 함께 맞춤형 설계/제작된 기하 위상렌즈를 적용함으로써, 기존 GP-SIDH 시스템대비 안정적으로 실시간 복소 홀로그램 획득이 가능한 실시간 공간영상정보 획득용 GP-SIDH을 동영상 프레임으로 구현하였다.

• Journal of Digital Contents Society
• /
• v.19 no.2
• /
• pp.309-318
• /
• 2018

We proposed a marketing plan for the performing arts venue using realistic contents(VR, AR, and MR). The venue is a place where the audience can experience the performance directly. The marketing plan of the performance venue is as follows. Firstly, it is a marketing strategy that utilizes an arrangement of venue seats. It is possible to predict for watching a performance at angle and sight in performance venue seats that audience want through VR. This allows the theatre seats to be experienced in advance with the VR contents inducing the reservation of the seats with a high sense of immersion. Secondly, it is a marketing using PR and AD of performing arts through MR in the space with a large transient population. It is possible to promote dynamic promotion utilizing the sense of the presence of performing arts compared with existing static promotion means. Thirdly, it is a marketing strategy that utilizes actor characters in performance. The audience could be interested in the performing arts in advance via a preview of the AR contents of the pamphlet. Fourthly, it is a way to communicate with customers directly by establishing a VR social network to manage venue members. This will help attract an audience to revitalize the theatre venue.

• Journal of the Korea Computer Graphics Society
• /
• v.24 no.4
• /
• pp.11-20
• /
• 2018

Applications about systems integration of sensors and virtual environments have been developed increasingly. Accordingly, there is a need for the ability to represent, control, and manage physical sensors directly in a 3D virtual environment. In this research, a method of representing physical sensor devices in a 3D virtual environment has been defined using mixed and augmented reality, including virtual and real worlds, where sensors and virtual objects co-exist. The research is intended to control and manage various physical sensors through data sharing and interchange between heterogeneous computing environments. In order to achieve this, general sensor types have been classified, and a sensor based 3D scene graph for representing the functions of sensors has been defined. In addition, a sensor data model has been defined using the scene graph. Finally, a sensor 3D viewer has been implemented based on the scene graph and the data model so as to simulate the functions of sensors in indoor and outdoor 3D environments.