• Journal of Broadcast Engineering
• /
• v.27 no.3
• /
• pp.341-350
• /
• 2022

In this paper, we propose a deep learning based on-device augmented reality (AR) system in which multiple input images are used to implement the correct occlusion in a real environment. The proposed system is composed of three technical steps; camera pose estimation, depth estimation, and object augmentation. Each step employs various mobile frameworks to optimize the processing on the on-device environment. Firstly, in the camera pose estimation stage, the massive computation involved in feature extraction is parallelized using OpenCL which is the GPU parallelization framework. Next, in depth estimation, monocular and multiple image-based depth image inference is accelerated using the mobile deep learning framework, i.e. TensorFlow Lite. Finally, object augmentation and occlusion handling are performed on the OpenGL ES mobile graphics framework. The proposed augmented reality system is implemented as an application in the Android environment. We evaluate the performance of the proposed system in terms of augmentation accuracy and the processing time in the mobile as well as PC environments.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.169-174
• /
• 2006

본 논문에서는 Video see-through HMD 에 기반 하여 증강 현실을 위한 손 인터페이스를 제안한다. 착용형 컴퓨터의 입력 장치로써 Video see-through HMD 에 부착된 USB 카메라로부터 영상을 입력 받은 후, HSV 컬러 공간에서 탐색 윈도우 안의 개체를 이중 임계 값을 이용해 손과 팔이 포함된 객체로 분리한다. 그 다음 거리 변형 행렬을 이용하여 손과 팔을 분리하고, 볼록 다각형 외각점 추출을 통해 손 끝의 좌표를 검출한다. 이를 기반으로 한 어플리케이션 "AR-Memo"은 현실세계에서 손끝에 가상의 펜을 증강하여 메모를 하고 이동중에 손바닥을 통해 메모를 볼 수 있다. 증강 현실 기반 손 인터페이스를 사용함으로써 사용자는 이동중에도 직관적으로 입력을 할 수 있다. 또한 어떠한 물리적인 장치나 마커를 손에 부착하지 않기 때문에 자연스러운 인터페이스이다. 본 시스템은 착용형 컴퓨터와 결합되어 사용자에게 편리한 인터페이스를 제공할 수 있을 것으로 기대된다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.06a
• /
• pp.75-76
• /
• 2014

증강 현실(Augmented Reality)은 현실 세계에 어떤 부가 정보가 덧붙여진 현실이다. 증강 현실 응용은 주로 스마트폰에 내장된 카메라를 통해 실시간으로 입력받은 이미지 정보를 분석하거나, GPS 정보, 전자 나침반 정보 등을 이용해서 증강 현실응용에 맞는 부가 정보를 입력받은 영상 위에 덧붙여서 구현한다. 하지만 다양한 회사에서 각자의 방식대로 증강 현실 응용을 구현하기 때문에, 개별적으로 구현된 증강 현실 시스템은 서로 호환이 되지 않고 이는 증강 현실 산업의 발전을 막는 걸림돌이 되고 있다. 이러한 문제점을 해결하고 관련 산업의 활성화를 꾀하고자 JPEG 기반 증강 현실 시스템을 제안하였고, 이 제안은 최근 ISO/IEC JTC1 SC29 WG1(JPEG) 표준화 단체에서 받아들여져 ISO/IEC 19710(JPEG AR) 표준화가 시작되었다.

• Proceedings of the KIEE Conference
• /
• 2008.10b
• /
• pp.505-506
• /
• 2008

Motion capture system that is used in movies and games today requires large equipments and expensive that it is still not common as a reasonable family game. Therefore, this research project focused on solving these problems mentioned above and move on to develop a new type of approach and by using reasonable family use USB camera and augmented reality to develop a bodily sensation motion capture system which can be used in making a video game. In order to develop this, I used a pair of Marker which can be placed on both hands and one USB camera and the image that was extracted in real time goes through the AR toolkit and ed the 3D coordinates of data and developed a motion capture system.

• Proceedings of the KIEE Conference
• /
• 2009.07a
• /
• pp.1911_1912
• /
• 2009

본 논문에서는 증강현실(Augmented Reality, 이하 AR)을 이용한 PLC 기술교육 시스템을 제안하였다. 제안된 시스템은 PLC 기술 교육 과정을 교사의 지도없이 교육생 스스로가 습득할 때까지 반복 실습이 가능한 시스템이다. 또한, 제안된 시스템은 기초적인 내용의 실습을 3단계로 구성하여 제공함으로써, 각 실습단계의 장비 사용법과 배선 방법이 포함된 교육 내용을 교육생이 자유롭게 실습하도록 하였다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.636-642
• /
• 2007

산업 전반에 적용되는 과학, 공학 분야에는 그 목적에 따라 다양한 형태의 정보가 발생한다. 정보는 이용하는 목적에 따란 가공하는 형식과 표현하는 방식이 달라지며, 정보에 직접적으로 접근하는 사용자에게 어떻게 효과적으로 전달할 것인가 하는 문제는 정보 관리 분야에서 매우 중요한 이슈가 되고 있다. 정보를 사용자에게 보다 명확하게 전달하고, 관리하기 위해서는 원천 데이터를 가공하여 가시화(visualization)하는 과정을 거친다. 정보가시화는 원천데이터를 데이터모델로 정리한 후, 가시화구조(visual structure)로 재정의 한다. 실질적인 가시적 결과는 가시화 구조의 데이터들을 정보모델(information model)상에 반영할 때 이루어진다. 본 논문에서는 건물내부에서 진행되는 행사에 대한 시간-공간적인 정보를 정리한 도표 메타포(table metaphor)를 초기 데이터 모델로 사용하여 가시화 하는 과정을 수행한다. 정보 가시화 과정과 저작 과정은 증강현실(augmented reality) 환경에서 이루어진다. 행사가 진행되는 장소의 건물 구조도(map)상에서 각 장소에서 발생하는 정보들을 재배열하고 정리함으로써, 저작자로 하여금 정보 그 자체에 대한 이해뿐만이 아니라, 해당 정보에 대한 공간적인 이해도 함께 가능하게 한다. 이 같은 몰입형(immersive) 저작시스템은 정보에 대한 공간적인 분배가 필요한 저작에서는 매우 유용하며, 저작하는 환경 자체가 가시화의 결과물이 되므로 정보 저작에 대한 가시적 이해를 최대화 시킬 수 있다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2011.05a
• /
• pp.611-614
• /
• 2011

최근 멀티미디어 기술의 발달, 특히 음향 기술의 급격한 발달과 더불어 고품질 오디오에 대한 요구와 함께보다 현실감 있는 오디오를 재생하기 위한 실감 오디오기술 개발이 요구되고 있다. 이러한 요구를 만족시키기 위해 사용자의 가상현실 및 증강현실에서 실감나는 오디오 효과를 제공해 줄 수 있는 3차원 오디오에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 증강현실에서 좀 더 나은 오디오 기술을 적용하여 실감나는 오디오 효과를 제공해 줄 수 있는 방법을 연구하고자 하였다. 연구한 내용은 가상세계와 실제세계의 현실감을 제공하기 위하여 마커 위에 띄워진 3D 모델의 움직임에 따라서 움직임에 맞는 사운드. 즉, 거리, 각도 등의 변화에 따른 사운드의 크기 및 피치 변화를 줄 수 있도록 하였다.

• Journal of Positioning, Navigation, and Timing
• /
• v.5 no.3
• /
• pp.119-129
• /
• 2016

This paper presents an integrated navigation system for accurate navigation solution-based safety and convenience services in the vehicular augmented reality (AR)-head up display (HUD) system. For lane-level guidance service, especially, an accurate navigation system is essential. To achieve this, an inertial navigation system (INS)/global positioning system (GPS)/vision/digital map (IGVM) integrated navigation system has been developing. In this paper, the concept of the integrated navigation system is introduced and is implemented based on a multi-model switching filter and vehicle status decided by using the GPS data and inertial measurement unit (IMU) measurements. The performance of the implemented navigation system is verified experimentally.

• Proceedings of the Computational Structural Engineering Institute Conference
• /
• 2007.04a
• /
• pp.731-736
• /
• 2007

Ubiquitous computing is a model of computing in which computer functions are integrated into everyday life, providing services and information in anywhere and anytime fashion. Augmented Reality is one of ubiquitous computing technologies to provide new paradigm utilized to interact between human and computer. By adding computer-generated non-visual information to real information and their interaction. user can get the improved and more knowledgeable information about real world. The purpose of this paper is the integration of AR and knowledge-base reasoning technology in ubiquitous computing. Through the introduced concept, it is enable to provide adequate knowledge in the process of ship design and manufacturing easily (Knowledge Everywhere). That is, this is a basic research to construct knowledge-based ubiquitous environment (KAD/KAM) in shipbuilding industry.

• Annual Conference of KIPS
• /
• 2016.04a
• /
• pp.16-17
• /
• 2016

주로 방범용으로 사용하는 폐쇄회로 TV(CCTV : Closed Circuit Television)는 범죄 발생 시 범인검거와 증거 확보에 유용하게 사용된다. 하지만 CCTV는 지형지물로 인해 영상 확보가 어려운 영역, 즉 사각지대가 존재하는 문제점이 있다. 본 논문에서는 이를 해결하기 위해 증강현실(AR : Augmented Reality)을 이용하여 CCTV 카메라의 방향을 주기적으로 변경한다. 변경된 카메라의 방향에서 확보한 영상으로, 기존 CCTV와 달리 보다 넓은 반경의 영상을 확보하여, 모니터링할 수 있는 장점이 있다.