• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제4권4호
• /
• pp.618-632
• /
• 2010

This paper presents a novel approach to control the augmented reality (AR) objects robustly in a marker-less AR system by fingertip tracking and hand pattern recognition. It is known that one of the promising ways to develop a marker-less AR system is using human's body such as hand or face for replacing traditional fiducial markers. This paper introduces a real-time method to manipulate the overlaid virtual objects dynamically in a marker-less AR system using both hands with a single camera. The left bare hand is considered as a virtual marker in the marker-less AR system and the right hand is used as a hand mouse. To build the marker-less system, we utilize a skin-color model for hand shape detection and curvature-based fingertip detection from an input video image. Using the detected fingertips the camera pose are estimated to overlay virtual objects on the hand coordinate system. In order to manipulate the virtual objects rendered on the marker-less AR system dynamically, a vision-based hand control interface, which exploits the fingertip tracking for the movement of the objects and pattern matching for the hand command initiation, is developed. From the experiments, we can prove that the proposed and developed system can control the objects dynamically in a convenient fashion.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2017년도 춘계학술대회
• /
• pp.297-299
• /
• 2017

최근 증강 현실(AR)의 응용분야가 급증하고 관련 콘텐츠 또한 수요가 증대되고 있다. 이와 같이 모바일 환경에서 AR 콘텐츠의 서비스를 위해서는 오브젝트 기반의 마커 인식 기능이 필요하다. 이때 마커에 대응하는 정보를 제공하기 위해 특정 마커에 대응하는 가상 오브젝트를 생성하여 서비스하는 기법을 사용한다. 그러나 마커에 대응하는 가상의 오브젝트를 AR 화면상에 유지할 때 카메라의 떨림, 카메라의 이동 등의 다양한 이유로 마커의 오브젝트가 불안정하게 흔들리는 현상이 발생된다. 이와 같이 모바일 디바이스 기반의 AR 서비스는 안정적으로 오브젝트를 표현하기 어렵다는 문제점을 갖는다. 본 논문에서는 모바일 AR 환경에서 고정된 마커를 인식했을 때, 디바이스의 물리적 상태 변화에 대응하는 필터링 방법을 적용하여 안정적인 마커 인식 및 추적 기법을 제안한다.

• Journal of information and communication convergence engineering
• /
• 제20권1호
• /
• pp.65-72
• /
• 2022

With the mark of the fourth industrial revolution, the smart factory is evolving into a new future manufacturing plant. As a human-machine-interactive tool, augmented reality (AR) helps workers acquire the proficiency needed in smart factories. The valuable data displayed on the AR device must be delivered intuitively to users. Current AR applications used in smart factories lack user movement calibration, and visual fiducial markers for position correction are detected only nearby. This paper demonstrates a marker-based object detection using perspective projection to adjust augmented content while maintaining the user's original perspective with displacement. A new angle, location, and scaling values for the AR content can be calculated by comparing equivalent marker positions in two images. Two experiments were conducted to verify the implementation of the algorithm and its practicality in the smart factory. The markers were well-detected in both experiments, and the applicability in smart factories was verified by presenting appropriate displacement values for AR contents according to various movements.

• 한국CDE학회논문집
• /
• 제18권5호
• /
• pp.374-383
• /
• 2013

Various interaction techniques have been studied for providing the feeling of touch and improve immersion in augmented reality (AR) environments. Tangible AR interaction exploiting two types (product-type and pointer-type) of simple objects has earned great interest for cost-effective design evaluation of digital handheld products. When the sizes of markers attached to the objects are kept big to obtain better marker recognition, the pointer-type object frequently and significantly occludes the product-type object, which deteriorates natural visualization and level of immersion in an AR environment. In this paper, in order to overcome such problems, we propose tangible AR interaction using fingertip touch combined with small-sized markers. The proposed approach facilitates the use of convex polygons to recover the boundaries of AR markers which are partially occluded. It also properly enlarges the pattern area of each AR marker to reduce the sizes of AR markers without sacrificing the quality of marker detection. We empirically verified the quality of the proposed approach, and applied it in the process of design evaluation of digital products. From experimental results, we found that the approach is comparably accurate enough to be applied to the design evaluation process and tangible enough to provide a pseudo feeling of manipulating virtual products with human hands.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2017년도 춘계학술대회
• /
• pp.288-290
• /
• 2017

최근 증강 현실(AR)의 응용분야로 AR 콘텐츠의 관심과 수요가 증가하고 있다. 일반적으로 실외환경에서 AR 콘텐츠를 서비스할 때 AR 스크린 위에 오브젝트의 표출을 제어하기 위해 GPS 신호를 이용한 위치 정보를 사용하거나 사물의 이미지를 기반으로 하는 마커를 사용한다. 그러나 실내 환경에서의 경우 위치 정보를 이용할 수 없다는 문제점이 있다. 만약 마커만을 이용하여 서비스를 제공하는 경우 주변의 이동하는 장애물로 인한 마커의 인식이 불안정하다는 문제점 또한 갖는다. 그리고 AR 스크린 상에 표시되는 정보가 특정 위치에 고정 상태로 표시되는 것이 아닌 카메라의 이동에 따라 이동한다는 문제점을 갖는다. 본 논문에서는 iBeacon을 이용하여 실내 위치 인식과 특정 마커를 이용하여 AR 스크린에 표출될 객체를 정확한 위치에 나타내기 위한 오브젝트 제어 방법에 대해 연구하였다.

• 한국멀티미디어학회논문지
• /
• 제24권6호
• /
• pp.753-759
• /
• 2021

During tensile test, tensile strain of tensile tester is measured by movement distance of upper zig and initial specimen's length. Conventional tensile tester program obtains the tensile strain after the end of the test, however the method is not appropriate in real time because the results are calculated until the test is finished. We suggest a real-time measurement system of tensile strain using ArUco Marker in OpenCV library. The system is designed to detect marker attached on the upper zig and calculate specimen's tensile strain. According to comparison of the calculated data and the results of the tester, errors approximately showed 0.128 mm on 3840×2160 video resolution.

• 한국CDE학회논문집
• /
• 제16권5호
• /
• pp.361-369
• /
• 2011

As smartphones came into wide use recently, it has become increasingly popular not only among young people, but middle-aged people as well. Most smartphones use capacitive full touch screen, so touch commands are made by fingers unlike the PDAs in the past that use touch pens. In this case, a significant portion of the smartphone's screen is blocked by the finger so it is impossible to see the screens around the finger touching the screen, and difficulty occurs in precise control used for small buttons such as qwerty keyboard. To solve this problem, this research proposes a method of using simple AR markers to improve the interface of smartphones. Sticker-form marker is attached to fingernails and placed in front of the smartphone camera Then, the camera image of the marker is analyzed to determine the orientation of the marker to perceive as onRelease() or onPress() of the mouse depending on the marker's angle of rotation, and use its position as the position of the mouse cursor. This method can enable click, double-click, drag-and-drop used in PCs as well as touch, slide, long-touch-input in smartphones. Through this research, smartphone inputs can be made more precise and simple, and show the possibility of the application of a new concept of smartphone interface.

• 융합정보논문지
• /
• 제12권1호
• /
• pp.1-6
• /
• 2022

증강현실 기술이 보편화됨에 따라 마커 기반형 AR 콘텐츠들이 다양하게 적용되고 있지만, 마커 인식이 정상적으로 이루어지지 않아 콘텐츠 활용성이 저하되는 문제점이 있다. 본 논문은 증강현실 마커 이미지의 인식률을 높이고자, 이미지 보정 및 디자인 변화를 적용하였을 경우 마커의 인식률이 어느 정도 향상될 수 있는지를 실험을 통하여 분석하였다. 실험결과 이미지 보정 과정에서는 원본 마커 이미지의 대비, 채도값을 높였을 때 특징점이 더 많이 판별되었으며, 인식등급 또한 향상된 것을 확인할 수 있었다. 게다가 원본 마커 이미지에 규칙적인 패턴 디자인을 추가하였을 때에도 인식률이 향상된 것을 알 수 있었다. 결론적으로 마커 이미지를 제작하는 과정에서 이미지의 적절한 보정 및 패턴 디자인의 추가과정을 통하여 마커가 잘 인식되도록 할 수 있었다.

• ETRI Journal
• /
• 제35권6호
• /
• pp.1048-1057
• /
• 2013

In recent years, augmented reality (AR) technologies have been the subject of great interest among many communities. In education applications, old-fashioned materials (or textbooks) are still used, despite remarkable AR developments in the industrial area. We present an AR system for education. Our system consists of an authoring tool that can be used to create educational content, a viewer that plays that content, and an engine to manage the tool and viewer. In our system, a marker unit recognizes a marker printed on a plane or a cubic plane by adaptively adjusting the threshold to have an excellent recognition rate in diverse environments and acquires corresponding data of the marker. Based on the system, we test 142 elementary school students for increased educational benefits using our system.

• 한국전자통신학회논문지
• /
• 제17권6호
• /
• pp.1275-1282
• /
• 2022

본 연구에서는 AR글래스를 활용한 실시간 캐릭터 트래킹을 개발한다. 실시간 캐릭터 네비게이션은 특정하지 않은 공간을 가상 캐릭터가 이동하면서 안내를 해야 해서 일반적인 마커 기반 AR로는 불가능하다. 이를 대체하기 위해서 디지털 트윈 기술을 기반으로 하는 마커리스 AR 시스템을 개발하였다. 기존 마커리스 AR은 GPS, 비컨 등의 하드웨어를 기반으로 운영되기 때문에 위치에 대한 정확도가 낮고 시스템에서 처리하는 시간이 길어져 실시간 AR 환경에서는 신뢰도가 낮은 문제가 발생한다. 이러한 문제점을 해결하기 위해 SLAM 기법을 활용하여 공간을 3D 개체로 구성하고, 디지털 트윈 기반의 마커리스 AR을 구성함으로써 실시간 AR 환경에서 별도의 하드웨어 개입 없이 AR 구현이 가능하게 된다. 이러한 실시간 AR 환경 구성은 여수박람회, 순천시 잡월드, 순천만 정원박람회 등 관광지에서 캐릭터를 이용한 트래킹 시스템을 구현을 가능하게 하였다.