Abstract
In this study, an augmented reality (AR) app that detects the screw-assembly state of a car valve-body and assists the assembly work is developed and the effectiveness of the app is shown through testing. The app creates the contents indicating the screw-assembly position and order, and the screw-assembly state. Then, the contents are registrated onto the valve-body image on a smart-phone screen to be shown to the worker during assembly. To this end, the features are extracted from the 2D image of the valve-body and the location of the valve-body is tracked. By extracting the areas where the screws are to be assembled, and periodically determining the luminance of these areas, it is checked whether the screws are assembled in order at the predetermined position of the valve-body. When an error is detected during assembly, a warning sound is notified to the worker, and the worker can check the assembly state on the smart-phone screen and handle the error, immediately. Study results found that it takes about 65 ms to detect the assembly state of the five screws, and the assembly state is detected without error for 1 hour.
본 연구에서는 자동차 밸브 바디 (valve body) 나사의 조립 상태를 검지하고 조립 작업을 보조하기 위한 증강현실 (AR) 앱을 개발하고 테스트를 통해 유효성을 보인다. 조립할 나사의 조립 위치와 순서 및 조립 상황들을 표시하는 컨텐츠들을 생성한 후 스마트 폰 화면의 밸브 바디 영상 위에 정합하여, 조립 도중에 작업자에게 보여준다. 이를 위해, 밸브 바디의 2차원 이미지로부터 특징 데이터를 추출하고 밸브 바디의 포즈를 알아낸다. 밸브 바디 위의 각 나사들이 조립될 영역의 영상을 추출하고 주기적으로 해당 영역의 휘도를 판별하며, 밸브 바디 위의 정해진 위치에 순서에 따라 각 나사들이 조립되고 있는 지를 확인한다. 미조립 또는 조립 순서 오류 등 조립 에러가 검지되면 경고 음이 발생되어, 작업자가 스마트 폰 화면에서 즉시 조립 상태를 확인하고 에러를 처리할 수 있다. 테스트를 통해 5개 나사의 조립 상태를 검지하는데 약 65ms가 걸리고 1시간 동안 오류 없이 조립 상태가 검지되는 것을 확인했다.