Journal of the Computational Structural Engineering Institute of Korea (한국전산구조공학회논문집)

Computational Structural Engineering Institute of Korea (한국전산구조공학회)
권호 표지
DOI QR코드

DOI QR Code

Dimensional Quality Assessment for Assembly Part of Prefabricated Steel Structures Using a Stereo Vision Sensor

스테레오 비전 센서 기반 프리팹 강구조물 조립부 형상 품질 평가

  • Jonghyeok Kim (Department of Civil and Environmental Engineering, Hanbat National University) ;
  • Haemin Jeon (Department of Civil and Environmental Engineering, Hanbat National University)
  • 김종혁 (한밭대학교 건설환경공학과 ) ;
  • 전해민 (한밭대학교 건설환경공학과 )
  • Received : 2024.03.19
  • Accepted : 2024.04.11
  • Published : 2024.06.30
Download PDF
⟨ Previous Next ⟩

Abstract

This study presents a technique for assessing the dimensional quality of assembly parts in Prefabricated Steel Structures (PSS) using a stereo vision sensor. The stereo vision system captures images and point cloud data of the assembly area, followed by applying image processing algorithms such as fuzzy-based edge detection and Hough transform-based circular bolt hole detection to identify bolt hole locations. The 3D center positions of each bolt hole are determined by correlating 3D real-world position information from depth images with the extracted bolt hole positions. Principal Component Analysis (PCA) is then employed to calculate coordinate axes for precise measurement of distances between bolt holes, even when the sensor and structure orientations differ. Bolt holes are sorted based on their 2D positions, and the distances between sorted bolt holes are calculated to assess the assembly part's dimensional quality. Comparison with actual drawing data confirms measurement accuracy with an absolute error of 1mm and a relative error within 4% based on median criteria.

본 논문에서는 스테레오 비전 센서를 이용한 프리팹 강구조물(PSS: Prefabricated Steel Structures)의 조립부 형상 품질 평가 기법을 소개한다. 스테레오 비전 센서를 통해 모형의 조립부 영상과 포인트 클라우드 데이터를 수집하였으며, 퍼지 기반 엣지 검출, 허프 변환 기반 원형의 볼트 홀 검출 등의 영상처리 알고리즘을 적용하여 조립부 영역의 볼트홀을 검출하였다. 영상 내 추출된 볼트홀 외곽선 위 세 점의 위치 정보에 대응되는 3차원 실세계 위치 정보를 깊이 영상으로부터 획득하였으며, 이를 기반으로 각 볼트홀의 3차원 중심 위치를 계산하였다. 통계적 기법 중 하나인 주성분 분석 알고리즘(PCA: Principal component analysis) 알고리즘을 적용함으로써 3차원 위치 정보를 대표하는 최적의 좌표축을 계산하였다. 이를 통해 센서의 설치 방향 및 위치에 따라 센서와 부재 간 평행이 아니더라도 안정적으로 볼트홀 간의 거리를 계측하도록 하였다. 각 볼트홀의 2차원 위치 정보를 기반으로 볼트홀의 순서를 정렬하였으며, 정렬된 볼트홀의 위치 정보를 바탕으로 인접한 볼트홀 간의 각 축의 거리 정보를 계산하여 조립부 볼트홀 위치 중심의 형상 품질을 분석하였다. 측정된 볼트홀 간의 거리 정보는 실제 도면의 거리 정보와의 절대오차와 상대오차를 계산하여 성능 비교를 진행하였으며, 중앙값 기준 1mm 내의 절대오차와 4% 이내의 상대오차의 계측 성능을 확인하였다.

Keywords

References

  1. Bang, H., Yu, B., Jeon, H. (2022) Assembly Performance Evaluation for Prefabricated Steel Structures Using k-nearest Neighbor and Vision Sensor, J. Comput. Struct. Eng. Inst. Korea, 35, pp.259~266.
  2. Bang, H., Yu, B., Jeon, H. (2023) Assembly Performance Evaluation Method for Prefabricated Steel Structures using Deep Learning and k-nearest Neighbors, Smart Struct. & Syst., An Int. J., 32(2), pp.111~121.
  3. Canny, J. (1986) A Computational approach to Edge Detection, IEEE Trans. Pattern Anal. & Mach. Intell., 8(6), pp.679~698.
  4. Cha, G., Park, S., Oh, T. (2019) A Terrestrial LiDAR-Based Detection of Shape Deformation for Maintenance of Bridge Structures, J. Construct. Eng. & Manag., 145(12), p.04019075.
  5. Chatzis, V., Pitas, I. (1997) Fuzzy Cell Hough Transform for Curve Detection, Pattern Recognit., 30(12), pp.2031~2042.
  6. Chen, S., Wu, J., Shi, J. (2020) A BIM Platform for the Manufacture of Prefabricated Steel Structure, Appl. Sci., 10(22), p.8038.
  7. Chiang, M.H., Lin, H.T., Hou, C.L. (2011) Development of a Stereo Vision Measurement System for a 3d three-axial Pneumatic Parallel Mechanism Robot Arm, Sens., 11(2), pp.2257~2281.
  8. Duda, R.O., Hart, P.E. (1972) Use of the Hough Transform to Detect Lines and Curves in Pictures, Commun. ACM, 15(1), pp.11~15.
  9. GeoSLAM Ltd., Available From: https://geoslam.com/solutions/zeb-horizon/ (accessed Mar., 13, 2024)
  10. Khoshelham, K., Elberink, S.O. (2012) Accuracy and Resolution of Kinect Depth Data for Indoor Mapping Applications, Sens., 12(2), pp.1437~1454.
  11. Kim, M.K., Cheng, J.C., Sohn, H., Chang, C.C. (2015) A Framework for Dimensional and Surface Quality Assessment of Precast Concrete Elements using BIM and 3D Laser Scanning, Autom. Constr., 49, pp.225~238.
  12. Lee, D., Nie, G.Y., Han, K. (2023) Vision-based Inspection of Prefabricated Components using Camera Poses: Addressing Inherent Limitations of Image-based 3D Reconstruction, J. Build. Eng., 64, p.105710.
  13. Lloyd, S.P. (1982) Least Squares Quantization in PCM, IEEE Trans. Inform. Theory, 28(2), pp.129~137.
  14. MacQueen, J.B. (1967) Some Methods for Classification and Analysis of Multivariate Observations, Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability, 1(14).
  15. Ministry of Land, Infrastructure and Transport (MOLIT) (2016a) Korean Steel Construction Specification, MOLIT, Seoul, South Korea (in Korean).
  16. Ministry of Land, Infrastructure and Transport (MOLIT) (2016b) Korean Highway Bridge Design Code (Limit State Design), MOLIT, Seoul, South Korea (in Korean).
  17. RIEGL Inc., Available From: http://www.riegl.com/nc/products/terrestrial-scanning/produktdetail/product/scanner/33 (accessed Mar., 13, 2024)
  18. Sanguansat, P. (2012) Principal Component Analysis, BoD-Books on Demand, 2012, ISBN: 978-953-51-0129-1.
  19. Seo, W.S., Choi, B.J., Shin, D.Y., Kim, J.Y. (2023) Development of a Quality Management System for Precast Concrete Factories, J. Civil Eng. & Manag., 29(5), pp.475~486.
  20. StereoLabs Inc., Available From: https://www.stereolabs.com/products/zed-2 (accessed Mar., 13, 2024)
  21. Vasil'ev, P. (1995) Ultrafast Diode Lasers: Fundamentals and Applications, Artech House Publishers, USA., ISBN: 10: 0890067368, 320.
  22. Wang, R., Wang, Y., Devadiga, S., Perkins, I., Kong, Z.J., Yue, X. (2021) Structured-Light Three-Dimensional Scanning for Process Monitoring and Quality Control in Precast Concrete Production, PCI J., 66(6). pp.17~32.
  23. Wang, Z., Wang, T., Hu, H., Gong, J., Ren, X., Xiao, Q. (2020) Blockchain-based Framework for Improving Supply Chain Traceability and Information Sharing in Precast Construction, Autom. Constr., 111, p.103063.