KIPS Transactions on Software and Data Engineering (정보처리학회논문지:소프트웨어 및 데이터공학)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Grasping a Target Object in Clutter with an Anthropomorphic Robot Hand via RGB-D Vision Intelligence, Target Path Planning and Deep Reinforcement Learning

RGB-D 환경인식 시각 지능, 목표 사물 경로 탐색 및 심층 강화학습에 기반한 사람형 로봇손의 목표 사물 파지

  • 류가현 (경희대학교 전자정보융합공학과) ;
  • 오지헌 (경희대학교 전자정보융합공학과) ;
  • 정진균 (경희대학교 전자정보융합공학과) ;
  • 정환석 (경희대학교 전자정보융합공학과) ;
  • 이진혁 (경희대학교 전자정보융합공학과) ;
  • ;
  • 김태성 (경희대학교 생체의공학과 및 전자정보융합공학과)
  • Received : 2021.11.01
  • Accepted : 2022.02.20
  • Published : 2022.09.30
Download PDF
⟨ Previous Next ⟩

Abstract

Grasping a target object among clutter objects without collision requires machine intelligence. Machine intelligence includes environment recognition, target & obstacle recognition, collision-free path planning, and object grasping intelligence of robot hands. In this work, we implement such system in simulation and hardware to grasp a target object without collision. We use a RGB-D image sensor to recognize the environment and objects. Various path-finding algorithms been implemented and tested to find collision-free paths. Finally for an anthropomorphic robot hand, object grasping intelligence is learned through deep reinforcement learning. In our simulation environment, grasping a target out of five clutter objects, showed an average success rate of 78.8%and a collision rate of 34% without path planning. Whereas our system combined with path planning showed an average success rate of 94% and an average collision rate of 20%. In our hardware environment grasping a target out of three clutter objects showed an average success rate of 30% and a collision rate of 97% without path planning whereas our system combined with path planning showed an average success rate of 90% and an average collision rate of 23%. Our results show that grasping a target object in clutter is feasible with vision intelligence, path planning, and deep RL.

다중 사물 환경에서 목표 사물만의 정밀한 파지를 위해서는 장애물과의 충돌 회피 지능과 정교한 파지 지능이 필요하다. 이 작업을 위해선 다중 사물 환경 인지, 목표 사물 인식, 경로 설정, 로봇손의 사물 파지 지능이 필요하다. 본 연구에서는 RGB-D 영상 센서를 이용하여 다중 사물 환경과 사물을 인지하고 3D 공간을 매핑한 후, 충돌 회피 경로 탐색 알고리즘을 활용하여 목표 사물까지의 경로를 탐색 및 설정하고, 강화학습을 통해 학습된 사람형 로봇손의 목표 사물 파지 지능을 활용해 최종적으로 시뮬레이션 및 하드웨어 사물 파지 시스템을 구현하고 검증하였다. 사람형 로봇손을 구현한 시뮬레이션 환경에서 5개의 사물 중 목표 사물을 지정하고 파지한 결과 경로 탐색 없는 파지 시스템이 평균 78.8%의 성공률과 34%의 충돌률을 보일 때, 경로 탐색 지능과 결합된 시스템은 평균 94%의 성공률과 평균 20%의 충돌률을 보였다. UR3와 QB-Soft Hand를 사용한 하드웨어 환경에서는 3개의 사물 중 목표 사물을 지정하고 파지한 결과 경로 탐색 없는 파지 시스템이 평균 30%의 성공률과 97%의 충돌률을 보일 때, 경로 탐색 지능과 결합된 시스템은 평균 90%의 성공률과 평균 23%의 충돌률을 보였다. 본 연구에서는 RGB-D 시각 지능, 충돌 회피 경로 탐색, 사물 파지 심층 강화학습 지능의 결합을 통하여, 사람형 로봇손의 목표 사물 파지가 가능함을 제시하였다.

Keywords

Acknowledgement

이 논문은 2019년도 정부(교육과학기술부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(2019R1A2C1003713). 본 연구는 과학기술정보통신부 및 정보통신기획평가원의 디지털콘텐츠원천기술개발사업의 연구결과로 수행되었음(IITP-2017-0-00655).

References

  1. D. Katz, M. Kazemi, J. A. Bagnell, and A. Stentz, "Clearing a pile of unknown objects using interactive perception," 2013 IEEE International Conference on Robotics and Automation, IEEE, pp.154-161, 2013.
  2. S. Q. Ji, M. B. Huang, and H. P. Huang, "Robot intelligent grasp of unknown objects based on multi-sensor information," Sensors, Vol.19, No.7, pp.1595, 2019.
  3. J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, "You only look once: Unified, real-time object detection," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.779-788, 2016.
  4. S. Ren, K. He, R. Girshick, and J. Sun, "Faster r-cnn: Towards real-time object detection with region proposal networks," Advances in Neural Information Processing Systems, Vol.28, pp.91-99, 2015.
  5. K. He, G. Gkioxari, P. Dollar, and R. Girshick, "Mask r-cnn," Proceedings of the IEEE International Conference on Computer Vision, pp.2961-2969, 2017.
  6. W. Agnew et al., "Amodal 3d reconstruction for robotic manipulation via stability and connectivity," Conference on Robot Learning, PMLR, pp.1498-1508, 2021.
  7. G. Sanchez and J. C. Latombe, "On delaying collision checking in PRM planning: Application to multi-robot coordi- nation," The International Journal of Robotics Research, Vol.21, No.1, pp.5-26, 2002. https://doi.org/10.1177/027836402320556458
  8. B. Fu et al., "An improved A* algorithm for the industrial robot path planning with high success rate and short length," Robotics and Autonomous Systems, Vol.106, pp.26-37, 2018. https://doi.org/10.1016/j.robot.2018.04.007
  9. N. H. Park, J. H. Oh, G. H. Ryu, P. R. Lopez, E. V. Anazco, and T. S. Kim, "Evaluation of human demonstration augmented deep reinforcement learning policies via object manipulation with an anthropomorphic robot hand," KIPS Transactions on Software and Data Engineering, Vol.10, No.5, pp.179-186, 2021. https://doi.org/10.3745/KTSDE.2021.10.5.179
  10. E. V. Anazco et al., "Natural object manipulation using anthropomorphic robotic hand through deep reinforcement learning and deep grasping probability network," Applied Intelligence, Vol.51, No.2, pp.1041-1055, 2021. https://doi.org/10.1007/s10489-020-01870-6
  11. E. V. Anazco et al., "Human-like object grasping and relocation for an anthropomorphic robotic hand with natural hand pose priors in deep reinforcement learning," Proceedings of the 2019 2nd International Conference on Robot Systems and Applications, pp.46-50, 2019.
  12. A. Saxena, L. Wong, M. Quigley, and A. Y. Ng, "A vision-based system for grasping novel objects in cluttered environments," Robotics Research, pp.337-348, 2010.
  13. Y. R. Liu, M. B. Huang, and H. P. Huang, "Automated grasp planning and path planning for a robot hand-arm system," 2019 IEEE/SICE International Symposium on System Integration. SII), IEEE, pp.92-97, 2019.
  14. M. Breyer, J. J. Chung, L. Ott, R. Siegwart, and J. Nieto, "Volumetric grasping network: Real-time 6 dof grasp detection in clutter," arXiv preprint arXiv:2101.01132, 2021.
  15. E. Todorov, T. Erez, and Y. Tassa, "Mujoco: A physics engine for model-based control," 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems. Vilamoua, pp.5026-5033, 2012.
  16. V. Kumar, Z. Xu, and E. Todorov, "Fast, strong and compliant pneumatic actuation for dexterous tendon-driven hands," 2013 IEEE International Conference on Robotics and Automation, Karlsruhe, pp.1512-1519, 2013.
  17. L. Yang, J. Qi, D. Song, J. Xiao, J. Han, and Y. Xia, "Survey of robot 3D path planning algorithms," Journal of Control Science and Engineering, 2016. 2016.
  18. P. E. Hart, Nilsson J. Nilsson, and B. Raphael, "A formal basis for the heuristic determination of minimum cost paths," IEEE transactions on Systems Science and Cybernetics, Vol.4, No.2, pp.100-107, 1968. https://doi.org/10.1109/TSSC.1968.300136
  19. Dennis de Champeaux, "Bidirectional heuristic search again," Journal of the ACM (JACM), Vol.30, No.1, pp.22-32, 1983. https://doi.org/10.1145/322358.322360
  20. S. M. LaValle, "Rapidly-exploring random trees: A new tool for path planning," pp.98-11, 1998.
  21. J. Bruce and M. M. Veloso, "Real-time randomized path planning for robot navigation," In: Robot Soccer World Cup., pp.288-295, 2002.
  22. J. J. Kuffner and S. M. LaValle, "RRT-connect: An efficient approach to single-query path planning," Proceedings 2000 ICRA. Millennium Conference. IEEE International Conference on Robotics and Automation. Symposia Proceedings (Cat. No. 00CH37065), Vol.2, IEEE, pp.995-1001, 2000.
  23. S. M. Kakade, "A natural policy gradient," Advances in Neural Information Processing Systems, Vol.14, pp.1531-1538, 2001.
  24. UR3e Collaborate Robot Arm that Automates Almost Anything [Internet], https://www.universal-robots.com/products/ur3-robot/
  25. qb SoftHand Research - Anthropomorphic Robot Hand-Qbrobotics [Internet], https://qbrobotics.com/products/qb-softhand-research/
  26. Mask R-CNN, (2021), GitHub Ropository [Internet], https://github.com/matterport/Mask_RCNN