Journal of the Institute of Electronics and Information Engineers (전자공학회논문지)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지
DOI QR코드

DOI QR Code

A Framework of Recognition and Tracking for Underwater Objects based on Sonar Images : Part 2. Design and Implementation of Realtime Framework using Probabilistic Candidate Selection

소나 영상 기반의 수중 물체 인식과 추종을 위한 구조 : Part 2. 확률적 후보 선택을 통한 실시간 프레임워크의 설계 및 구현

  • 이영준 (한국해양과학기술원(부설) 선박해양플랜트연구소) ;
  • 김태균 (한국해양과학기술원(부설) 선박해양플랜트연구소) ;
  • 이지홍 (충남대학교 메카트로닉스공학과) ;
  • 최현택 (한국해양과학기술원(부설) 선박해양플랜트연구소)
  • Received : 2013.12.10
  • Published : 2014.03.25
Download PDF
⟨ Previous Next ⟩

Abstract

In underwater robotics, vision would be a key element for recognition in underwater environments. However, due to turbidity an underwater optical camera is rarely available. An underwater imaging sonar, as an alternative, delivers low quality sonar images which are not stable and accurate enough to find out natural objects by image processing. For this, artificial landmarks based on the characteristics of ultrasonic waves and their recognition method by a shape matrix transformation were proposed and were proven in Part 1. But, this is not working properly in undulating and dynamically noisy sea-bottom. To solve this, we propose a framework providing a selection phase of likelihood candidates, a selection phase for final candidates, recognition phase and tracking phase in sequence images, where a particle filter based selection mechanism to eliminate fake candidates and a mean shift based tracking algorithm are also proposed. All 4 steps are running in parallel and real-time processing. The proposed framework is flexible to add and to modify internal algorithms. A pool test and sea trial are carried out to prove the performance, and detail analysis of experimental results are done. Information is obtained from tracking phase such as relative distance, bearing will be expected to be used for control and navigation of underwater robots.

수중 로봇 분야에서 수중 환경 인식은 매우 중요하나, 탁도 등의 제약으로 인하여 수중 광학 카메라의 사용은 제한적이다. 대안으로 기대하는 수중 영상 소나의 경우, 소나 영상의 품질이 영상 처리에 의해 자연물을 그대로 인식하기에 충분히 안정적이며 정확하지 못하다. 이를 극복하고자 본 논문의 Part 1에서 초음파의 특징을 고려한 인공 표식을 제안하였으며, 형상 행렬 기반의 인식 방법을 함께 제안하고 검증하였다. 그러나 실제 해양 환경은 복잡하고 동적인 잡음 요소가 많다. 이러한 문제를 추가로 해결하기위해 본 논문의 Part 2에서는 연속되는 소나 영상에서 확률적으로 인식 후보를 선별하여 인식하고, 추적하는 프레임워크를 제안한다. 이 프레임워크는 4단계, 즉 유사도 기반 관심 후보의 선정, 확률 기반 최종 후보의 선정, 선정된 후보의 인식, 그리고 인식된 물체의 추적으로 구성되어 있다. 이러한 4단계의 구조가 병렬로 처리되어 실시간 처리가 가능하며 인식 대상체의 변경이나 알고리즘의 보강을 위한 유연한 구조를 가진다. 제안한 프레임워크를 구성하는 파티클 필터 기반의 후보 선별 알고리즘과 평균-이동 (mean-shift) 기법에 의한 추적 방법을 함께 제안하였다. 수조 실험과 실해역 실험을 수행을 통하여 성능을 검증하였으며 결과에 대한 상세한 분석을 수행하였다. 인공 표식의 추적에서 얻어진 상대거리, 방향 등의 정보는 수중 로봇의 제어와 항법을 위해 사용될 것으로 기대하고 있다.

Keywords

References

  1. S. C. Yu, A. Akira, S. Weatherwax, B. Collins, and J. K. Yuh, "Development of high-resolution acoustic camera based real-time object recognition system by using autonomous underwater vehicle," in Proc. IEEE Oceans, pp.1-6, Boston, USA, Sep 2006.
  2. S. L. Maxwell, and N. E. Gove, "The Feasibility of estimating migrating salmon passage rates in turbid rivers using a dual frequency identification sonar (DIDSON)," Alaska Department of Fish and Game Regional Information Report, Mar 2004.
  3. S. C. Yu, "Development of real-time acoustic image recognition system using by autonomous marine vehicle," Journal of ocean engineering, Vol. 25, No. 1, pp.90-105, Jan 2008.
  4. L. N. Brisson, P. P. Beaujean, and S. Negahdaripour, "Multiple-aspect Fixed Range Template Matching for the detection and classification of underwater unexploded ordnance in DIDSON sonar images," in Proc. IEEE Oceans, 20-23 Sept. 2010.
  5. Y. Lee and HT. Choi, "A comparative study on feature extraction methods for environment recognition using underwater acoustic image," in Proc. The 8th Korea Robotics Society Annual Conference, pp.549-552, South korea, May 2013.
  6. Y. Lee, KM. Han and HT. Choi, "Design and implementation of artificial landmark for underwater acoustic camera," in Proc. Information and control symposium, pp.215-216, Seoul, South korea, Sep 2012.
  7. Y. Lee, JH. Lee and HT. Choi, "A Framework of Recognition and Tracking for Underwater Objects based on Sonar Images : Part 1. Design and Recognition of Artificial Landmark considering Characteristics of Sonar Images," Journal of the Institute of Electronics and Information Engineers on System and Control, vol. 52, no. 2, Feb 2014. https://doi.org/10.5573/ieie.2014.51.2.182
  8. H. Rhody, "Lecture 10: Hough Circle Transform," Chester F. Carlson Center for Imaging Science, Rochester Institute of Technology, 2005.
  9. N. Y. Ko, T. G. Kim, and Y. S. Moon, "Particle Filter Approach for Localization of an Underwater Robot Using Time Difference of Arrival", in Proc. IEEE/MTS Oceans, 2012.
  10. A. Goshtasby, "Description and Discrimination of Planar Shape Using Shape matrices," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. PAMI-7, no.6, pp.778-743, Nov 1985.
  11. Y. Chen, "Mean Shift, Mode Seeking, and Clustering," IEEE Trans, Pattern Analysis and Machine Intelligence, vol. 17, no. 8, pp.790-799, Aug 1995. https://doi.org/10.1109/34.400568
  12. D. Comaniciu, and P. Meer, "Mean shift: a robust approach toward feature space analysis," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 24, no. 5, pp.603-619, May 2002. https://doi.org/10.1109/34.1000236

Cited by

  1. 정밀 위치정보 데이터를 이용한 수중 하저면의 수심 정보 획득 시스템 vol.15, pp.2, 2014, https://doi.org/10.13067/jkiecs.2020.15.2.327