Journal of the Korea Computer Graphics Society (한국컴퓨터그래픽스학회논문지)

Korea Computer Graphics Society (한국컴퓨터그래픽스학회)
권호 표지
DOI QR코드

DOI QR Code

ZoomISEG: Interactive Multi-Scale Fusion for Histopathology Whole Slide Image Segmentation

ZoomISEG: 조직 병리학 전체 슬라이드 영상 분할을 위한 대화형 다중스케일 융합

  • Seonghui Min (Department of Computer Science and Engineering, Korea University) ;
  • Won-Ki Jeong (Department of Computer Science and Engineering, Korea University)
  • Received : 2023.06.17
  • Accepted : 2023.07.05
  • Published : 2023.07.25
Download PDF
⟨ Previous Next ⟩

Abstract

Accurate segmentation of histopathology whole slide images (WSIs) is a crucial task for disease diagnosis and treatment planning. However, conventional automated segmentation algorithms may not always be applicable to WSI segmentation due to their large size and variations in tissue appearance, staining, and imaging conditions. Recent advances in interactive segmentation, which combines human expertise with algorithms, have shown promise to improve efficiency and accuracy in WSI segmentation but also presented us with challenging issues. In this paper, we propose a novel interactive segmentation method, ZoomISEG, that leverages multi-resolution WSIs. We demonstrate the efficacy and performance of the proposed method via comparison with conventional single-scale methods and an ablation study. The results confirm that the proposed method can reduce human interaction while achieving accuracy comparable to that of the brute-force approach using the highest-resolution data.

조직병리에서 전체 슬라이드 영상의 정확한 분할은 질병 진단과 치료 계획에 매우 중요한 작업이다. 그러나 전체 슬라이드 영상은 크기가 크고 조직의 형태, 염색 및 촬영 조건이 다양하기 때문에 기존의 자동 영상 분할 알고리즘을 항상 적용하는 것은 어렵다. 최근 인간의 전문 지식과 알고리즘을 결합한 대화형 영상 분할 기술의 발전은 전체 슬라이드 영상 분할의 효율 성과 정확성을 개선할 수 있는 가능성을 보여주었다. 그러나 이러한 접근 방식은 동시에 어려운 과제를 제기하기도 했다. 본 논문에서는 다중 해상도 전체 슬라이드 영상을 활용하는 새로운 대화형 분할 방법인 ZoomISEG를 제안한다. 기존의 단일 스케일 방법과의 비교 및 ablation study를 통해 제안된 방법의 효율성과 성능을 입증한다. 실험 결과, 제안된 방법은 사람의 개입을 줄이면서도 최고 해상도 데이터를 사용하는 방식에 필적하는 정확도를 달성함을 확인했다.

Keywords

Acknowledgement

본 연구는 과학기술정보통신부 재원의 정보통신기획평가원의 ICT명품인재양성사업 (IITP-2023-2020-0-01819), 과학기술정보통신부 재원의 한국연구재단의 바이오의료기술개발사업(NRF-2019M3E5D2A01063819), 교육부 재원의 한국연구재단의 기초과학연구사업 (NRF-2021R1A6A1A13044830), 보건복지부 재원의 한국보건산업진흥원의 한국보건기술연구개발사업 (HI18C0316), 한국과학기술연구원 기본사업 (22E32210, 2E32211), 그리고 고려대학교의 지원을 받아 수행되었음.

References

  1. L. Grady, "Random Walks for Image Segmentation," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 28, no. 11, pp. 1768-1783, 2006.  https://doi.org/10.1109/TPAMI.2006.233
  2. C. Rother, V. Kolmogorov, and A. Blake, "GrabCut: Interactive Foreground Extraction using Iterated Graph Cuts," ACM Transactions on Graphics (TOG), vol. 23, no. 3, pp. 309-314, 2004.  https://doi.org/10.1145/1015706.1015720
  3. O. Ronneberger, P. Fischer, and T. Brox, "U-Net: Convolutional Networks for Biomedical Image Segmentation," Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015: 18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings, Part III 18, pp. 234-241, 2015. 
  4. X. Chen, Z. Zhao, Y. Zhang, M. Duan, D. Qi, and H. Zhao, "FocalClick: Towards Practical Interactive Image Segmentation," Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1300-1309, 2022. 
  5. Q. Liu, Z. Xu, G. Bertasius, and M. Niethammer, "SimpleClick: Interactive Image Segmentation with Simple Vision Transformers," arXiv preprint arXiv:2210.11006, 2022. 
  6. Z. Lin, Z.-P. Duan, Z. Zhang, C.-L. Guo, and M.-M. Cheng, "Focuscut: Diving into a Focus View in Interactive Segmentation," Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 2637-2646, 2022. 
  7. S. Cho, H. Jang, J. W. Tan, and W.-K. Jeong, "DeepScribble: Interactive Pathology Image Segmentation Using Deep Neural Networks with Scribbles," 2021 IEEE 18th International Symposium on Biomedical Imaging (ISBI), pp. 761-765, 2021. 
  8. S. Min and W.-K. Jeong, "CGAM: Click-Guided Attention Module for Interactive Pathology Image Segmentation via Backpropagating Refinement," arXiv preprint arXiv:2307.01015, 2023. 
  9. H. Wang, P. Cao, J. Wang, and O. R. Zaiane, "UCTransNet: Rethinking the Skip Connections in U-Net from a ChannelWise Perspective with Transformer," Proceedings of the AAAI Conference on Artificial Intelligence, vol. 36, no. 3, pp. 2441-2449, 2022. 
  10. Y. J. Kim, H. Jang, K. Lee, S. Park, S.-G. Min, C. Hong, J. H. Park, K. Lee, J. Kim, W. Hong, et al., "PAIP 2019: Liver cancer segmentation challenge," Medical Image Analysis, vol. 67, p. 101854, 2021. 
  11. K. Sofiiuk, O. Barinova, and A. Konushin, "AdaptIS: Adaptive Instance Selection Network," Proceedings of the IEEE International Conference on Computer Vision, pp. 7355-7363, 2019. 
  12. K. Sofiiuk, I. A. Petrov, and A. Konushin, "Reviving Iterative Training with Mask Guidance for Interactive Segmentation," 2022 IEEE International Conference on Image Processing (ICIP), pp. 3141-3145, 2022.