Scientometrics-based R&D Topography Analysis to Identify Research Trends Related to Image Segmentation

이미지 분할(image segmentation) 관련 연구 동향 파악을 위한 과학계량학 기반 연구개발지형도 분석

Abstract

Image processing and computer vision technologies are becoming increasingly important in a variety of application fields that require techniques and tools for sophisticated image analysis. In particular, image segmentation is a technology that plays an important role in image analysis. In this study, in order to identify recent research trends on image segmentation techniques, we used the Web of Science(WoS) database to analyze the R&D topography based on the network structure of the author's keyword co-occurrence matrix. As a result, from 2015 to 2023, as a result of the analysis of the R&D map of research articles on image segmentation, R&D in this field is largely focused on four areas of research and development: (1) researches on collecting and preprocessing image data to build higher-performance image segmentation models, (2) the researches on image segmentation using statistics-based models or machine learning algorithms, (3) the researches on image segmentation for medical image analysis, and (4) deep learning-based image segmentation-related R&D. The scientometrics-based analysis performed in this study can not only map the trajectory of R&D related to image segmentation, but can also serve as a marker for future exploration in this dynamic field.

1. 서론

이미지 처리(image processing) 및 컴퓨터 비전(computer vision) 기술은 이미지를 정교하게 분석할 수 있는 기술과 도구를 요하는 다양한 응용 분야에서 점차 중요해지고 있다. 특히 이미지 분할(image segmentation)은 이미지 분석에서 중요한 위치를 차지하는 기술이다. 이미지 분할은 이미지 특징이 매우 균일한 하위 구성 부분으로 분할하거나, 이미지 내 의미 있는 영역과 겹치지 않는 영역(non-overlapping region)으로 나누는 과정을 의미하며 이 프로세스를 통해 이미지 내에서 유용한 정보를 추출할 수 있게 된다[1-3].

이미지 분할은 장면 이해(scene understanding), 의료 이미지 분석, 로봇 인식, 영상 기반 감시, 증강 현실(augmented reality), 이미지 압축(image compression), 이미지 검색 엔진, 자율 주행 차량 등 다양한 학문 및 산업 분야와 밀접하게 관련되어 있고, 해당 분야에서 활용 가치가 높기 때문에 이미지 처리 및 컴퓨터 비전의 핵심 주제라 할 수 있다[4-5]. 이에 따라 과거부터 현재까지 오랫동안 연구되어 왔으며, 최근 인공지능의 발전과 함께 비약적으로 높은 성능의 모델들이 개발되고는 있으나 여전히 특징 추출 및 모델 설계에는 어려움이 존재하는 분야이기도 하다[1-2, 6].

이미지 분할의 초기 알고리즘으로는 임계값(threshold) 기반 알고리즘[7], 히스토그램 기반 번들링(histogram-based bundling), 영역 확장(region-growing)[8], k-평균 클러스터링(k-means clustering)[9] 등이 있으며 이후 활성 컨투어(active contours)[10], 그래프 컷(graph cuts)[11], 조건부 및 마르코프 무작위 필드(conditional and Markov random fields) [12] 등의 진일보한 방법론이 활용되었다. 그러나 지난 몇 년 동안 딥러닝(deep learning) 모델은 이전 모델 보다 훨씬 개선된 성능을 보였으며, 벤치마크에서 가장 높은 정확도를 달성하는 새로운 세대의 이미지 분할 모델을 탄생시켜 이미지 분석의 패러다임 전환을 가져왔다고 할 수 있다[13].

이러한 가운데, 이미지 분할에 관하여, 이미지 분할 기술 자체를 평가하고 특성을 파악하는 연구는 다수 진행되어 왔고, 다수의 연구가 의료 이미지 분할 방법을 중심으로 연구되어왔다[2-4, 14-20]. 그러나 기술적인 변화를 거시적인 관점에서 파악하기 위한 과학계량학적(scientometrics) 분석 연구는 소수에 불과했다. 이를테면 Zhang et al.[6]은 Web of Sciecne(WoS) 핵심 컬렉션 및 Scopus 논문 데이터를 활용하여 의료 이미지 분할 연구에 관한 연간 출판물, 국가별 기여도, 주요 저자, 출판 매체 및 키워드 사용의 추세를 설명하기 위한 시각적 지도를 생성하는 정량적 분석과 피인용도가 높은 49개의 출판물에서 입증된 해당 분야의 방법과 추세에 초점을 맞춘 정성적 분석을 수행하였다. 한편, Praharaj et al.[21]은 LBM(Lattice Boltzmann Method)에 초점을 맞춘 계량서지 분석과 특히 심혈관 질환 진단의 맥락에서 이미지 분할과 전산유체역학(CFD)을 통합하는 솔버(solver)로서의 적용을 제시하였다. 이를 위해 Scopus 데이터베이스에서 출판된 1,726개의 논문을 바탕으로 1988년 이후의 연구개발을 다루며 수년에 걸쳐 다양한 방법이 구축되었으며, 이를 통해 지금까지 수행된 연구를 평가하고 향후 연구 기회를 포착하는 것을 목표로 연구를 수행하였다.

앞서 언급하였듯, 의료 이미지를 중심으로 한 개별 이미지 분할에 대해 연구동향을 파악하는 연구는 다수 수행되었으나, 이미지 분할에 관한 최근 연구 동향을 전반적으로 파악한 연구는 미흡한 실정이다. 따라서, 본 연구에서는 이미지 분할에 관한 연구가 어떤 분야에서 활발하게 수행되었는지 보다 거시적인 관점에서 파악하고, 그 기술적 변화를 통시적으로 분석하기 위하여 과학계량학적 방법론 중 하나인 연구지형도 분석을 수행하였다. 이를 통해 이미지 분석에서 매우 중요한 위상을 차지하는 이미지 분할에 대한 연구가 세계적으로는 어떤 흐름으로 진행되고 있는지를 빠르게 파악하여 미래의 연구 방향성을 정립하는 데 기여하고자 한다.

2. 데이터 및 연구 방법론

본 연구에서는 이미지 분할 기법에 관한 연구 동향 파악을 위해 Clarivate(London, England)에서 운영하는 과학기술 논문 데이터베이스인 Web of Science(WoS)를 활용하였다. 이미지 분할과 관련된 연구논문만을 수집하기 위하여 Table 1에 나타낸 쿼리(query)를 통해 논문 데이터를 수집하였다. 본 연구에서는 최신 이미지 분할 연구 동향 파악을 목적으로 하고 있으므로 딥러닝 기반의 이미지 분할 알고리즘 중 유의미한 성능을 나타내며 이미지 분할 알고리즘 발전의 분기점이 된 모델인 U-Net 알고리즘 논문이 출판된 2015년부터 2023년까지의 관련 논문 데이터를 수집하였다. 수집된 논문은 총 63,790건이다.

Table 1. Overview of the scientific publication datasets related to image segmentation

수집된 63,790건의 이미지 분할 관련 논문의 연도별 건수를 확인해보면, 2015년부터 시간이 지나면서 전반적으로 증가하는 추세를 보이고 있다는 것을 확인할 수 있다. 2023년에는 2022년도보다 미미하게 감소했으나 감소폭이 매우 적어 증가 추세를 유지하는 것으로 판단할 수 있다. 한국에서 출판된 이미지 분할 관련 논문들 역시 전반적으로 증가하는 추세를 나타내었다(Fig. 1).

Fig. 1 The number of the scientific articles related to image segmentation per yer

출판된 논문의 저자 국적을 분석한 결과, 세계적으로 158개국에서 이미지 분할 관련 연구가 수행되고 있으며, 가장 활발하게 논문을 출판하는 국가는 25,572편의 논문을 발표한 중국이며, 전체 63,790건의 논문 중 40.09%를 점유하는 것으로 파악되었다. 뒤이어 미국은 11,165편(17.50%), 인도는 6,353편(9.96%)의 논문을 발표하여 각각 2, 3위를 차지하였다. 한국은 2,601편의 논문을 발표하여 4.08%의 점유율을 보였고 출판 수로는 6위를 차지하였다(Table 2).

Table 2. The number of the scientific articles related to image segmentation by counties

이미지 분할 관련 연구 영역을 파악하기 위해 논문에 부여된 저자 키워드(author keywords)를 활용하였다. 저자 키워드는 논문 출판시 논문의 저자가 자신의 연구 내용에 대해 직접 입력한 대표 키워드를 의미한다[24]. 저자 키워드는 통일된 법칙에 따라서 부여되는 것이 아니라 저자들이 주관적으로 입력하는 것이므로 표준화되어 있지 않다. 따라서 키워드 정제(keywords cleansing) 혹은 전처리(preprocessing) 과정이 반드시 선행되어야 한다. 이를테면 키워드의 단복수 통일 처리, 약자로 된 키워드 표준화, 유사어 사전(thesaurus)을 통한 동의어 및 유사어 통일 등의 과정이 이에 해당한다. 이러한 전처리 과정은 Vantage Point® (Serach Tech, Inc., US) 소프트웨어를 통해 수행되었다.

또한, 연구개발 지형도를 구현하기 위해서는 저자 키워드 간의 동시발생 매트릭스(co-occurrence matrix) 구현이 선행되어야 한다. 동시발생(Cooccurrence)이란 한 문장, 문단 또는 텍스트 단위에서 같이 출현한 단어를 의미하며, 이러한 키워드들은 연관성을 가지게 되며, 동시에 여러 번 등장할수록 연관성이 크다고 할 수 있다[22]. 다중의 저자 키워드가 동시에 발생했을 때, 저자 키워드간 네트워크 구조가 형성되어 커다란 클러스터(cluster)를 이루게 되고 이를 통하여 네트워크 분석이 가능하다. 동시발생 매트릭스 역시 Vantage Point®(Serach Tech, Inc., US) 소프트웨어를 활용하였다.

저자 키워드 동시발생 매트릭스의 네트워크 구조를 기반으로 연구개발 지형도 형태로 시각화하는 도구는 VOSViewer(Leiden University, the Netherlands)를 통해 수행되었다[23]. 이 시각화 도구에서는 계측되는 각 성분 간의 유사도는 식(1)에 따라 생성된다. 즉, 식(1)은 키워드 i와 j의 연결 강도에 기반한 유사성(S_ij)을 계산하는 식으로, C_ij는 키워드 i와 j가 문서에서 동시에 발생한 횟수를 나타내고, C_i와 C_j는 키워드 i와 j가 발생한 총 횟수를 의미한다.

\(\begin{align}S_{i j}=\frac{C_{i j}}{C_{i} C_{j}}\end{align}\)       (1)

S_ij = i와 j성분간의 유사도

C_i = i성분의 빈도수

C_j = J성분의 빈도수

C_ij = i, j가 동시에 발생한 빈도수

또한 차원 축소에 따른 최종 연구지형도에 반영되는 성분들의 위치(좌표값) 설정은 식(2)와 식(3)을 만족하는 값에 의해 결정된다. n은 연구 지형도 상에 매핑할 키워드의 수를 의미하고, VOSviewer는 키워드 i와 j사이의 거리 유사성인 S_ij를 최대한 정확하게 반영하는 위치에 2차원 지형도를 구성한다. 즉, 유사도가 높은 키워드는 가깝게, 유사도가 낮은 키워드는 멀리 위치하도록 하는 것이다. 이를 위해 유사도를 바탕으로 모든 키워드 쌍 사이의 유클리드 거리의 제곱을 가중 합을 최소화하는 방식으로 VOSviewer가 동작한다. 즉, 식(2)는 두 키워드 간의 유사성이 높을수록 거리 제곱의 가중치가 높아지게 된다. 단, 모든 키워드가 동일한 위치를 가지게 되어 유의미한 정보를 제공할 수 없는 매핑 방식을 피하기 위해 식(3)에 의해 두 키워드 간의 평균 거리는 1로 고정하는 제약 조건을 적용한다.

\(\begin{align}V\left(x_{1}, \cdots \cdots, x_{n}\right)=\sum_{i<j} S_{i j}|| x_{i}-x_{j}||^{2}\end{align}\)       (2)

\(\begin{align}\frac{2}{n(n-1)} \sum_{i<j}|| x_{i}-x_{j}||=1\end{align}\)       (3)

V(x₁, ……, x_n) = 각성분들의 위치

x_i = 2차원 공간에서 노드 x_i의 위치

| | x_i - x_j | | = 노드 x_i와 x_i사이의 유클리드 거리

마지막으로 각 성분이 클러스터링되는 방식은 식(4)에 의해 결정된다. 여기서 c_i는 키워드 i가 할당된 클러스터를 나타내고, δ(c_i, c_j)는 c_i = c_j이면 1, 그렇지 않으면 0을 반환하는 함수를 나타내며 γ는 클러스터링의 세부 수준을 결정하는 해상도 매개변수이다. γ값이 증가할수록 클러스터의 수는 증가한다. 본 연구에서는 VOSviewer에서 제공하는 기본 γ인 1.0을 사용하였다.

\(\begin{align}V\left(c_{1}, \cdots \cdots, c_{n}\right)=\sum_{i<j} \delta\left(c_{i,} c_{j}\right)\left(S_{i j}-\gamma\right)\end{align}\)       (4)

V(c₁, ……, c_n) = 각 클러스터들의 위치

δ(c_i, c_j) = c_i = c_j일때는1, 그렇지 않을 때는 0을 반환하는 함수

γ = 클러스터링의 상세 수준을 결정하는 해상도 매개 변수

본 연구에서는 이미지 분할 관련 연구의 통시적 변화를 살펴보기 위해 크게 세 개의 기간을 나눠 연구지형도를 구현하고 분석하였다. 기간은 관련 연구논문의 증가 추이를 반영하여 나누었으며 논문 수가 첫 번째 기간은 3,000건 대를 유지하고 있는 2015~2017년, 두 번째 기간은 논문 수가 급격하게 성장하여 4,000건 이상, 10,000건 이하의 논문 수를 보이는 기간인 2018~2021년, 세 번째 기간은 10,000건 이상의 논문 수를 나타내며 최근 연구 동향을 대표할 수 있는 2022~2023년으로 분류하였다.

3. 연구 결과 및 고찰

2015∼2023년까지, 이미지 분할에 관한 과학기술 연구논문에 대한 연구개발지형도 분석 결과 해당 분야의 연구개발은 크게 네 가지 영역에서 활발하게 진행되어 왔다. 첫 번째 영역은 이미지 분할 알고리즘을 개발하고 보다 성능 높은 모델을 구축하기 위해 이미지 데이터의 수집 및 전처리 기술과 이미지 분할의 토대가 되는 컴퓨터 비전관련 기술에 대한 키워드로 구성되어 있다. 이를테면 Computer vision, Remote sensing, Feature extraction, Hyperspectral imaging, Superpixel, Chage detection 등의 키워드가 대표적이다. 두번째 영역은 통계학 기반 머신러닝 알고리즘을 활용한 이미지 분할 관련 연구로 대표적인 키워드로는 Machine learning, Support vector machine(SVM), Pattern recognition, Fuzzy clustering 등이 있다. 세 번째 영역은 다양한 의료 이미지(medical image) 분석을 위한 이미지 분할 연구로, Magnetic resonance imaging(MRI), Radiology, X-ray, Computed tomography(CT), Lung segmentation, Medical image segmentation 등의 키워드로 구성된 영역이다. 마지막 네 번째 영역은 딥러닝 기반 이미지 분할 관련 연구개발 영역으로, Convolutional neural network(CNN), Deep neural network, Semantic segmentation, Generative adversarial network(GAN) 등의 키워드들이 나타났다(Fig. 2).

Fig. 2 The results of analyzing R&D map related to image segmentation (2015~2023)

사전에 설정한 기간별로 데이터를 분할하여 분석한 결과를 살펴보면, 2015~2017년에 해당하는 첫 번째 기간에서의 연구는 이미지 분할 및 이미지 데이터 수집과 전처리에 관한 연구개발이 주로 전통적인 통계학이나 머신러닝 알고리즘에 기반한 수준에서 이루어지고 있다는 것을 확인할 수 있었다. 또한, 이미지 분할을 적용하는 연구 분야가 의료 이미지로 상당히 제한적인 것을 확인할 수 있다. 의료 이미지 외에 다른 적용 분야의 키워드는 거의 없거나 매우 소수로 연구개발지형도 상에서는 드러나지 않는다는 특징이 있다(Fig. 3-a).

Fig. 3 Changes in R&D landscape related to image segmentation by period : (a) 2015~2017, (b) 2018~2021, (c) 2022~2023

두 번째 기간에 해당하는 2018~2021년도의 연구는 전체적으로 첫 번째 기간에서의 키워드 군집을 유사하게 유지하면서 딥러닝을 활용한 이미지 분할에 관한 연구가 새로운 연구개발영역으로 파악되었다. 특히 첫 번째 기간에는 드러나지 않았던 U-Net 알고리즘 키워드가 등장한 것을 확인할 수 있다. 즉, 2015~2016년도의 연구지형도에서 키워드 U-net의 키워드 가중치(weight)는 0이었으나, 2018~2021년도에는 447을 나타내었다. 앞서 언급했든 U-Net 알고리즘을 소개한 논문은 2015년에 처음으로 출판되었는데, 그 이후 실제 적용 분야에서 연구개발이 활발하게 진행되면서 2018년부터 유의미한 키워드로 연구개발지형도에 나타나기 시작했다는 것을 확인할 수 있다(Fig. 3-b).

세 번째 기간에 해당하는 2022~2023년도 연구개발, 즉 이미지 분할에 관한 최신 연구성과를 담고 있는 논문을 중심으로 살펴본 연구개발지형도를 살펴보면 이전 기간과 마찬가지로 연구 분야는 의료 이미지 관련 연구가 두드러지게 나타나나, 연구되고 있는 모델은 전통적인 통계학이나 머신러닝 모델보다는 인공지능, 딥러닝 기반의 이미지 분할 관련 최신 모델 연구에 관한 키워드가 다수 포착되었다. 이를테면 앞서 언급한 U-Net과 함께 Mask RCNN(가중치 41), Attention(가중치 139), Attention mechanism(가중치 571), Self-attention(가중치 85), Spatial attention(가중치 68), Transfer learning(가중치 368), Transformer(가중치 598)와 같은 키워드가 이에 해당한다. 한편, 평면상에서 이미지를 분할하는 알고리즘을 넘어 3차원의 입체상에서 이미지를 분할하고자 하는 연구개발 영역이 새롭게 포착되었다. 관련된 키워드로는 Three-dimensional display, Image reconstruction, 3D reconstruction, Solid modeling 등이 있다(Fig. 3-c).

4. 결론

본 연구는 WoS 논문 데이터베이스를 활용하여 2015년부터 2023년까지 이미지 분할 분야의 연구 개발 동향에 대한 종합적인 과학계량학 기반 분석을 수행하였다. 총 63,790건의 논문을 수집 및 분석하여 연구개발지형도를 통해 이미지 분할 연구의 거시적인 동향을 파악하였고, 2015~2017년, 2018~2021년, 2022~2023년의 세 가지 기간에 걸친 이미지 분할 관련 연구개발의 통시적 변화 및 발전 양상을 분석하고자 하였다. 기존 연구에서는 의료 영상 분할에 연구가 집중되어 있었고, 개별 기술에 대한 리뷰 관점의 연구들이 많았다면, 본 연구는 보다 거시적인 차원에서 이미지 분할 관련 연구 영역을 확인하는 작업을 수행하였으며, 특히 통시적인 관점에서 시간에 따른 이미지 분할 관련 연구 변화를 파악했다는 점에서 의의가 있다.

본 연구에서 수행한 분석을 통해 해당 분야 내 활발하게 진행되고 있는 연구개발 동향을 파악한 결과, 전통적인 통계학적 방법이나 머신러닝에서 최신 딥러닝 기술이 이미지 분할 기술 관련 분야에서 중요한 전환의 기점을 마련하고 있다는 것을 알 수 있었다.

초기 단계(2015~2017)의 연구에서는 이미지 데이터 수집, 전처리, 통계 기반 기계 학습 알고리즘 적용 등 기초적인 측면을 중심으로 연구가 주로 진행되었다. 특히 의료 분야에서 이미지 분할이 주로 활용되었다는 것을 확인할 수 있었다.

후속 기간(2018~2021)은 U-Net 알고리즘의 출현으로 대표되는 딥러닝 방법론으로의 중추적인 전환이 나타났다. 이는 의료 이미지 분석에서 압도적 다수의 연구가 진행되고 있던 이미지 분할 연구가 다양한 분야에서 폭넓게 적용될 수 있는 가능성을 시사하기도 한다.

최신 단계(2022~2023)에서는 딥러닝 접근 방식의 지속적인 지배력을 나타냈을 뿐만 아니라 3차원 이미지 분할을 목표로 하는 최첨단 연구의 출현도 보여주었다. 이 새로운 방향은 전통적인 2차원 분석을 넘어서 3차원 입체상에서 파악할 수 있는 정보를 제공하는 이미지 분할 알고리즘이 지속적으로 연구되고 있으며, 이는 의료 진단에서 자율 시스템에 이르기까지 다양한 응용 분야에 혁신을 일으킬 수 있는 이미지 분할 기술의 잠재력을 확인할 수 있는 부분이다.

본 연구의 연구 결과는 인공지능과 컴퓨터 기술의 급속한 발전에 힘입어 끊임없이 이미지 분할기술이 진화하고 있음을 보여준다. 즉, 이미지 분할 기술의 지속적인 성장 및 응용 분야의 확대를 통해 수많은 과학기술 영역에 걸쳐 복잡한 과제를 해결하는 데 있어 그 역할이 매우 중요할 것으로 보인다.

분석한 논문이 출판된 전 기간에 걸쳐 이미지 분할 관련 연구가 의료 이미지 중심으로 연구개발이 수행되고 있다는 점은 우리에게 또다른 시사점을 준다. 비록 의료 시장이 매우 크고 이미지 분할 기술에 대한 수요가 압도적이기 때문에 이러한 현상이 이해가 되지 않는 바는 아니지만, 이미지 분할 기술은 아주 다양한 분야에서 적용할 수 있는 확장력을 가지고 있다. 특히 인공지능, 딥러닝 기술이 도입되면서 이러한 추세는 가속화될 것으로 전망된다. 이에 따라 관련 연구개발을 수행하는 연구자들은 이미지 분할 성능이 좋은 모델을 만드는 것도 중요하지만 이미지 분할 기술의 적용분야를 확장해가는 연구개발도 수행해야 한다는 점을 시사한다고 할 수 있다.

본 연구에서 수행한 과학계량학 기반 분석은 이미지 분할 관련 연구개발의 궤적을 매핑할 뿐만 아니라 이 역동적인 분야에서 미래 탐구를 위한 표지자 역할로 삼을 수 있다. 이러한 연구 동향의 변화를 선제적으로 파악하는 것은 관련 연구개발에 대한 국가연구개발 투자의 방향성과 정책 우선순위 결정이 증거 기반(evidence-based)의 과학적 의사결정이 되도록 돕는 기초 자료 역할을 할 수 있을 것이다.

본 연구에서는 거시적인 차원에서 이미지 분할 연구개발의 동향을 파악하기 위해 키워드 중심의 연구개발지형도 분석을 수행하였다. 이 과정에서 빈도수 기반으로 연구개발지형도가 구성되기 때문에 연구개발지형도 상에서 약한 신호(weak signal)를 나타내지만 기술적으로 중요한 위상을 가지는 키워드가 두드러지지 않을 수 있다는 단점도 존재한다. 이러한 부분은 또다른 자연어처리 모델을 적용한 후속 연구를 통해 더 세부적인 연구개발 동향을 파악할 수 있을 것으로 사료된다.