A Review on Deep-learning-based Phase Unwrapping Technique for Synthetic Aperture Radar Interferometry

딥러닝 기반 레이더 간섭 위상 언래핑 기술 고찰

Abstract

Phase unwrapping is an essential procedure for interferometric synthetic aperture radar techniques. Accordingly, a lot of phase unwrapping methods have been developed. Deep-learning-based unwrapping methods have recently been proposed. In this paper, we reviewed state-of-the-art deep-learning-based unwrapping approaches in terms of 1) the approaches to predicting unwrapped phases, 2) deep learning model structures for phase unwrapping, and 3) training data generation. The research trend of the approaches to predicting unwrapped phases was introduced by categorizing wrap count segmentation, phase jump classification, phase regression, and deep-learning-assisted method. We introduced the case studies of deep learning model structure for phase unwrapping, and model structure optimization to relate the overall phase information. In addition, we summarized the research trend of the training data generation approaches in the views of phase gradient and noise in the main. And the future direction in deep-learning-based phase unwrapping was presented. It is expected that this paper is used as guideline for exploring future direction of deep-learning-based phase unwrapping research in Korea.

위상 언래핑은 위성레이더 간섭기법의 필수적인 자료처리 절차다. 이에 따라 비 딥러닝 기반 언래핑 기법이 다수 개발되었으며 최근에는 딥러닝 기반 언래핑 기법이 제안되고 있다. 본 논문에서는 딥러닝 기반 위성레이더 언래핑 기법을 1) 언래핑된 위상의 예측 방법, 2) 위상 언래핑을 위한 딥러닝 모델의 구조 그리고 3) 학습데이터 제작 방법의 측면에서 최근 연구 동향을 소개하였다. 언래핑된 위상을 예측하는 방법은 모호 정수 분류방법, 위상 단절 구간 탐지 방법, 위상 예측 방법, 딥러닝과 전통적인 언래핑 기법의 연계 방법에 따라 다시 세분화하여 연구 동향을 나타냈다. 일반적으로 활용되는 딥러닝 모델 구조의 특징과 전체 위상 정보를 파악하기 위한 모델 최적화 방법에 대한 연구 사례를 소개하였다. 또한 학습데이터 제작 방법은 주로 위상 변이 제작과 노이즈 시뮬레이션 방법으로 구분하여 연구 동향을 정리하였으며 추후 발전 방향을 제시하였다. 본 논문이 추후 국내의 딥러닝 기반 위상 언래핑 연구의 발전 방향을 모색하는 데에 필요한 기반 자료로 활용되기를 기대한다.

1. 서론

위상 언래핑 기술은 (–π, π]의 범위에서만 반복적으로 표현된 간섭위상 정보를 관심 객체의 실제 위상의 형태로 펴주는 절차를 나타낸다(Baek et al., 2018a; Yu et al., 2019). 이때 언래핑 과정은 일반적으로 불량조건문제(ill-posed problem)로 유일한 해를 결정하는 것이 불가능하며, 이에 따라 일반적으로 인접 픽셀 사이의 위상 차이가 π 미만이라는 Itoh의 전제조건에 따라 수행된다(Wu et al., 2022; Itoh, 1982). 해당 조건을 만족하는 상황에서 단순한 경로 기반의 적분을 통하여 언래핑이 가능하다(Goldstein et al., 1988; Zebker and Lu, 1998).

하지만 일반적으로 위성레이더 간섭영상은 촬영 지역의 특성과 위성레이더 촬영의 기하적 조건에 따라 비상관화가 발생하며 이에 따라 심각한 노이즈가 발생할수 있다(Zebker and Vilasenor, 1992). 또한 위성레이더의 파장, 수직기선과 지형고도 그리고 지표변위의 크기에 의하여 인접 픽셀 사이의 위상 변화율이 매우 급격하게 변화할 수 있다(Rosen et al., 2000). 이상의 조건에 의하여 실제 위성레이더 간섭영상에서는 Itoh (1982)의 전제조건이 성립되지 않는 경우가 자주 발생하며, 이 때문에 레이더 간섭 영상으로부터 유일한 언래핑 해를 찾지 못하거나, 언래핑 오차의 공간적 전파에 의해 영상자체를 활용하기 어려운 경우가 다수 발생한다(Yu et al., 2019; Baek et al., 2018a; 2020a; 2020b).

기존에 개발된 많은 전통적인 비 딥러닝 기반 언래핑 기법들은 이러한 한계성을 개선하기 위하여 연구가 진행되어 왔다. 비 딥러닝 기반 언래핑 기법은 크게 항로추종방법(path following method) (Goldstein et al., 1988; Ghiglia et al., 1987; Zheng and Da, 2011), L^p norm 최적화방법(Ghiglia and Romero, 1996; Costantini, 1998; Flynn,1997; Zebker and Lu, 1998; Eineder et al., 1998; Chen and Zebker, 2000; 2001; 2002) 그리고 위상 노이즈 및 위상 변화율 저감 방법(Baek et al., 2018a; Bonsoir et al., 2019; Yun et al., 2007; Yu et al., 2019)으로 분류할 수 있다. 이상의 기법들은 성공적으로 적용되어 지형 고도를 측정하거나 지표변위를 관측하는 데에 성공적으로 활용되어 왔다(Baek et al., 2018b; 2018c; Jung et al., 2011; Yue et al., 2017; Lee et al., 2015; Boncori, 2019). 하지만 극심한 위상 변화나 노이즈가 존재하는 영상에 대해서는 이러한 기법들을 활용하더라도 적절한 언래핑 영상을 획득하는 것이 여전히 도전적인 문제이다(Yu et al., 2019; Yun et al., 2007; Kim and Kim, 2002).

최근 몇 년간 딥러닝 기법은 다양한 영상처리 분야에서 기존의 성능을 상회하는 연구 결과를 도출하고 있다(LeCun et al., 2015). 특히, 딥러닝 기법은 영상 내의 패턴인식에 매우 효과적인 성능을 나타내고 있으며, 이에 따라 최근 딥러닝을 활용한 언래핑 기법이 다수 소개되고 있다(Baek, 2022; Zhou et al., 2022a; 2022b; Wu et al., 2022; Zeyada et al., 2022; Li et al., 2021; Pu et al., 2021; Zhou et al.,2020; Sica et al., 2020; Spoorthi et al., 2020; 2018; Wang et al.,2019). 딥러닝 기반 언래핑 기법은 아직까지 초기 연구단계임에도 불구하고 전통적인 언래핑 기법보다 약 2배의 성능 향상을 나타내고 있다(Baek, 2022). 이와 같은 성능 향상에 따라 딥러닝 기반의 언래핑 기법은 추후 위성레이더 간섭기법을 활용한 지구 모니터링에 적극적으로 활용될 것이라 전망되고 있다. 하지만 아직까지 국내에서 딥러닝을 활용한 위상 언래핑 기법에 대한 연구는 거의 이루어지고 있지 않으며 현재의 연구동향과 기술 현황을 정리함으로써 발전 방향을 모색할 필요가 있다.

이에 따라 본 논문에서는 딥러닝 기반 위성레이더 간섭영상 언래핑 기술에 대하여 고찰하고자 한다. 이와 관련하여 이후 장에서는 위상 언래핑의 정의와 전통적인 비 딥러닝 기반 언래핑 기법에 대하여 간략하게 소개하고, 최근 딥러닝 기반 언래핑 기법을 딥러닝 모델구조, 언래핑 결과 예측 방법 그리고 학습데이터 제작 방법에 따라 구분하여 연구 방향을 소개하고자 한다.

2. 위상 언래핑의 정의 및 비 딥러닝 기반 언래핑 기법

1) 위상 언래핑

간섭성 레이더 신호처리에서 획득된 간섭위상은 관심 객체의 실제 위상을 그대로 표현하지 못하고 (–π, π]의 범위로 표현한다. 즉, 관심 객체의 실제 위상은 (–π,π] 범위 안에서는 간섭위상과 정확하게 일치하지만 해당 범위를 넘어선다면 실제 위상과 간섭위상은 2 π의 정수배 차이가 발생한다. 이와 같은 관계로부터 어떤 1차원 위상 데이터의 t번째 픽셀에 대하여 (–π, π] 사이의 모듈로(modulo)로 표현되는 위상 신호를 래핑된 위상(wrapped phase) ψ(t), 동일 픽셀에 대해 언래핑 과정을 통하여 생성된 절대 위상을 언래핑된 위상(unwrapped phase) ø(t)이라 할 때, 아래의 관계로 표현할 수 있다(Yu et al., 2019; Baek et al., 2018a).

ψ(t) = ø(t) + 2πn(t)       (1)

여기서, ψ(t)∈ (–π, π]이며 n(t)는 t번째 픽셀에서의 모호정수이다. 모호정수를 결정함으로써 래핑된 위상으로부터 언래핑된 위상을 계산할 수 있으므로, 주로 언래핑 절차는 모호정수를 찾아가는 과정을 나타낸다.

그런데 식(1)만을 활용하여 모호정수의 유일한 해를 찾을 수 없으므로 언래핑을 위해서는 추가적인 제약 조건이 필요하다(Itoh, 1982; Kim and Kim, 2002; Yu et al., 2019; Rosen et al., 2000; Ghiglia and Romero, 1994; 1999; Zebker and Lu, 1998). Itoh (1982)는 언래핑의 유일한 해를 계산하기 위해 1) 인접한 두 픽셀 사이의 절대 위상 차이가 π미만이며, 2) 언래핑을 통하여 복원되는 절대 위상은 비회전성 벡터장으로 제한하였다. 이상의 두 가지 전제조건은 인접한 두 픽셀 t와 t–1 사이에서 절대 위상의 기울기 벡터 \(\begin{aligned}\overrightarrow{\Delta \emptyset}\end{aligned}\)(t, t–1), 벡터장의 회전(Curl) \(\begin{aligned}\nabla \times \overrightarrow{\Delta \emptyset}\end{aligned}\)(t, t–1)은 다음의 식(2)와 (3)으로 표현할 수 있다(Yu et al., 2019).

\(\begin{aligned}\overrightarrow{\Delta \emptyset}(t, t-1)=\left\{\begin{array}{cc}\psi(t)-\psi(t-1) & |\psi(t)-\psi(t-1)| \leq \pi \\ \psi(t)-\psi(t-1)-2 \pi & \psi(t)-\psi(t-1)>\pi \\ \psi(t)-\psi(t-1)+2 \pi & \psi(t)-\psi(t-1)<\pi\end{array}\right.\\\end{aligned}\)      (2)

\(\begin{aligned}\nabla \times \overrightarrow{\Delta \emptyset}(t, t-1)=0\end{aligned}\)       (3)

여기서 식(1–3)에 따라 픽셀 t에서의 언래핑된 위상은 식(2)에 대한 적분으로 계산할 수 있다. 특히 벡터장에 회전을 0 (식(3))이라 가정하므로 특정 기준 위치부터 관심 픽셀까지 누적된 언래핑 결과(경로를 따르는 적분 결과)는 경로에 관계없이 유일한 해를 도출할 수 있다. 특히 해의 유일성은 1차원 위상 뿐 아니라 2차원 이미지에 대해서도 기대 가능하다. 이에 따라 이상적인 경우에 단순한 경로기반의 플루드 필 적분(flood fill integration) 방법을 통하여 간섭영상의 언래핑이 수행될 수 있다(Yu et al., 2019).

2) 비 딥러닝 기반 위상 언래핑 기법

(1) 항로 추종 방법

만약 영상 내의 일부 적분 경로가 Itoh (1982)의 전제조건을 만족한다면, 해당 적분 경로에서는 문제없이 언래핑이 가능하다(Goldstein et al., 1988; Yu et al., 2019). 항로 추종 방법은 영상 내에 존재하는 여러 적분 경로의 경우의 수 중에서 오차를 발생하지 않는 최적의 적분 경로를 선택하는 방법이다. 간섭위상의 안정성이나 단절구간을 정량화 할 수 있는 품질 인덱스 맵(quality index map)을 기반으로 최적의 적분 경로가 결정된다. 가장 일반적으로 활용되는 품질은 residue이다. Residue는 간섭영상 내에서 Itoh (1982)의 전제조건을 만족하지 않는 위치를 나타낸다. 즉 만약에 언래핑 경로가 residue를 지나지 않도록 결정된다면 오차 없이 언래핑이 가능하다. Branch-cut 알고리즘은 대표적인 항로추종 언래핑 방법으로 residue로부터 적분 경로를 가로막는 선분을 생성하며 해당 선분의 길이를 최소화하여 전체 영상 내의 위상 단절 구간을 최소화한다. 최근 연구에서는 단층 파열선을 따라 적분 경로를 사용자가 직접 제한하여 언래핑 오차를 방지하기도 한다(Boncori, 2019; Yue et al., 2017;Wang et al., 2018).

(2) L^p norm 최적화 방법

래핑된 영상과 언래핑된 영상의 위상 변화율 차이의 L^p norm을 최소화할 수 있는 언래핑 해를 결정하는 방법이다. M × N 크기의 간섭영상 안에 존재하는 (i, j) 위치의 픽셀에 대해 래핑된 위상을 ψ_{i, j}라 할 때에, 언래핑된 위상 ø_{i, j}는 식(4)의 j를 최소화함으로써 결정한다.

\(\begin{aligned} J= & |\epsilon|^{p}=\sum_{i=0}^{M-2} \sum_{j=0}^{N-1}\left|\emptyset_{i+1, j}-\emptyset_{i, j}-f_{i, j}\right|^{p} \\ & +\sum_{i=0}^{M-1} \sum_{j=0}^{N-2}\left|\emptyset_{i, j+1}-\emptyset_{i, j}-g_{i, j}\right|^{p}\end{aligned}\)       (4)

여기서 є는 래핑된 위상과 언래핑된 위상의 위상 변화율 차이, f_{i, j}와 g_{i, j}는 각각 래핑된 위상의 가로와 세로 방향 위상 기울기이다. 변분법(Calculus of variations)과 오일러-라그랑주 방정식(Euler-Lagrange equation)에 따라 J를 최소로 하는 언래핑된 위상을 결정할 수 있다. 최종적으로는 비선형의 편미분 방정식에 따라 언래핑 해를 도출할 수 있다. L^p norm 최적화 방법에 대한 보다 자세한 설명은 Ghiglia and Romero (1994, 1996), Costantini(1998) 그리고 Baek (2022) 등에서 확인할 수 있다.

p의 값에 따라 L^p norm 최적화 방법으로 언래핑된 결과의 특징이 달라진다. 일반적으로 p가 1일 때 가장 실용적인 언래핑 해가 도출되는 것으로 알려져 있다. p>1인 경우 영상 안에서 오차가 심한 지역의 L^p norm이 실제보다 과장되며 그 오차가 영상 전체에 대해 분배된다. 이 과정에서 언래핑 결과가 스무딩되어 정성적으로는 언래핑이 잘 된 것으로 보인다. 하지만 해당 자료를 다시 래핑 했을 때 원본 래핑 영상과 일치하지 않는 문제(fringe non-congruency)가 발생한다. p<1 인 경우 J를 최소화하는 절차가 비볼록 최적화 문제(non-convex optimization problem) 혹은 비결정 난해(non-deterministic polynomial-time hard problem)로 변환되어, J를 최소로 하는 언래핑해의 최적성을 확신하기에 어려움이 있다. 한편 p=1일때, 오차가 과장되어 전체 언래핑 영상에 분배되는 현상이 발생하지 않으며, 이에 따라 프린지 일관성(fringe congruency)이 잘 유지된다. 또한, 변분법과, 오일러–라그랑주 방정식 그리고 비선형의 편미분 방정식에 따라 최적해를 도출할 수 있는 장점이 존재한다. 이에 따라 최근의 L^p norm 방법은 대부분 p=1인 경우에 따라 이루어진다. 대표적인 L^p norm 최적화 언래핑 방법은 minimum-cost flow (MCF)와 minimum discontinuity 방법이 존재한다(Flynn, 1997; Costantini, 1998; Werner et al., 2002).

(3) 위상 노이즈 및 변화율 저감 방법

이상의 두 가지 언래핑 방법은 수치표고모델을 제작하거나 지표변위를 관측하는 등 레이더 간섭영상에 적용되어 왔다. 하지만 여전히 노이즈가 심하거나 위상 변화율이 크고 복잡한 경우에 적절한 언래핑 해를 결정하는 데에 어려움이 있었다. 위상 노이즈는 언래핑 오차를 발생시키는 주요한 요인이다. 이 때문에 많은 연구에서는 위상 노이즈 저감 기법을 언래핑 절차 이전에 적용한다. 그런데 위상 노이즈 저감과 언래핑은 각각 다른 가정에 의하여 개발이 된 기술로 이들을 개별적인 단계로 따로 적용하였을 때 언래핑 오차가 가중될 수 있다는 사실이 확인되었다. 이에 따라 일부 선행연구들 중에는 위상 노이즈 저감과 언래핑 절차를 통합시켜 언래핑 오차를 저감한 사례가 존재하였다(Yu et al., 2018; Loffeld et al., 2007; Martinez-Espla et al., 2009; Chen et al., 2013). 하지만, 이 기법은 자료 처리 시간이 오래 걸리는 한계가 있었으며 여전히 입력자료로써 노이즈가 저감된 위상자료가 적용되는 것이 더 우수한 성능을 나타내는 한계가 있었다(Yu et al., 2019).

한편, 크고 복잡한 위상 변화율 역시 언래핑 오차를 발생시키는 주요 요인이다. 많은 연구에서는 실제 언래핑된 위상과 유사한 위상 모델을 생성하여 래핑된 영상으로부터 차분함으로써 잔여 간섭영상을 생성하였다. 생성된 잔여 간섭영상은 위상 변화율이 크게 저감되어 있으므로 보다 원활하게 언래핑이 가능했으며, 언래핑된 잔여 간섭영상에 대해 다시 위상 모델의 위상 값을 보상해줌으로써 언래핑을 수행하였다. Rabus and Pichierri(2018)은 고해상도 TerraSAR-X 간섭영상을 지표변위 모델을 생성하고 원본 영상에 대해 공액복소수 곱을 적용하여 원본영상의 복잡한 위상 변이를 저감하였다. Yun et al. (2007)은 오프셋 트래킹으로 측정된 지표변위 영상에 대해 중간값 필터를 적용하여 지표변위 모델을 생성한 뒤 언래핑을 수행했다. 이와 유사하게 Baek et al. (2018)은 다중 커널 기반 오프셋 트래킹 기법으로부터 생성된 지표변위 영상에 대하여 non-local mean filter를 적용하여 변위 모델을 생성한 이후 언래핑을 수행한 바 있다. 다중 커널 기반 오프셋 트래킹 기법으로부터 생성한 변위모델을 활용함으로써 단층의 파열 지점 근처까지 효과적으로 언래핑을 수행할 수 있었다(Chae et al., 2019; Baek et al., 2020a).

3. 딥러닝 기반 위상 언래핑 기법

최근 딥러닝을 활용한 위상 언래핑 기법이 제시된 바 있으며 전통적인 비 딥러닝 기반 언래핑 알고리즘을 상회하는 성능을 보이고 있다. 하지만 아직까지 초기 연구단계로 다양한 방향으로 그 가능성이 제시되고 있다. 이에 따라 본 장에서는 딥러닝 기반 언래핑 기법에 일반적으로 활용되는 패치기반 완전 합성곱 신경망(patch-based fully convolutional neural network)을 간략하게 설명하고, 영상 기반 딥러닝 기법의 연구 사례에 대하여 서술하고자 한다. 이때 영상 기반 딥러닝 기법의 모델 학습을 위한 데이터 시뮬레이션 방법, 모델 구조, 그리고 최종적인 언래핑 결과 예측 방법을 중점적으로 리뷰하고자 한다.

1) 패치기반 완전 합성곱 신경망

(1) 합성곱 신경망

Fig. 1(a)는 딥러닝 모델을 활용한 예측과 딥러닝 모델의 학습 방법의 모식도를 나타낸다. 딥러닝 모델을 학습하기 위해서 가장 먼저 초기 파라미터로 적용된 히든레이어(hidden layer)로부터 결과를 예측한다. 예측된 결과의 오차량을 손실함수로 표현하고 손실함수의 값을 최소화하는 방향으로 히든레이어 가중치를 업데이트한다(Mahsa and Lee, 2018). 합성곱 신경망은 가중치 파라미터로써 아핀레이어를 사용하는 대신에 합성곱 필터 안의 구성성분을 가중치 파라미터 행렬로 활용한다. 학습을 진행하면서 각 합성곱 필터는 일반적인 영상 처리 분야에서의 공간 필터와 유사한 형태로 갱신되며, 입력데이터가 가지고 있는 공간적 특성정보를 추출할 수 있게 된다. 이때 추출된 정보는 영상의 형태를 유지하므로 특성맵(feature map)이라 표현한다. 일반적으로 기울기 소실(gradient vanishing)이 발생하기 전까지는 합성곱 필터를 적용할수록 고급 정보를 추출할 수 있으므로 성능 향상에 효과적이지만 이와 동시에 특성맵의 해상도가 저하되는 양상을 나타낸다(Long et al., 2015; Ronneberger et al., 2015).

Fig. 1. The schematic diagram for training deep learning model.

커널의 크기는 합성곱 신경망을 설계할 때 가장 기본적인 하이퍼파라미터이다. 최근 연구에서는 커널의 크기를 키움으로써 수용영역이 확대되고 보다 강건한 성능을 도출하는 데에 효과적이라 알려져 있다. 또한, 커널의 크기를 키움으로써 노이즈에 의한 영향을 저감할 수 있다는 사실도 알려져 있다. 하지만 커널의 크기가 커지면 모델 학습과 전파를 위한 연산량이 증가하므로 일반적으로는 3 × 3 커널이 가장 많이 활용된다(Ronneberger et al., 2015; Badrinarayanan et al., 2017).

(2) 인코더-디코더 구조

인코더–디코더 구조는 완전 합성곱 신경망에서 일반적으로 활용되는 구조이다(Fig. 2) (Cho et al., 2014; Oliveira,2019). 인코더–디코더 구조는 입력 영상에 대해 주로 느슨하게 연결된 네트워크(coarse connected network) 구조로 설계되므로 영상 내의 객체를 지역화(localization)하거나 영상의 밝기 및 거칠기 특징에 따라 분류하는 데에 효과적이다. 이에 따라 인코더-디코더 구조는 패치기반 완전 합성곱 신경망에서 입력데이터의 의미적 분할(semantic segmentation)을 위한 모델로써 널리 활용되고 있다.

Fig. 2. Encoder-decoder structure.

인코더는 입력 데이터에 대하여 모델의 목표 결과 도출에 필요한 정보를 추출하는 역할을 수행한다. 즉, 입력되는 데이터로부터 특성맵을 생산하는 과정이라 할 수 있다. 인코더에서는 특성맵을 생성하기 위한 합성곱레이어 이외에도 배치 정규화(Batch normalization), 풀링 레이어(pooling layer) 등의 레이어들이 포함될 수 있다(Loffe and Szegedy, 2015). 레이어는 입력데이터로부터 일반적인 정보를 추출하고 오버피팅을 방지한다. 특히 풀링 레이어는 인접 픽셀 사이의 통계치에 따라 특성맵의 대표값을 결정하는 비선형 변환 방법으로 특성맵의 차원을 축소하여 연산 효율성을 향상시킬 수 있으며, 적절한 풀링 레이어 수를 결정함으로써 딥러닝 모델의 강건성을 확보할 수 있다(Boureau et al., 2011; Bera and Shrivastava, 2020). 디코더는 인코더에서 생성된 특성맵을 활용하여 딥러닝 모델의 목표 결과에 부합하는 형태로 출력값을 예측하는 역할을 수행한다. 디코더에서는 반복적인 합성곱 레이어와 풀링 레이어에 의하여 저하된 해상도를 복원하기 위하여 일반적으로 업샘플링(upsampling) 레이어가 활용된다.

딥러닝 기반 언래핑 모델은 대부분 인코더-디코더 구조를 기반으로 설계되었다. 모든 모델은 래핑된 위상을 입력 데이터로 활용하여 언래핑 위상을 재구성하기 위한 데이터 혹은 언래핑된 위상을 출력한다. 또한 풀링레이어를 활용한 다운 샘플링과 업샘플링 레이어의 수를 동일하게 두어 출력데이터가 입력데이터에 대해 동일한 해상도를 가지도록 하였다.

2) 딥러닝 기반 위상 언래핑 기법

일반적으로 딥러닝 모델의 성능에 가장 주요한 영향을 미치는 것은 학습데이터와 딥러닝 모델의 구조이다. 그 중에서 특히 학습데이터가 중요한 영향을 미친다. 또한 최근 딥러닝 기반 언래핑 기법의 연구 사례를 조사하였을 때에 최종적으로 언래핑된 위상을 예측하는 방법에 차이가 존재하였다. 이에 따라 본 연구에서는 기존 연구 사례를 언래핑된 위상을 예측하는 방법, 딥러닝 모델의 구조, 그리고 학습데이터 제작 방법에 따라 비교하였다(Table 1).

Table 1. Brief information of recent studies on deep learning based phase unwrapping

GBS: Gaussian bubble simulation, TPS: Topographic phase simulation, DPS: Deformation phase simulation, PBS: Phase bias simulation(orbit error, atmospheric distortion, topographic error), SSF: The size of the smallest feature maps.

(1) 언래핑된 위상 예측 방법

딥러닝 모델 기반 언래핑된 위상 예측 방법은 크게 모호 정수 분류방법(wrap count segmentation), 위상 단절 구간 탐지 방법(phase jump classification), 위상 예측방법(unwrapped phase regression), 딥러닝과 전통적인 언래핑 기법의 연계 방법(deep-learning-assisted method)과 같이 네 가지 방법으로 분류할 수 있다. 각 방법들은 모두 위상 언래핑을 목적으로 하고 있으나 예측하는 방법과 특징이 다르다. 이후 문단부터는 각 분류 기법의 특징과 한계점을 간단하게 서술한다.

먼저 모호정수 분류 방법은 래핑된 위상을 언래핑된 위상으로 변환하기 위한 모호정수를 예측한다. 보다 자세하게 각 구역에 대한 모호정수를 영상 분할(Semantic Segmentation)을 통하여 나타낸다. 예측된 모호정수를 활용하여 식(1)에 따라 언래핑된 위상을 결정한다. 모호정수 분류 방법은 Spoorthi et al. (2018)과 Spoorthi et al.(2020)에서 연구된 바 있다. 이 방법은 영상 내에서 구역별로 상대적인 모호정수의 차이를 비교해야 하므로 패치 전체에 대한 위상 정보가 함께 고려될 필요가 있다. 이 방법을 활용하였을 때에 경계 부분에서 모호정수의​​​​​​​ 오분류가 발생한다고 알려져 있다. 이에 따라 Spoorthi et al. (2018)에서는 클러스터링 방법을 통하여 모호 정수 예측 결과를 후처리하여 성능을 개선하였다. 하지만 이 방법은 노이즈가 심한 경우 적절한 클러스터링이 어려운 한계가 있었으며 이에 따라 Spoorthi et al. (2020)에서는 Dense block을 적용하여 보다 강건한 형태로 성능을 개선하였다. 하지만 이 방법은 딥러닝 모델의 특성상 학습 데이터에서 정의한 모호정수의 범위 바깥의 위상에 대해서는 언래핑이 어려운 한계가 존재한다.​​​​​​​

위상 단절구간 탐지 방법은 래핑된 간섭영상으로부터 가로와 세로 방향의 위상 단절구간을 딥러닝 모델로 탐지한다(Li et al., 2022; Zhou et al., 2020; Sica et al., 2020). 가로 방향과 세로 방향에 대해 각각 예측한 위상 단절 구간을 활용하여 모호정수의 형태로 복원한다(Sica et al., 2020). 복원한 모호정수는 모호정수 분류방법과 동일하게 식(1)에 따라 언래핑된 위상으로 복원한다. 이 방법은 지역적으로 나타나는 위상 단절 구간을 탐지하므로 영상 전체에 대한 위상 정보를 함께 고려할 필요가 없다는 장점이 있다. 하지만 영상 전체에서 위상 단절 구간에 해당되는 지역의 비율이 낮으므로 딥러닝 모델을 학습할 때 데이터 불균형에 의한 성능 왜곡이 발생할 수 있다. 또한 예측한 위상 단절구간으로부터 모호정수를 변환할 때에 인접 픽셀 사이의 위상차가 항상 2 π 미만인 것으로 가정을 하므로 전통적인 알고리즘 기반 딥러닝 기법이 가지고 있는 한계점을 제대로 개선하지 못하는 한계가 있다(Wu et al., 2022).​​​​​​​

위상 예측 방법은 회귀 예측 모델을 활용하여 언래핑된 위상을 예측하는 방법이다 (Zeyada et al., 2022; Wang et al., 2019; Baek, 2022). 패치 전체에 대한 언래핑 위상을 예측해야 하므로 패치 내에서의 상대적인 위상 관계를 고려할 필요가 있다. 이 방법은 학습한 것보다 큰 위상 변이를 가지고 있는 패치에 대해서도 성능이 저하되지만 언래핑이 가능하다고 알려져 있다(Wang et al., 2019). 일반적으로 회귀모델을 학습할 때에 사용하는 손실함수인 평균제곱오차(Mean squared error)를 적용하였을 때 경계부나 노이즈가 심한 지역에서 스무딩이 심하여 위상 일치성이 잘 유지가 되지 않는다. 이를 개선하기 위하여 Zeyada et al. (2022)는 회귀 예측 이후 모호정수의 반올림 과정을 통하여 이 문제를 개선하고자 하였다. 한편 Baek (2022)에서는 손실함수로 평균제곱오차 대신 평균절대값오차(Mean absolute error)를 적용하여 위상 일치성에 대한 문제를 개선하였다.​​​​​​​

딥러닝과 전통적인 언래핑 기법의 연계하는 방법은 크게 두 가지 단계로 진행된다. 먼저 딥러닝 기법을 활용하여 전통적인 언래핑 기법을 적용하기 위한 기반 자료를 생성한다. 그리고 생성된 자료를 활용하여 전통적인 언래핑 기법을 적용한다. Zhou et al. (2022b)는 딥러닝 기법과 일반적으로 활용되는 항로 추종 언래핑 방법인 Goldstein (1988) Branch-cut 기법을 연계하여 언래핑을 수행하였다(Goldstein et al., 1988; Yu et al., 2018). 해당 연구에서는 래핑된 위상자료로부터 양과 음의 residue로부터 적분 경로의 단절구간(Branch-cut)을 예측하는 딥러닝 모델을 개발하였다. 해당 딥러닝 모델을 활용하여 적분경로 단절 구간을 결정하고 항로추종 방법에 적용하여 언래핑을 수행하였다. 이 방법 역시 전체 패치 영​​​​​​​역에서 적분경로의 단절구간은 매우 좁은 영역을 차지하므로 데이터 불균형에 의한 성능 왜곡을 내재하고 있다. Wu et al. (2022)는 대표적인 L¹-norm 최적화 언래핑 방법인 MCF 방법과 연계하여 언래핑을 수행하였다. 해당 연구에서는 딥러닝 모델을 통하여 인접 픽셀 사이의 위상 단절(phase discontinuity) 확률을 예측하여 네트워크의 가로 및 세로 방향 비용으로 변환하여 MCF 해를 도출하도록 하였다.

(2) 위상 언래핑을 위한 딥러닝 모델 구조

대부분의 연구에서는 일반적으로 활용되는 인코더-디코더 구조의 딥러닝 모델을 그대로 혹은 일부변형 적용하여 위상 언래핑을 수행하였다. Zhou et al. (2022b)과 Zhou et al. (2020)은 비교적 간단한 3층 구조의 합성곱 신경망을 적용하여 적분 경로의 단절선(Branch-cut)이나 위상의 단절 구간을 탐지하는 데에 과적합을 방지하였다. Li et al. (2022), Spoorthi et al. (2018) 그리고 Spoorthi et al. (2020)은 DeConvNet 모델에 대해 ResNet이나 DenseNet의 블록을 반영하여 딥러닝 모델을 설계하였다. U-Net과 SegNet 그리고 DeepLabV3+와 유사한 구조의 딥러닝 모델이 다수 활용되었다(Baek, 2022; Zhou et al., 2022a; Wu et al., 2022; Zeyada et al., 2022; Pu et al., 2021; Sica et al., 2020; Wang et al., 2019). 이들 모델에 대해 출력 노드의 정보를 수정함으로써 각 예측 방법에 따라 언래핑을 수행하였다. Zeyada et al. (2022)는 U-Net에 ResNet 블록을 추가하여 기울기 소실 문제를 방지하였으며 Zhou et al. (2022a)는 U-Net 기반의 생성자를 가진 생성적 대립 신경망(Generative adversarial network)을 적용하여 언래핑을 수행하였다. 또한 Baek (2022)는 3 × 3, 5 × 5 그리고 확장된(dilated) 3 × 3 필터로 각각 구성된 다중 인코더 기반 U-Net 구조를 제안하여 노이즈에 의한 효과를 저감하고 성능을 향상시킨 바 있다.​​​​​​​

기존 연구에서 적용한 대부분의 언래핑을 위한 모델은 인코더에서 풀링 레이어를 적용하는 구조로 이루어져 있다. 이는 생성되는 특성맵에서 대표값만을 남겨 추출된 정보를 일반화시키는 효과가 있다. 즉 일반적으로 풀링 레이어의 수가 증가할수록 과적합을 방지하는 효과가 있다. 또한 풀링 레이어의 수가 많아질수록 최하층의 특성맵이 작아져 전체 패치에 대한 위상 정보를 동시에 고려하는 것이 용이해진다(Long et al., 2015; Shelhamer​​​​​​​ et al., 2016; Costantini, 1998). 하지만 풀링 레이어의 수가 과도하게 많으면 오히려 성능이 저하될 수 있으므로 적절한 수의 풀링 레이어가 결정되어야 한다.

모호정수 예측 방법과 언래핑된 위상 예측 방법에 대해서는 전체 패치내의 인접 픽셀사이의 상대적인 위상 차이를 고려해야한다. 따라서, 패치 내의 전체 픽셀에 대한 위상 정보를 함께 고려해야 한다. 일반적인 인코더–디코더 구조의 딥러닝 모델은 영상 분할을 목적으로 개발되어 왔으므로 지역화(localization)와 분류(classification)에 목적을 두고 있다. 즉 전체 패치에 대한 위상 정보를 함께 고려하기에는 기존 모델을 그대로 활용하는 것이 적절하지 않으며 적합한 딥러닝 모델의 구조를 고려해야한다. Baek (2022)는 이와 관련하여 딥러닝 모델에서 풀링 레이어의 개수에 따라 달라지는 최하층 특성맵의 크기와 활용한 합성곱 커널의 크기의 비율에 따른 언래핑 성능을 비교한 바 있다. 해당 연구에 따르면 최하층의 특성맵의 크기가 활용한 합성곱 커널의 크기보다 작아지기 전까지 언래핑 성능이 지속적으로 향상된다는 사실을 확인하였다. 반면에, 최하층 특성맵의 크기가 활용한 합성곱 커널의 크기보다 작아지면 언래핑 성능이 저하되는 현상을 확인하였다.​​​​​​​

(3) 학습데이터 제작 방법

딥러닝 모델은 학습데이터로부터 문제를 해결할 수 있는 가중치를 학습한다. 만약 특정 자료에 치우쳐진 학습데이터를 활용하거나, 실제 데이터와 전혀 무관한 데이터를 활용하여 학습을 수행하면 본 목적과 상이한 결과를 도출하는 모델이 생성될 수 있다. 실제로 Baek(2022)에서는 딥러닝 모델의 구조는 언래핑 성능 향상에 보조적인 영향을 미치기는 하지만 가장 주요한 영향을 미치는 것이 학습데이터라는 사실을 확인하였다. 이에 따라 언래핑을 위한 딥러닝 모델을 제작할 때 실제의 데이터와 일반적인 상황을 고려할 필요가 있으며 적합한 학습데이터를 구축하는 것은 매우 중요하다.

실제 레이더 간섭영상은 지표의 특성과 위성 촬영 기하에 따라 발생하는 위상 변화와 노이즈 양상을 잘 반영할 수 있다(Zhou et al., 2022a; Li et al., 2022). 하지만 래핑된 레이더 간섭영상으로부터 라벨 데이터를 생성하는 과정에는 언래핑 절차가 필요하다 (Baek, 2022; Sica et al., 2020). 이 과정에서 언래핑 오차를 포함하는 학습데​​​​​​​이터가 생성될 수 있다. 이와 관련하여 Baek (2022)는 실제 위성 레이더 간섭영상으로부터 언래핑 오차가 저감된 검증용 데이터를 생성하기 위하여 실제 간섭 영상에 대해 수치표고모델을 활용하여 모사된 지형 위상을 차분하여 잔여 간섭영상을 생성했다. 이어서 잔여 간섭영상에 대해 언래핑을 수행한 후 육안 분석을 통해 언래핑 오차가 발생한 지역을 마스킹 아웃했다. 최종적으로 모사된 지형 위상을 언래핑된 잔여 간섭영상에 보상해줌으로써 검증 및 학습에 활용 가능함 언래핑된 실제 레이더 간섭영상을 생성했다(Baek et al., 2018). 이상의 방법을 통하여 언래핑 오차의 영향이 적은 영상을 생성할 수 있으나, 적은 수의 멀티룩이 적용된 자료에 대해서는 언래핑 오차가 발생한 지역을 육안 분석을 통하여 결정하는 데에 한계가 있다. 또한 딥러닝 모델을 학습하는 데에 충분한 데이터를 구축하는 데에도 어려움이 있다.​​​​​​​

이에 따라 많은 연구에서는 시뮬레이션을 통하여 학습 및 검증용 데이터를 생성했다. 또한 언래핑 절차에서 발생할 수 있는 언래핑 오차가 학습 및 검증 데이터에 포함되는 것을 방지하기 위하여 언래핑된 위상 데이터를 통해 우선 시뮬레이션하였다(Wu et al., 2022). 그리고 언래핑된 위상 데이터에 대해 (–π, π) 사이의 모듈로를 계산함으로써 래핑된 위상 데이터를 제작하였다. 이때 주로 위상의 변화율이나 노이즈를 고려하여 시뮬레이션을 수행하였다(Wang et al., 2019). 특히 레이더 간섭영상에서는 가산 노이즈를 표현하므로 위상 변이(phase variation)와 노이즈를 각각 시뮬레이션한 후 합산하는 형태로 노이즈를 시뮬레이션 하였다(Lee et al., 1994; Lee et al., 2016).

위상 변이는 가우시안 버블(Gaussian bubble)과 같은 임의의 곡면을 활용하거나 레이더 간섭영상의 구성성분과 수학적 모델링 수식에 따라 시뮬레이션하는 방법으로 분류된다(Spoorthi et al., 2018; 2020; Baek and Jung, 2019; Lee et al., 2016). 가우시안 버블 방법은 입력 파라미터를 달리 적용함으로써 학습 데이터를 필요에 따라 무수히 생성할 수 있는 장점이 있다. 하지만 레이더 간섭영상에서 확인되는 선형적인 위상 변이 패턴을 재현하기 어렵다. 딥러닝 모델은 학습한 데이터의 분포에 따라 성능의 저하가 발생하므로 해당 데이터로 학습한 언래핑 모델을 활용하여 실제 레이더 간섭영상에 적용하는 데에는 한계가 있다.​​​​​​​

이에 따라 대부분의 연구에서는 수치표고모델을 실제 레이더의 촬영 기하에 따라 레이더 좌표계로 변환하고, 부록 1의 식(2)에 따라 지형위상을 시뮬레이션하여 패치 내의 위상 변이를 생성하였다(Baek 2022; Zhouet al., 2020; 2022b; Wu et al., 2022; Li et al., 2022; Pu et al.,2021; Sica et al., 2020). 이 방법은 실제 레이더에서 발생하는 포어쇼트닝(foreshortening), 레이오버(layover) 등과 같은 지형왜곡 성분을 반영하는 데에 장점이 있다. 일부 연구에서는 지형 위상 성분 이외에 지표변위나 위상 편이(phase bias)에 의한 효과를 반영한 바 있다(Wu et al., 2022; Baek, 2022). Wu et al. (2022)는 지형위상 성분 이외에 지표변위 성분과 Perlin 노이즈를 활용한 대기오차 성분 그리고 상수로 표현가능한 단순 위상 편이를 입력하여 언래핑된 위상 데이터를 시뮬레이션 하였다. 한편, Baek (2022)는 위상 변이에 대한 데이터 불균형에 의하여 딥러닝 모델의 성능이 특정 위상 변이 상황에 치우칠 수 있다는 점을 고려하여 초기 지형위상 패치 내의 프린지 수를 기준으로 데이터 확장기법을 적용하였다. 이에 따라 전체 학습데이터의 프린지 분포를 균일 분포에 가깝게 변환하였다(Baek, 2022; Johnson and Khoshgoftaar,2019). 또한, 해당 자료에 2차원 다항식 모델로 생성한 위상 편이 성분을 입력해줌으로써 데이터 확장의 효과를 증대했다.​​​​​​​

멀티룩된 간섭위상은 멀티룩수와 특정 픽셀의 긴밀도(coherence)에 따라 표준편차가 달라지는 확률밀도함수로 정의할 수 있다(Lee et al., 1994) (부록 2, 식(1)). 또한Rodriguez and Martin (1992)는 Cramer-Rao Lower bound에 따라 멀티룩 수가 충분히 커질 때 멀티룩된 간섭위상의 노이즈는 부록 2의 식 2와 같은 표준편차를 따르는 가우시안 분포로 근사할 수 있음을 나타냈다. 위상 언래핑 학습데이터를 시뮬레이션 한 연구들은 이상의 두 가지 수식에 따라 노이즈를 시뮬레이션하였다(Baek,2022; Zhou et al., 2022ab; Wu et al., 2022; Zeyada et al., 2022; Li et al., 2022; Pu et al., 2021; Zhou et al., 2020; Sica et al., 2020). 이때 전체 영상에 대하여 동일한 표준 편차를 가지는 노이즈를 생성하거나 지역에 따라 다른 레벨의 노이즈를 생성하는 방법으로 분류할 수 있다. 많은 연구에서는 입력데이터에 대해 각 패치별로 노이즈의 표준편차를 결정하였다(Wang et al., 2019; Spoorthi et al., 2020; Sica et al., 2020; Zhou et al., 2020; Pu et al., 2021; Zeyada et​​​​​​​ al., 2022). 그리고 패치 내에 해당 표준편차를 따르면서 평균이 0인 임의 노이즈를 생성하였으며 생성된 노이즈를 위상변이 패치에 더해줌으로써 노이즈가 추가된 입력영상을 생성하였다.

단순 노이즈 입력데이터는 매우 빠르게 시뮬레이션이 가능한 장점이 있으나 해당 데이터를 활용하여 학습한 딥러닝 모델은 지역적으로 달라지는 위상 패치에 대해 언래핑 성능이 저하되는 양상이 확인되었다(Baek, 2022). 이에 일부 연구에서는 언래핑을 위한 딥러닝 모델이 지역적으로 다른 노이즈 상황에 대해서도 일정한 성능을 유지하도록 지역적으로 다른 노이즈를 생성하였다. Sica et al. (2020)은 다양한 노이즈 상황에 대한 적응력을 가진 딥러닝 모델을 학습하기 위하여 노이즈가 없는 입력데이터, 지역적으로 동일한 레벨의 노이즈가 분포하는 입력데이터, 그리고 실제 위성레이더 간섭영상으로부터 생성한 위상 긴밀도로부터 생성한 노이즈 입력데이터를 각각 생성하여 함께 학습데이터로써 활용하였다. Baek (2022)는 노이즈 레벨에 대한 데이터 불균형을 방지하기 위하여 실제 위상 긴밀도 자료에 대하여 데이터 확장기법을 적용한 뒤 지역 노이즈를 생성하였다. 한편 Wu et al. (2022)는 실제 위상 긴밀도 자료에 대하여 노이즈를 시뮬레이션 하였으며 심한 지역적인 노이즈를 추가로 반영하기 위하여 임의의 형상을 가진 cut-off를 적용하여 해당 지역에 대해 (5 π, 10 π) 범위의 가우시안 노이즈를 입력하였다.​​​​​​​

Fig. 3은 단순노이즈와 지역 노이즈의 예시를 나타낸다. Fig. 3(a)는 수치표고모델로부터 생성한 지형 위상으로 노이즈를 입력하지 않은 래핑된 위상을 나타낸다. Fig. 3(b)는 실제 위성레이더 간섭영상으로부터 산출한 긴밀도를 나타내며, Fig. 3(b)와 (c)는 각각 단순 노이즈와 지역 노이즈를 시뮬레이션하여 입력한 래핑된 위상이다. 단순 노이즈는 긴밀도(Fig. 3(b))의 평균(0.77)을 고려하여 시뮬레이션 하였으며, 지역 노이즈는 긴밀도를 활용하여 지역적으로 다른 노이즈를 시뮬레이션 했다. 지역적으로 긴밀도가 특히 낮은 지역에서는 심한 노이즈가 생성되어 위상 변이 패턴이 잘 유지되지 않는 현상을 확인할 수 있다.​​​​​​​

Fig. 3. The examples of simple and local noise interferograms; (a) noise free wrapped interferogram, (b) interferometric coherence, (c) simple noise wrapped interferogram, and (d) local noise wrapped interferogram.​​​​​​​

생성된 언래핑된 위상 데이터는 언래핑 모델의 예측방법에 따라 그대로 딥러닝 모델 학습을 위한 라벨 데이터로 활용(Baek, 2022; Zeyada et al., 2022; Wang et al., 2019)되거나 모호정수(Spoorthi et al., 2018; 2020), 위상단절점 (Li et al., 2022; Zhou et al., 2020; Sica et al., 2020), 비딥러닝 기반 언래핑 기법에 입력하기 위한 점수(Wu et al., 2022; Zhou et al., 2022b)의 형태로 변환되었다. 또한 각 모델의 예측 방법에 따라 단순 래핑한 위상 정보 이외에 긴밀도, 위상 변화율, residue 등의 데이터가 추가로 구축되기도 하였다(Wu et al., 2022; Sica et al., 2020).

한편, 위성레이더를 활용한 차분 간섭기법이 지표변위 관측에 매우 활발하게 적용되며, 언래핑 성능이 지표변위 관측에 매우 중요한 영향을 미친다는 점에서 차분 간섭 영상에 대한 위상 언래핑 기법은 수요가 높다. 하지만 아직까지 위성레이더 차분 간섭영상을 언래핑 하기 위한 연구는 거의 이루어지지 않았다(Wu et al., 2022). 차분간섭영상에서 나타나는 위상 신호의 패턴은 지형 위상 성분과 크게 다르므로 기존 연구에서 개발한 딥러닝 모델을 차분 간섭영상에 적용하면 성능 저하가 예상된다(Baek, 2022). 차분 간섭 영상에 대한 언래핑 모델 개발을 위해서는 추후 Okada 모델, Mogi 모델, Yang 모델 등의 지표 변위 모델을 활용하여 위성레이더 차분 간섭 영상을 시뮬레이션하는 절차에 대한 추가적인 연구가 필요할 것으로 보인다(Jo et al., 2018).

5. 결론

위상 언래핑 기법은 위성레이더 간섭기법을 활용하여 지표변위를 관측하거나 수치표고모델을 제작하는데에 필요한 필수적인 자료처리 과정으로 그 중요성에 의하여 매우 오랜 기간 동안 연구가 수행되어 왔다. 최근 딥러닝 기법이 다양한 영상처리 분야에서 전통적인 기법의 성능을 상회하고 있으며, 딥러닝을 활용한 언래핑 기법 역시 소개되고 있다. 본 논문에서는 전통적인 언래핑 기법의 이론적인 배경을 간략하게 정리했다. 또한, 현재까지 개발된 딥러닝 기반 언래핑 기법을 1) 언래핑된 위상의 예측 방법, 2) 위상 언래핑을 위한 딥러닝 모델의 구조 그리고 3) 학습데이터 제작 방법의 측면에서 최근 연구 동향을 소개하였다. 언래핑된 위상을 예측하는 방법에 따라서 전체 패치 내의 위상 정보를 고려하기 위한 딥러닝 모델 구조를 고려해야 한다는 사실을 확인하였다. 또한 딥러닝 모델 구조가 언래핑 성능에 영향을 미치는 것은 사실이지만 모델 구조보다 학습데이터를 위상과 노이즈에 대해 균형적으로 시뮬레이션 하는 것이 성능 향상에 더욱 큰 영향을 미친다는 사실을 확인하였다. 또한 지금까지의 연구는 대부분 지형위상을 활용하여 시뮬레이션 되었으므로 지표변위에 대해 적용하기에는 한계가 있을 것으로 판단된다. 추후 지표변위 언래핑을 위한 딥러닝 모델 개발을 위하여 학습데이터로써 차분 간섭영상을 시뮬레이션하는 절차에 대한 추가적인 연구가 필요하다.​​​​​​​