1. 서론
Frequency modulation continuous wave (FMCW) 레이더(radar)는 날씨 및 환경조건에 상관없이 안정적으로 사용을 할 수 있고, 비트(beat) 주파수와 도플러(doppler) 주파수를 통해서 물체에 대한 거리 및 속도를 탐지하여 운전자를 보조하는 자율주행 시스템에 활용되고 있다(Gao et al., 2021; Shin et al., 2018). 특히, 77 GHz FMCW 레이더는 짧은 밀리미터(millimeter) 파장의 특성으로 소형화 및 경량화된 안테나 제작이 가능하여 다양한 탑재체에 장착할 수 있다(Ramasubramanian and Ramaiah, 2018). 77 GHz FMCW radar를 이용한 W-band synthetic aperture radar (SAR) system은 짧은 파장과 높은 대역폭의 특성으로 거리와 방위 방향에서 높은 분해능을 갖는다(Soumekh, 1999). 이와 같은 장점을 통해서 최근에는 W-band SAR 영상을 활용하는 연구들이 활발히 진행되고 있다. 플랫폼을 안정적인 리니어 레일(linear rail)을 사용하여 긴 합성 시간에 대한 SAR 영상 복원을 검증하는 연구와 정지된 차량을 SAR 영상으로 복원하는 연구를 통해서 77 GHz-SAR 영상의 활용에 대한 가능성을 확인하였다(Iqbal et al., 2015; Jiang et al., 2021). 77 GHz-SAR 영상을 이용하여 빈 주차 자리, 차량, 건물, 보행자와 같은 도로 주변 환경을 SAR 영상으로 복원하는 연구도 수행되었다(Feger et al., 2017; Tebaldini et al., 2022).
SAR system에서는 지형 높이를 고려하지 않고 영상복원을 하면 실제 물체와 레이더 사이의 거리에서 오차가 발생하여 영상의 압축 성능을 저하시킨다. 앞서 제시된 W-band SAR system 선행 연구에서도 영상 복원 시depth map (깊이 맵)을 반영하지 않아서 focusing이 제대로 이루어지지 않았고, 복잡한 형상의 물체는 육안상 형태를 알아볼 수 없었다(Feger et al., 2017; Iqbal et al., 2015; Tebaldini et al., 2022). 특히, 형상과 산란 특성이 복잡한 가로수와 같은 물체들은 SAR 영상으로 구현하기 어려우며, 거리에 대한 정확한 계산을 위하여 보조 자료가 필요하다.
이를 위해 물체의 point cloud(포인트 클라우드)로부터 추출한 depth map을 SAR 영상 복원 알고리즘에 적용하여 지형 높이를 반영해야 한다. Point cloud는 두 개의 카메라로부터 얻은 영상의 시차를 이용하는 스테레오 카메라나 레이저의 반사 시간을 측정하는 라이다(LiDAR)를 통해서 구할 수 있다. 고가의 라이다는 운용환경을 구축하기 어렵기 때문에 저가의 스테레오 카메라를 SAR system에 결합하여 하나의 시스템으로 구축할 수 있다. 하지만 스테레오 카메라와 레이더는 서로 다른 기하구조를 가지고 있어서 2개의 영상 좌표를 일치시키는 것이 요구된다. 이를 위해 point cloud를 x, y, z축으로 병진하는 3개의 자유도와 회전하는 3개의 자유도를 합친 6 degrees of freedom (DOF)으로 변환하여 레이더 영상 좌표와 정합하는 과정이 필요하다. 본 논문은 엔트로피(entropy)에 따른 경사 하강법을 이용하여 point cloud의 최적의 6 DOF를 얻어서 depth map을 추출하고 SAR 영상에 정합하는 기법에 대하여 제시한다.
2. 연구 방법
2.1. 신호처리
2.1.1. 77 GHz FMCW Radar
77 GHz FMCW radar에서 최대 탐지 거리 및 속도, 분해능과 같은 성능들이 서로 영향을 주는 트레이드 오프(trade off) 특성을 가지고 있다. 그래서 대상 및 실험 환경에 필요한 성능을 파악하여 송신 신호를 알맞게 설정하고, 방위 및 거리 방향에서의 엘리어싱(aliasing) 효과를 방지하도록 SAR system을 설계하는 것이 중요하다(Shin et al., 2018).
Fig. 1은 FMCW 레이더에서 비트 주파수를 추출하여 타겟과의 거리를 측정하는 과정을 나타냈다. Fig. 1(a)는 FMCW radar 신호 처리에 대한 block diagram을 나타낸 그림이다. Voltage control oscillator에서 생성된 송신 신호가 송신 안테나를 통해서 전파된다. 타겟에 반사된 전파 신호는 수신 안테나를 통해서 들어오고 mixer에서 수신 신호와 송신 신호가 곱해진다. 합쳐진 신호의 고주파 성분이 low pass filter에서 제거되고, analog digital converter를 통해서 샘플링이 되어 비트 신호가 만들어진다.
\(\begin{aligned}s_{t}(t)=\exp \left(j 2 \pi\left(f_{c} t+\frac{1}{2} \alpha t^{2}\right)\right)\end{aligned}\) (1)
\(\begin{aligned}s_{r}(t)=\exp \left(j 2 \pi\left(f_{c}(t-\tau)+\frac{1}{2} \alpha(t-\tau)^{2}\right)\right)\end{aligned}\) (2)
\(\begin{aligned}s_{b}(t)=\exp \left(j 2 \pi\left(f_{c} \tau+\alpha t \tau-\frac{1}{2} \alpha \tau^{2}\right)\right)\end{aligned}\) (3)
\(\begin{aligned}f_{\text {beat }}=\alpha \times \tau\end{aligned}\) (4)
\(\begin{aligned}R=\frac{\text { light speed }}{2} \times \frac{P R I}{B W} \times f_{\text {beat }}\end{aligned}\) (5)
Fig. 1. FMCW radar signal processing. (a) Block diagram. (b) Frequency-time graph.
식(1)~(3)은 FMCW radar의 전파 신호를 수식적으로 표현한 것이다(Adriano, 2006). 식(1)은 송신 신호를 나타낸 수식이며 fc는 carrier frequency를 의미하고, 기울기는 로 표기하며 bandwidth를 pulse repetition interval (PRI)로 나누어 구한다. 수신 신호는 식(2)와 같이 송신 신호를 시간이 지연된 것으로 나타내며, 는 지연된 시간을 나타낸다. 송신 신호인 식(1)과 수신 신호인 식(2)를 서로 곱하고 고주파수 대역을 제거하면 비트 신호인 식(3)을 구할 수 있다. 타겟의 거리를 측정하기 위해서 식(3)을 푸리에(Fourier) 변환하여 비트 주파수를 얻는다. 수식적으로 비트 주파수는 Fig. 1(b)에서의 주파수·시간그래프를 통해서 유도할 수 있으며, 식(4)와 같이 기울기와 지연된 시간의 곱으로 계산된다. 식(4)에서 fbeat는 비트 주파수를 의미한다. 계산된 비트 주파수를 식(5)에 대입하여 타겟의 거리를 측정한다(Adriano, 2006). 식(5)에서 R은 레이더와 타겟과의 거리이며, BW는 bandwidth이다.
2.1.2. W-band SAR system
Fig. 2와 같이 5 m 리니어 레일과 77 GHz FMCW radar를 결합하여 W-band SAR system을 구축하였다. 모터의 속도와 레이더의 PRI를 동기화하여 정확한 레이더의 위치를 파악해서 안정적인 SAR system을 구축하였다. 카메라 클램프를 사용하여 레이더와 레일을 결합하였고, 구축한 W-band SAR system을 이용하여 SAR 영상복원 실험을 Fig. 2(a)와 같이 수행하였다. Fig. 2(b)는 컴퓨터에서 레이더로 PRI, slope, sampling rate, carrier frequency와 같은 전파 설계 인자를 명령하여 송신 신호를 전파하고, 동시에 가속도, 속력, 운용 시간을 리니어 레일에 명령을 주어서 레일을 작동시킨 그림이다. 속력, 주파수·시간 그래프에서 레일의 가속도 부분에서 전파한 신호는 제거하고, 고정 속도에서 획득한 전파 신호만 사용하여 안정적인 시스템을 구축하였다.
Fig. 2. Environment of the W-band SAR system. (a) Radar mounted on the linear rail. (b) Schematic of the radar and rail operation.
본 연구에서 우수한 압축 성능을 가진 back projection algorithm (BPA)을 사용하여 SAR 영상을 복원하였다(Kim et al., 2019). BPA 과정은 식(6)과 같이 구하며, range profile에 있는 레이더 신호를 해당 거리에 있는 reference signal과 matched filtering 한 것을 총합하여 SAR 영상으로 복원한다(Duersch, 2013). M과 N은 거리와 방위 방향에서의 개수를 의미하고, h()는 reference signal을 의미한다. Reference signal phase의 크기는 식(7)과 같이 구하며, 레이더와 타겟 사이의 거리로 구할 수 있다. xt, yt, zt는 레이더의 위치를 나타내며, x′, y′, z′는 타겟에 대한 위치를 나타낸다.
\(\begin{aligned}I(x, y)=\sum_{i=1}^{M} \sum_{j=1}^{N} s_{r}(\tau) h^{*}(\tau) d \tau\end{aligned}\) (6)
\(\begin{aligned}R_{r e f}=\sqrt{\left(x_{t}-x^{\prime}\right)^{2}+\left(y_{t}-y^{\prime}\right)^{2}+\left(z_{t}-z^{\prime}\right)^{2}}\end{aligned}\) (7)
2.2. SAR 영상 복원 실험
고해상도의 영상을 복원하도록 Table 1과 같이 SAR system을 설정하였다. 레이더는 5 m 길이를 10 cm/sec의 속력으로 이동하면서 원시 신호를 획득하였다. Fig.3은 가로수를 대상으로 W-band SAR 영상을 복원하는 실험 환경이다. 복잡한 형상과 산란 특성을 가진 가로수가 SAR 영상에서 적합하게 복원이 된다면, 다른 도로환경 물체들도 복원이 가능하기에 실험 대상으로 선택하였다. Fig. 3(a)와 같이 레이더를 타겟 앞에 위치했고, look angle은 위로 향하도록 고정하여서 지표면의 물체들이 반사되지 않도록 실험 환경을 설정하였다. 또한, 나무의 depth map을 얻기 위하여 스테레오 카메라 및 라이다의 point cloud를 측정하였다. SAR 영상과 다른 센서로부터 나온 depth map은 서로 다른 기하 구조를 가지기 때문에 센서 융합을 하기 위해서는 정합 과정이 필요하다. Fig. 3(b)는 레이더와 대상 사이간 거리의 reference signal phase를 구하는 실험 모식도이다. Reference signal phase는 스테레오 카메라나 라이다에서 나온 point cloud을 병진 및 회전 변환하여 추출한 depth map을 적용하여 계산했다. z축 방향에서의 거리가 depth map만큼 더 짧게 계산해서 가로수와 레이더 사이의 실제 거리를 반영하였다.
Table 1. Parameters of the SAR system
Fig. 3. Experiment with the SAR image for the street tree. (a) Street tree as a target of the SAR image. (b) Diagram schematic of the SAR experiment.
2.3. Point Cloud의 병진 및 회전 변환
정확한 reference signal phase를 계산하기 위해서는 point cloud를 병진 및 회전 변환하여 SAR 영상 좌표와 일치시키는 것이 필요하다. 이를 위하여 point cloud가 x, y, z축으로 3개의 병진변환 과 3개의 회전변환을 하면서 SAR 영상과 정합하게 되는 총 6개의 DOF에 대한 변화량을 구해야 한다. 식(8)의 α, β, γ는 z, y, x축 기준으로 회전하는 각도를 나타낸다. x, y, z축 기준으로 tx, ty, tz 만큼 이동하고, 식(9)와 같이 병진 및 회전변환을 함께 나타냈다.
\(\begin{aligned}\begin{array}{c}\mathrm{R}=\left[\begin{array}{ccc}\cos \alpha & -\sin \alpha & 0 \\ \sin \alpha & \cos \alpha & 0 \\ 0 & 0 & 1\end{array}\right]\left[\begin{array}{ccc}\cos \beta & 0 & \sin \beta \\ 0 & 1 & 0 \\ -\sin \beta & 0 & \cos \beta\end{array}\right] \\ {\left[\begin{array}{ccc}1 & 0 & 0 \\ 0 & \cos \gamma & -\sin \gamma \\ 0 & \sin \gamma & \cos \gamma\end{array}\right]}\end{array}\end{aligned}\) (8)
\(\begin{aligned}\left[\begin{array}{l}x_{\text {new }} \\ y_{\text {new }} \\ z_{\text {new }}\end{array}\right]=\mathrm{R}\left[\begin{array}{l}x_{\text {old }} \\ y_{\text {old }} \\ z_{\text {old }}\end{array}\right]+\left[\begin{array}{l}t_{x} \\ t_{y} \\ t_{z}\end{array}\right]\end{aligned}\) (9)
스테레오 카메라로부터 얻은 point cloud를 SAR 영상의 좌표계를 일치시키기 위하여 본 연구에서는 엔트로피에 대한 경사 하강법을 적용하여 최적의 6 DOF를 추출하는 방안을 제시한다. Fig. 4는 point cloud의 6개의 변환 방향에 대해서 경사 하강법을 적용하여 엔트로피가 감소하는 방향을 나타낸 것으로 6 DOF를 결정하는 방식에 대한 흐름도이다.
Fig. 4. Extraction of optimized 6 DOF by using entropy gradient descent.
압축 성능을 나타내는 지표인 엔트로피는 식(10)을 통하여 구하였고, |I(x, y)|2는 SAR 영상에서 거리 및 방위 방향의 intensity를 나타내며, M은 거리 방향의 픽셀 개수, N은 방위 방향의 픽셀 개수 그리고 S는 모든 픽셀에서의 intensity 총합이다(Hwang et al., 2018). 경사 하강법은 식(11)로 계산되며, k는 학습률을 나타내고 En은 엔트로피를 나타낸다.
\(\begin{aligned}E n=-\frac{1}{S} \sum_{m=0}^{M-1} \sum_{n=0}^{N-1}|I(x, y)|^{2} \ln |I(x, y)|^{2}\end{aligned}\) (10)
\(\begin{aligned}D O F_{i+1}=D O F_{i}-\mathrm{k} \frac{\partial \mathrm{En}(\mathrm{DOF})}{\partial \mathrm{DOF}}\end{aligned}\) (11)
엔트로피에 따른 경사 하강법을 통하여 구한 6 DOF를 검증하기 위하여 ground truth SAR 영상과 이미지 유사도를 계산하였다. 이미지 유사도 지표는 일반적으로 많이 사용하는 mean square error (MSE)와 structural similarity index (SSIM)를 선택했다(Wang et al., 2004). Fig. 5는 ground truth SAR 영상복원 환경이고, 라이다의 depth map을 정밀하게 레이더 좌표와 정합하여 SAR 영상을 복원하였다. Fig. 5(a)와 같이 가로수에 부착한 corner reflector를 기준으로 라이다 point cloud와 SAR 영상을 정합하였다. 그 이후에 corner reflector를 제거한 나무의 SAR 영상을 복원하는 과정에서 병진 및 회전 변환된 point cloud를 적용하여 Fig. 5(b)와 같이 ground truth SAR 영상을 복원하였다.
Fig. 5. SAR image of the tree by utilizing LiDAR and corner reflector. (a) SAR image of the tree attached to the corner reflector. (b) Ground truth SAR image.
3. 결과
최적의 6 DOF를 구하기 위하여 엔트로피에 대한 경사 하강법을 반복한 횟수는 30번, 학습률은 0.05로 설정하였다. Fig. 6은 경사 하강법이 진행되면서 감소하는 엔트로피의 값을 나타낸 그래프이다. 최종적으로 30번의 반복을 진행한 엔트로피 값은 10.422로 구하였고, 초기 엔트로피 값보다 0.1464 감소하였다. 일반적으로 경사하강법을 반복하면 엔트로피가 지속적으로 감소한지만, 본 연구에서는 엔트로피에 대한 6개의 DOF가 개별적으로 gradient 계산에 영향을 주어서 엔트로피가 요동과 함께 감소되는 형태를 보였다. 이를 통하여 경사 하강법을 반복함에 따라 각각의 point cloud 자유도의 요소들이 SAR 영상에 영향을 주면서 엔트로피가 감소하는 것을 확인하였다.
Fig. 6. Entropy descent graph over 30 iterations.
Fig. 7은 경사 하강법을 반복하여 변화하는 6 DOF의 값을 나타냈다. 초기 조건은 회전 및 병진 방향에서 각각 0°와 0.5 m로 설정하였다. Fig. 7(a)와 7(b)는 x, y, z 방향에서 병진 및 회전 변환하는 값을 나타냈다. 30번의 반복을 거쳐서 roll, pitch, yaw, x, y, z 방향에서 -0.0239°, 0.0347°, -0.0347°, 0.4230 m, -0.0803 m, -0.0160 m로 최적의 6 DOF를 구하였다.
Fig. 7. 6 DOF variation over iterations. (a) Rotation over iterations. (b) Linear transformation over iterations.
Fig. 8은 구축한 W-band SAR system을 이용하여 가로수를 타겟으로 복원한 SAR 영상들이다. Fig. 8(a)는 스테레오 카메라의 depth map을 적용하지 않고 레이더와 나무 사이의 거리로만 보상하여 복원한 SAR 영상이다. z축 방향에서 일정한 거리만 반영했기 때문에 정확한 나무 구조물과 레이더 사이의 거리를 reference signal에 반영하지 못하였다. Fig. 8(b)는 최적의 6 DOF를 적용한 스테레오 카메라의 point cloud를 보상하여 복원한 SAR 영상이다. Stereo camera를 활용하여 거리 계산을 통해서 복원한 SAR 영상이 적합한 형상으로 복원한 것을 확인하였다. Fig. 8(a)는 나무 형상이 영상에 전혀 반영되지 않았고, 노이즈만 존재하는 SAR 영상으로 복원되었다. 하지만 최적의 depth map을 적용하여 복원한 Fig. 8(b)의 SAR 영상에서는 나무의 특징인 줄기, 가지, 수관의 부분들이 육안상으로 확인되었다. 또한, 레이더의 신호가 실제 영상 좌표에 위치하여 스페클 노이즈(speckle noise)가 감소했지만, LiDAR의 point cloud를 이용하여 복원한 SAR 영상인 Fig. 5(b)보다는 제대로 형상이 구현되지 않았다. LiDAR의 point cloud는 스테레오 카메라의 point cloud보다 정확한 위치의 point를 가지기 때문에 나무 구조와 레이더 사이에서의 정밀한 거리 계산으로 focusing의 차이가 발생하였다. 하지만 LiDAR의 point cloud와 스테레오 카메라의 point cloud는 깊이의 경향성이 비슷하게 나왔기 때문에 저렴하고 운용환경을 쉽게 구축할 수 있는 장점을 가진 스테레오 카메라를 SAR 시스템에 결합하여 연구에 사용하였다.
Fig. 8. SAR image of the tree. (a) Reconstruction of the SAR image without the depth map. (b) Reconstruction of the SAR image using optimized 6 DOF.
Ground truth SAR 영상을 기준 영상으로 설정하고 depth map을 적용하지 않은 SAR 영상, 초기 경사 하강법의 depth map을 적용한 SAR 영상, 최적화된 depth map을 적용한 SAR 영상과 비교하여 이미지 유사도를 Table 2와 같이 측정하였다. Depth map을 적용하지 않을 경우 depth map을 적용할 때보다 낮은 이미지 유사도의 값을 가졌다. 최적의 depth map을 적용한 SAR 영상이 depth map을 적용하지 않는 SAR 영상의 결과보다 MSE는 53.2828 감소했고, SSIM은 0.5529 증가하였다. 또한, 최적의 depth map을 적용한 SAR 영상은 초기 depth map을 적용한 영상보다 MSE는 3.5269 감소했고, SSIM은 0.0032 증가하였다. 이를 통하여 본 연구에서 제시한 엔트로피에 대한 경사 하강법은 point cloud의 6 DOF를 적합하게 조정하여 depth map을 추출하였고 SAR 영상복원에 적용한 것으로 확인하였다.
Table 2. ComparisonofimagequalitybetweenSARimages
4. 논의
W-band SAR 영상을 활용하여 도로 환경 감지 및 변화 탐지하는 연구들이 진행되고 있다(Feger et al., 2017; Iqbal et al., 2015; Tebaldini et al., 2022). 또한, 도로 환경의 주요 객체인 가로수는 체적, 이중 반사와 같은 복잡한 산란 특성을 가지기 때문에 정확한 가로수 형상 복원을 위해서는 SAR 영상 좌표와 일치한 depth map을 적용하여 reference signal phase를 계산하는 것이 필요하다(Yoon et al., 2008). 그리고 SAR 영상과 depth map의 기하구조가 서로 다르기 때문에 point cloud의 병진 및 회전 변환하여 SAR 영상을 정합하는 과정이 필요하다.
본 연구는 자율주행 분야에 적용을 위하여 저가이며 운용 환경을 구축하기 쉬운 스테레오 카메라를 레이더와 하나의 시스템으로 구축하는 방안에 대하여 설명하였다. 표면의 왜곡을 보상하고 정확한 사물의 위치를 파악하기 위하여 BPA 영상 복원 알고리즘에 depth map을 보상하였다. 엔트로피에 따른 경사 하강법을 진행하여 point cloud의 최적의 6 DOF를 구해 SAR 영상과 정합하는 기법을 제시하였다. 30번을 반복 진행하여 얻은 최적의 6 DOF를 적용하여 Fig. 8(b)와 같이 복원한 SAR 영상에서는 나무의 형상을 파악할 수 있었다. 제시된 기법을 통하여 복원한 SAR 영상은 정확한 좌표에 물체가 위치하고, 스페클 노이즈가 적어서 물체의 형상 및 위치 정보를 파악하여 객체 탐지를 가능하게 한다.
또한, 차량에 부착한 스테레오 카메라와 레이더를 활용하여 기존에 획득하였던 물체 위치 및 속도뿐만 아니라 센서 융합으로 획득한 2D SAR 이미지를 자율주행 분야에서 추가적인 정보로 활용할 수 있다. 스테레오 카메라를 이용하여 복원한 SAR 영상보다 라이다 depth map으로 적용하면 미세한 나무의 구조 형상까지 나타나는 높은 성능의 SAR 영상을 복원할 수 있다. 하지만 저렴한 스테레오 카메라를 사용하여 복원한 SAR 영상에서도 나무의 주요 구조인 수관, 줄기, 가지에 대한 형태를 파악하는데 충분하였다. BPA에 depth map을 적용해서 레이더 사이 거리를 계산하여 실제 물체의 위치를 영상 좌표에 일치시켜서 focusing이 알맞게 되도록 복원하였다. 자율주행에서 사용되는 레이더 및 스테레오 카메라를 개별적으로 각각 사용하기 보다는 센서 융합을 통하여 사용하면 향상된 정확성을 가지고 더 넓은 활용을 할수 있다고 생각한다.
본 연구에서 제시된 경사 하강법은 반복 횟수를 늘려서 지속적으로 엔트로피를 감소시킬 수 있지만, 나무의 줄기 부분을 스페클 노이즈로 파악하여 나무의 수관 부분만 남게 6 DOF가 수렴한다. 반복을 진행함에 따라 지속적으로 영상을 판독해서 나무의 주요 구조를 확인하는 추가적인 절차가 필요하다. 향후 다양한 타겟에 대하여 SAR 영상을 복원하여 적절한 반복 횟수 및 학습률을 설정하여 차량용 W-band SAR system 운용 환경을 구축할 예정이다. 또한, 레이더 기하구조에서 보이지 않는 부분이 스테레오 카메라의 point cloud에서는 구현이 되어서 잘못된 거리 계산을 할 수 있다. 이와 같이 2개의 센서가 모든 point에 대하여 공유하지 않아서 잘못 정합이 될수 있다. 추후에 레이더와 스테레오 카메라의 기하 구조의 불일치로 나타나는 해당 문제를 해결할 예정이다.
5. 결론
77 GHz FMCW radar와 5 m 리니어 레일을 결합하여 안정적인 W-band SAR system을 구축하였다. 도로 환경에서 쉽게 접할 수 있는 가로수를 대상으로 SAR 영상을 복원하였다. SAR 영상 복원 신호처리 알고리즘으로 BPA를 사용했고, 정확한 reference signal phase 계산을 통하여 고해상도의 SAR 영상을 복원하였다. 복잡한 형상과 산란 모델을 가지는 나무를 SAR 영상으로 복원하기 위해서 depth map을 활용하여 정확한 거리의 계산을 했다. 타 센서로부터 획득한 depth map을 SAR 영상에 적용하기 위해서는 영상 정합 과정이 필요하다. 본 연구에서 point cloud의 최적의 병진 및 회전 변환의 조건을 SAR 영상의 엔트로피에 따른 경사 하강법으로 구하여서 depth map을 추출하였다. 추출된 최적의 depth map을 SAR 영상 복원 과정에 적용하여 고 해상도의 SAR 영상을 복원하였다. 최적화된 depth map을 적용한 SAR 영상이 초기 depth map을 적용한 SAR 영상과 depth map을 적용하지 않은 SAR 영상보다 향상된 MSE와 SSIM을 구하였다. 본 논문에서 제시한 센서 융합 방식은 Wband SAR system에 대한 자율주행 연구에서 활용할 수있을 것이라고 예상된다. 테스트 베드 역할을 하는 플랫폼인 안정적인 리니어 레일을 77GHz-FMCW radar와 동기화하여 획득한 위치 및 시각 정보를 활용하여 영상 복원 실험을 수행하였다. 향후 차량용 플랫폼에서 SAR system에 GPS를 결합하여 각 위치 및 시각 정보를 획득하여 W-band SAR system을 활용할 예정이다.
사사
본 연구는 정부(과학기술정보통신부)의 재원으로 한국연구재단(No.2021R1A4A1030775)과 과학기술정보통신부 및 정보통신기획평가원의 대학ICT연구센터지원사업의 연구결과로 수행(IITP-2023-2018-0-01424) 및 대한민국 정부(산업통상자원부 및 방위사업청) 재원으로 민군협력진흥원에서 수행하는 민군기술협력사업(22-CM-16)의 연구비 지원으로 수행된 연구임.
Conflict of Interest
No potential conflict of interest relevant to this article was reported.
References
- Adriano, M., 2006. Signal processing of FMCW synthetic aperture radar data. Doctoral dissertation, Delft University of Technology, Delft, Netherlands.
- Duersch, M. I., 2013. Backprojection for synthetic aperture radar. Doctoral dissertation, Brigham Young University, Provo, UT, USA.
- Feger, R., Haderer, A., and Stelzer, A., 2017. Experimental verification of a 77-GHz synthetic aperture radar system for automotive applications. In Proceedings of the 2017 IEEE MTT-S International Conference on Microwaves for Intelligent Mobility (ICMIM), Nagoya, Japan, Mar. 19-21, pp. 111-114. https://doi.org/10.1109/ICMIM.2017.7918869
- Gao, X., Roy, S., and Xing, G., 2021. MIMO-SAR: A hierarchical high-resolution imaging algorithm for mmWave FMCW radar in autonomous driving. IEEE Transactions on Vehicular Technology, 70(8), 7322-7334. https://doi.org/10.1109/TVT.2021.3092355
- Hwang, J. H., Shin, H. I., and Kim, W. W., 2018. Minimum-entropy-based autofocus method for real SAR images. The Journal of Korean Institute of Electromagnetic Engineering and Science, 29(5), 366-374. https://doi.org/10.5515/KJKIEES.2018.29.5.366
- Iqbal, H., Sajjad, M. B., Mueller, M., and Waldschmidt, C., 2015. SAR imaging in an automotive scenario. In Proceedings of the 2015 IEEE 15th Mediterranean Microwave Symposium (MMS), Lecce, Italy, Nov. 30-Dec. 2, pp. 1-4. https://doi.org/10.1109/MMS.2015.7375430
- Jiang, N., Du, H., Wang, J., and Huang, X., 2021. Experimental validation of 77 GHz millimeter-wave SAR imaging with long integration time. In Proceedings of the 2021 5th International Conference on Digital Signal Processing, Chengdu, China, Feb. 26-28, pp. 116-120. https://doi.org/10.1145/3458380.3458400
- Kim, J. W., Keon, S. K., Ok, J. W., You, E. N., Kim, D. J., Sim, Y. W. et al., 2019. Real-time image reconstruction for compact drone-borne SAR using GPU signal processing. The Journal of Korean Institute of Electromagnetic Engineering and Science, 30(9), 780-783. https://doi.org/10.5515/KJKIEES.2019.30.9.780
- Lee, K. Y., Byun, Y. G., and Kim, Y. S., 2012. Accuracy evaluation of terrain correction of high resolution SAR imagery with the quality of DEM. Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, 30(6-1), 519-528. https://doi.org/10.7848/ksgpc.2012.30.6-1.519
- Ramasubramanian, K., and Ramaiah, K., 2018. Moving from legacy 24 GHz to state-of-the-art 77-GHz radar. ATZelektronik Worldwide, 13(3), 46-49. https://doi.org/10.1007/s38314-018-0029-6
- Shin, D. S., Jeong, S. H., Won, Y. S., Lee, J. H., and Park, M. R., 2018. Design and implementation of 77GHz FMCW radar signal processing algorithms for automotive environments. The Journal of Korean Institute of Communications and Information Sciences, 43(1), 181-190. https://doi.org/10.7840/kics.2018.43.1.181
- Soumekh, M., 1999. Synthetic aperture radar signal processing with matlab algorithms (1st ed.). Wiley. https://www.acsu.buffalo.edu/~msoum/content.pdf
- Tebaldini, S., Manzoni, M., Tagliaferri, D., Rizzi, M., Monti-Guarnieri, A. V., Prati, C. M. et al., 2022. Sensing the urban environment by automotive SAR imaging: Potentials and challenges. Remote Sensing, 14(15), 3602. https://doi.org/10.3390/rs14153602
- Wang, Z., Bovik, A. C., Sheikh, H. R., and Simoncelli, E. P., 2004. Image quality assessment: From error visibility to structural similarity. IEEE Transactions on Image Processing, 13(4), 600-612. https://doi.org/10.1109/TIP.2003.819861
- Yoon, J. S., Shin, J. I., Kim, D. R., and Lee, K. S., 2008. Relationship between forest characteristics and SAR volume scattering from multi bands. In Proceedings of the 2008 Korean Society of Remote Sensing Conference, Seoul, Republic of Korea, Mar. 21, pp. 153-157.