• 방송공학회논문지
• /
• 제28권1호
• /
• pp.90-99
• /
• 2023

본 연구에서는 전통적인 RGB 영상보다 데이터양이 적은 로우 센서 영상을 이용한 초해상화 네트워크를 제안하고 이에 대한 실험결과를 정리하였다. 로우 센서 영상의 초해상화는 일반적인 RGB 초해상화와 달리 카메라에서 일어나는 후처리 가공이 없는 무손실영상을 이용하기 때문에 결과물의 성능이 일반 RGB 초해상화 연구와 달리 색상 보정에 따라 많이 좌우된다. 따라서, 본 연구에서는색상 보정을 위한 모듈을 개발하여 기존 RGB 기반 네트워크에 삽입해 이를 이용해 성능 결과를 비교하였다. 연구 결과 색상 보정 모듈을 적용함으로 성능 지표의 향상이 있음을 확인하였다. 다만, 출력 영상의 의도하지 않은 아티팩트가 발생하는 현상을 확인하였고, 성능 지표 중 PSNR의 향상이 분명하나 SSIM의 성능이 일부 떨어지는 것으로 확인하였다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2023년도 학술발표회
• /
• pp.417-417
• /
• 2023

도시홍수는 도시의 주요 기능을 마비시킬 수 있는 수재해로서, 최근 집중호우로 인해 홍수 및 침수 위험도가 증가하고 있다. 집중호우는 한정된 지역에 단시간 동안 집중적으로 폭우가 발생하는 현상을 의미하며, 도시 지역에서 강우 추정 및 예보를 위해 레이더의 활용이 증대되고 있다. 레이더는 수상체 또는 구름으로부터 반사되는 신호를 분석해서 강우량을 측정하는 장비이다. 기상청의 기상레이더(S밴드)의 주요 목적은 남한에 발생하는 기상현상 탐지 및 악기상 대비이다. 관측반경이 넓기에 도시 지역에 적합하지 않는 반면, X밴드 이중편파레이더는 높은 시공간 해상도를 갖는 관측자료를 제공하기에 도시 지역에 대한 강우 추정 및 예보의 정확도가 상대적으로 높다. 따라서, 본 연구에서는 딥러닝 기반 초해상화(Super Resolution) 기술을 활용하여 저해상도(Low Resolution. LR) 영상인 S밴드 레이더 자료로부터 고해상도(High Resolution, HR) 영상을 생성하는 기술을 개발하였다. 초해상도 연구는 Nearest Neighbor, Bicubic과 같은 간단한 보간법(interpolation)에서 시작하여, 최근 딥러닝 기반의 초해상화 알고리즘은 가장 일반화된 합성곱 신경망(CNN)을 통해 연구가 이루어지고 있다. X밴드 레이더 반사도 자료를 고해상도(HR), S밴드 레이더 반사도 자료를 저해상도(LR) 입력자료로 사용하여 초해상화 모형을 구성하였다. 2018~2020년에 발생한 서울시 호우 사례를 중심으로 데이터를 구축하였다. 구축된 데이터로부터 훈련된 초해상도 심층신경망 모형으로부터 저해상도 이미지를 고해상도로 변환한 결과를 PSNR(Peak Signal-to-noise Ratio), SSIM(Structural SIMilarity)와 같은 평가지표로 결과를 평가하였다. 본 연구를 통해 기존 방법들에 비해 높은 공간적 해상도를 갖는 레이더 자료를 생산할 수 있을 것으로 기대된다.

• 한국음향학회지
• /
• 제42권5호
• /
• pp.422-428
• /
• 2023

초고속 초음파 영상은 탄성 영상, 초고속 도플러, 초해상도 영상과 같은 다양한 초음파 기반의 기능성 영상기술에 폭넓게 적용되고 있다. 하지만, 획득하는 데이터의 양이 많아 실시간 영상 재구성이나 3차원 또는 모바일 초음파 영상 응용으로의 확장이 제한된다. 본 논문은 적응 양자화 기법을 통해 초고속 초음파 영상으로 획득되는 대용량 Radio frequency(RF) 데이터의 전송 효율을 높이는 방법을 제안한다. 인체에서 반사된 초음파 신호는 높은 동적 범위를 가져 대부분의 현재 시스템에서 사용되는 고정 양자화 기법은 10 bits ~ 14 bits 이상의 높은 양자화 단계를 가진다. 양자화 단계 저감에 대한 화질 저하의 한계를 극복하기 위해, 본 연구는 영상 깊이에 따라 구간을 설정하고, 각 영역별 RF 데이터를 정규화하고 양자화하는 방안을 제안한다. 정량적인 검증을 위해, Field II 컴퓨터 모사 실험을 활용하여, 고정 양자화 방법과 제안하는 방법의 대조도 대 잡음 비, 공간 해상도 및 원본 대비 유사도를 비교하였다. 또한, 연구용 초음파 장비를 활용한 인체 모사 실험 및 인체 실험을 통해 최종 3-bit로 재구성한 영상에서도 제안하는 방법이 효과적으로 적용되는 것을 입증하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권3호
• /
• pp.881-895
• /
• 2023

Modern image inpainting techniques based on deep learning have achieved remarkable performance, and more and more people are working on repairing more complex and larger missing areas, although this is still challenging, especially for facial image inpainting. For a face image with a huge missing area, there are very few valid pixels available; however, people have an ability to imagine the complete picture in their mind according to their subjective will. It is important to simulate this capability while maintaining the identity features of the face as much as possible. To achieve this goal, we propose a three-stage network model, which we refer to as the identity and structure feature refinement network (ISFRNet). ISFRNet is based on 1) a pre-trained pSp-styleGAN model that generates an extremely realistic face image with rich structural features; 2) a shallow structured network with a small receptive field; and 3) a modified U-net with two encoders and a decoder, which has a large receptive field. We choose structural similarity index (SSIM), peak signal-to-noise ratio (PSNR), L1 Loss and learned perceptual image patch similarity (LPIPS) to evaluate our model. When the missing region is 20%-40%, the above four metric scores of our model are 28.12, 0.942, 0.015 and 0.090, respectively. When the lost area is between 40% and 60%, the metric scores are 23.31, 0.840, 0.053 and 0.177, respectively. Our inpainting network not only guarantees excellent face identity feature recovery but also exhibits state-of-the-art performance compared to other multi-stage refinement models.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 춘계학술발표대회
• /
• pp.504-507
• /
• 2020

ReLU(Rectified Linear Unit) 함수는 제안된 이후로 대부분의 깊은 인공신경망 모델들에서 표준 활성함수로써 지배적으로 사용되었다. 이후에 ReLU 를 대체하기 위해 Leaky ReLU, Swish, Mish 활성함수가 제시되었는데, 이들은 영상 분류 과업에서 기존 ReLU 함수 보다 향상된 성능을 보였다. 따라서 초해상화(Super Resolution) 과업에서도 ReLU 를 다른 활성함수들로 대체하여 성능 향상을 얻을 수 있는지 실험해볼 필요성을 느꼈다. 본 연구에서는 초해상화 과업에서 안정적인 성능을 보이는 EDSR(Enhanced Deep Super-Resolution Network) 모델의 활성함수들을 변경하면서 성능을 비교하였다. 결과적으로 EDSR 의 활성함수를 변경하면서 진행한 실험에서 해상도를 2 배로 변환하는 경우, 기존 활성함수인 ReLU 가 실험에 사용된 다른 활성함수들 보다 비슷하거나 높은 성능을 보였다. 하지만 해상도를 4 배로 변환하는 경우에서는 Leaky ReLU 와 Swish 함수가 기존 ReLU 함수대비 다소 향상된 성능을 보임을 확인하였다. 구체적으로 Leaky ReLU 를 사용했을 때 기존 ReLU 보다 영상의 품질을 정량적으로 평가할 수 있는 PSNR 과 SSIM 평가지표가 평균 0.06%, 0.05%, Swish 를 사용했을 때는 평균 0.06%, 0.03%의 성능 향상을 확인할 수 있었다. 4 배의 해상도를 높이는 초해상화의 경우, Leaky ReLU 와 Swish 가 ReLU 대비 향상된 성능을 보였기 때문에 향후 연구에서는 다른 초해상화 모델에서도 성능 향상을 위해 활성함수를 Leaky ReLU 나 Swish 로 대체하는 비교실험을 수행하는 것도 필요하다고 판단된다.

• 한국방사선학회논문지
• /
• 제14권3호
• /
• pp.211-220
• /
• 2020

고화질의 전산화단층촬영상을 통해 정확한 병변 검출과 진단을 할 수 있다. 이와 같은 장점 때문에 전산화단층촬영 시 방사선량을 줄이면서 영상 화질을 개선하기 위해 많은 연구가 수행되었다. 최근 전산화단층촬영상 화질을 향상시키기 위한 딥러닝 기반 기술이 개발되었고, 기존의 기술에 비해 우수한 성능을 보이고 있다. 본 연구에서는 전산화단층촬영상의 공간분해능을 향상시키기 위해 초고해상도 합성곱 신경망 모델을 사용하였으며, 초고해상도 합성곱 신경망 모델의 성능을 결정하는 초 매개 변수 변화에 따른 영상 화질을 평가하여 초고해상도 합성곱 신경망 모델에 대한 초 매개 변수의 효과를 검증하였다. Profile, 구조적 유사성 지수, 최대신호 대 잡음비 및 반치폭을 측정하여 초 매개 변수 변화에 따른 초고해상도 합성곱 신경망 모델의 성능을 평가하였다. 연구결과, 초고해상도 합성곱 신경망 모델의 성능은 epoch와 training set이 증가함에 따라 향상되었으며, 전산화단층촬영상 화질을 향상시키기 위해 learning rate 최적화가 필요하다는 사실을 확인하였다. 따라서 최적의 초 매개 변수와 함께 구현된 초고해상도 합성곱 신경망 모델은 전산화단층촬영상의 품질을 향상시킬 수 있다.

• 한국농림기상학회지
• /
• 제24권3호
• /
• pp.164-178
• /
• 2022

주요 곡물 생산 지역에 대한 작황 계절 예측을 위해 작물모형과 기상 예보자료들이 활용되고 있다. 이 때, 작물모형의 입력자료로 활용되는 기상자료의 불확실성이 작황 예측 결과에 영향을 줄 수 있다. 본 연구에서는 기상 예보자료에 따른 작물모형 결과에 미치는 영향을 알아보고자 하였다. 주요 곡물 생산 지역인 미국의 콘벨트 지역을 대상으로 중규모 수치예보 모형인 Weather Research and Forecasting (WRF)로 10km 해상도의 계절 예측 자료를 생산하였다. 보다 상세한 기상 예보자료 생산을 가정하기 위해 통계적 기법인 Parameter-elevation Regressions on Independent Slopes Model (PRISM) 기법을 활용하여 WRF 자료를 기반으로 5km 해상도로 예측 자료를 생산하였다. WRF와 PRISM 계절 예측 자료로 CROPGRO-SOYBEAN 모형을 구동하여 두 기상 예보자료에 따른 작물 생육 모의 결과를 얻었다. 2011~2018 기간에 대하여 4월 10일부터 8일 간격으로 11개의 파종일을 설정하였으며, 3개의 콩 성숙군에 대한 품종 모수가 사용되었다. 기상 자료의 불확실성을 파악하기 위해 작물 재배기간 동안의 누적 생육도일과 누적 일사량을 비교하였다. 예측된 수량 및 성숙일 등의 주요 변수들을 비교하였다. 두 기상 자료로부터 얻어진 변수들 사이의 일치도 통계량 계산을 위해 root mean square error (RMSE), normalized root mean square error (NRMSE) 및 structural similarity(SSIM) index가 사용되었다. WRF와 PRISM에서 계산된 누적 생육도일 사이의 일치도가 낮았던 연도에 콩 성숙일 모의 값에 대한 오차가 크게 나타났다. 콩 모의 수량 또한 성숙일 및 온도의 오차가 크게 나타났던 연도에 상대적으로 낮은 일치도를 가졌다. 또한 파종일이 수량 및 성숙일 예측의 일치도에 상당한 영향을 미치는 것으로 나타났다. 이러한 결과는 WRF와 PRISM 자료 사이에 온도 자료의 불확실성이 작황 예측의 불확실성에 영향을 주었으며, 재배 시기에 따라 그 불확도의 크기가 상이할 수 있음을 암시하였다. 따라서 신뢰도 높은 작황 예측 자료 생산을 위해 작물별 재배기간을 고려한 불확실성 평가 등의 추가적인 연구가 진행되어야 할 것으로 보인다.