• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2023년도 학술발표회
• /
• pp.121-121
• /
• 2023

다수의 서로 다른 해상도의 자료를 병합(Merge)하는 것은 강수 자료 사용에 중요한 절차 중 하나이다. 강수 자료는 다수의 소스(관측소, 레이더, 위성 등)에서 관측 자료를 제공한다. 연구자들은 각 원본 자료의 장점을 취하고 단점을 보완하기 위해 다중소스 기반의 재분석 강수 자료를 제작하여 사용하고 있다. 기존의 방법은 자료를 병합하기 위해 서로 다른 공간적 특성을 갖는 자료들을 공간적으로 동일한 위치로 보간(Interpolation) 하는 과정이 필요하다. 하지만 보간 절차는 원본자료에 인위적인 변형을 주기 때문에 많은 오차(Error)를 발생시키는 것으로 알려져 있다. 따라서 본 연구는 병합 과정에서 보간 절차를 제외하고 원본 해상도 자료를 그대로 입력하기 위해 머신 러닝 방법의 하나인 Super resolution convolutional neural network(SRCNN)에 기반한 병합 방법을 제안하고자 한다. 이 방법은 원본 자료의 영향을 모델이 직접 취사선택하여 최종 자료에 도달하기 때문에 병합 과정의 오류를 줄일 수 있을 것으로 기대된다.

• 한국항공우주학회지
• /
• 제45권3호
• /
• pp.180-190
• /
• 2017

본 논문은 무인기를 통해 획득한 영상정보의 해상도를 향상시키기 위해 복수영상 기반 초해상도 기법을 적용하고, 이를 통한 무인기의 지상 목표물 인식 능력 향상에 대한 내용을 담고 있다. 이를 검증하기 위해 기체 제작 및 제어 시스템을 구축하였고, 무인기와 지상의 목표물을 이용해 설계한 알고리즘을 검증하였다. 실험 결과 초해상도 기법 적용 전, 후 영상을 비교하였을 때 RMSE는 0.0677에서 0.0315, NRMSE는 7.4030%에서 3.5726%로, PSNR은 23.3885dB에서 30.0036dB, SSIM은 0.6996에서 0.8948로 향상되었음을 확인하였다. 이를 통해 본 알고리즘을 적용하여 무인기 영상의 해상도를 향상시킬 수 있음을 검증하였다.

• Spatial Information Research
• /
• 제13권4호
• /
• pp.345-354
• /
• 2005

초해상도 영상복원은 동일 지역을 촬영한 여러 장의 저해상도 영상을 이용하여 고해상도의 영상으로 재구성하는 영상처리 알고리즘 기법이다. 이 기법은 위성영상, 비디오 감시, 영상 강조 및 복원, 영상 모자이킹, 의료 영상과 같이 여러 장의 프레임 영상을 획득할 수 있는 분야에서 유용하게 사용될 수 있다. 본 연구에서는 지상을 촬영한 비디오 영상 열에 공간영역 초해상도 기법을 적용하였다. 실험에 사용된 영상은 높은 중복도로 촬영된 연속적인 비디오 영상에서 부표본화되었으며, 저해상도 영상과 고해상도 영상간의 관측 모델을 구성하고 초해상도 영상복원 기법중의 하나인 MAP 알고리즘을 적용하였다. MAP 기법을 이용하여 여러 장의 저해상도 영상에서 고해상도 영상으로 복원하였으며, 그 결과를 기존의 영상보간 방법들과 비교하였다.

• 방송공학회논문지
• /
• 제26권2호
• /
• pp.167-174
• /
• 2021

초고해상도 변환 문제에서 최근 딥러닝을 사용하면서 큰 성능 개선을 얻고 있다. 빠른 초고해상도 합성곱 신경망 (FSRCNN)은 딥러닝 기반 초고해상도 알고리즘으로 잘 알려져 있으며, 여러 개의 합성곱 층로 추출한 저 해상도의 입력 특징을 활용하여 역합성곱 층에서 초고해상도의 영상을 출력하는 알고리즘이다. 본 논문에서는 병렬 연산 효율성을 고려한 FPGA 기반 합성곱 신경망 가속기를 제안한다. 특히 역합성곱 층을 합성곱 층으로 변환하는 방법을 통해서 에너지 효율적인 가속기를 설계했다. 또한 제안한 방법은 FPGA 리소스를 고려하여 FSRCNN의 구조를 변형한 Optimal-FSRCNN을 제안한다. 사용하는 곱셈기의 개수를 FSRCNN 대비 3.47배 압축하였고, 초고해상도 변환 성능을 평가하는 지표인 PSNR은 FSRCNN과 비슷한 성능을 내고 있다. 이를 통해서 FPGA에 최적화된 네트워크를 구현하여 FHD 입력 영상을 UHD 영상으로 출력하는 실시간 영상처리 기술을 개발했다.

• 한국정보통신학회논문지
• /
• 제25권11호
• /
• pp.1477-1485
• /
• 2021

최근 이미지 초해상도는 정수배율만 가능한 모델에만 집중적으로 연구되고 있다. 하지만 관심 객체 인식, 디스플레이 화질 개선 등 실제 초해상도 기술의 대표 적용 분야에서는 소수 배율을 포함하는 임의배율 확대 필요성이 대두되고 있다. 본 논문에서는 기존 정수배율 모델의 가중치를 활용하여 임의배율을 실행할 수 있는 모델을 제안한다. 이 모델은 정수배율에 의해 우수한 성능을 가진 초해상도 결과를 DCT 스펙트럼 도메인으로 변환하여 임의배율을 위한 공간을 확장한다. DCT 스펙트럼 도메인에 의한 확장으로 인해 발생하는 이미지의 고주파 정보 손실 문제를 줄이기 위해 고주파 스펙트럼 정보를 적절히 복원할 수 있는 모델인 고주파 집중 네트워크를 제안한다. 제안된 네트워크는 고주파 정보를 제대로 생성하기 위해서 RGB 채널간의 상관관계를 학습하는 레이어인 channel attention을 활용하고, 잔차 학습 구조를 통해 모델을 깊게 만들어 성능을 향상시켰다.

• 전기전자학회논문지
• /
• 제22권2호
• /
• pp.491-494
• /
• 2018

본 논문은 표본 기반 단일 영상 초해상도 복원 방식의 성능 개선을 위한 혼합 놈을 이용한 패치 유사도 검색 방식에 대해 제안한다. 초해상도 영상 복원 과정에서 패치의 국부 통계 특성을 반영하기 위해 패치 경사도에 따른 놈의 차수를 결정하고, 놈의 차수를 패치간의 유사도 검색을 위한 함수로 사용하는 방식에 대해 제안한다. 실험 결과를 통해 제안하는 유사도 검색 방식은 기존 검색 방식의 성능을 개선할 수 있는 능력이 있음을 확인할 수 있었다.

• 한국수자원학회논문집
• /
• 제56권10호
• /
• pp.641-653
• /
• 2023

기후변화와 도시화의 영향으로 인해 자연재해의 발생빈도와 규모가 증가하고 있다. 특히 도시 침수는 발생 시간이 짧고 막대한 인명 및 경제적 손실을 초래할 수 있기 때문에 신속하고 정확도 높은 예측 정보 생산이 중요하다. 하지만, 기존 물리과정 및 인공지능 기반 기법은 고해상도 침수 해석을 위해 많은 전산 자원이나 데이터가 요구되는 한계가 있다. 본 연구에서는 딥러닝 기반 초해상화(Super-Resolution) 기법을 통한 고해상도 도시 침수 해석 방법을 제안하고 적용성을 평가한다. 제안된 방법은 고해상도 물리 모형의 결과로 훈련된 초해상화 딥러닝 모형을 이용하여 저해상도 침수 해석 이미지를 고해상도로 변환한다. 미국 포틀랜드 도심지의 두 가지 침수 사례에 대해 적용, 4 m 공간해상도 물리 모의 결과를 1 m 급 고해상도 침수 해석 정보로 초해상화 하였으며, 초해상화 이미지와 고해상도 원본 간 높은 구조적 유사성이 확인되었다. 성능 지표로 평가한 결과, 전체 검증 대상 이미지에 대한 평균 PSNR 22.77 dB, SSIM 0.77로 우수하여, 초해상화 기법의 도시 침수 해석 적용성이 검증되었다. 제안된 방법은 적은 양의 침수 시나리오만으로도 효율적인 딥러닝 모형 훈련이 가능하고, 물리 모형의 정보를 최대한 활용할 수 있기 때문에, 고해상도 도시 침수 정보 생산에 효과적으로 사용될 수 있을 것으로 기대된다.

• 한국산학기술학회논문지
• /
• 제18권5호
• /
• pp.120-124
• /
• 2017

시간적 초해상도 기법은 일반 카메라로 찍은 영상을 고속카메라로 찍은 영상과 같이 보일 수 있도록 프레임률을 증가시키는 방법이다. 전자광학 센서는 다양한 감시정찰 무기체계에 탑재되는데, 각 무기체계별 작전요구성능에 따라 필요로 하는 전자광학 센서의 공간적 해상도와 시간적 해상도가 달라진다. 대부분의 영상센서가 30~60 프레임/초로 영상을 촬영하기 때문에, 표적의 이동 및 변화가 이보다 더 빠른 경우 프레임률의 증가가 필요하다. 본 논문은 채널별 색상정보 외삽법을 활용하여 프레임률을 증가시키는 기법을 제안한다. DMD의 각 화소를 카메라 센서의 각 화소와 정합한 후, 카메라 센서의 베이어 패턴에 맞추어 각 채널별로 화소 그룹을 분리한다. DMD를 이용해 일반 카메라의 한 프레임이 채널별로 서로 다른 연속된 노출 시간을 가지도록 조절하여, 촬영한 영상을 프레임률이 증가한 단일채널 영상으로 변환한다. 옵티컬 플로우 기법을 활용하여 각 채널별로 시점에 맞는 가상의 영상을 생성하여, 프레임률이 증가한 단일채널 영상을 컬러채널 영상으로 만들었다. 시뮬레이션을 통해 제안된 시간적 초해상도 기법의 성능을 확인하였다.

• 방송공학회논문지
• /
• 제24권4호
• /
• pp.633-642
• /
• 2019

최근, 단일 이미지 초해상도 복원 기법(super-resolution)에서 컨볼루션 신경망 모델은 매우 성공적이다. 잔여 학습 기법은 컨볼루션 신경망 훈련의 안전성과 성능을 향상시킬 수 있다. 본 논문은 저해상도 입력 이미지에서 고해상도 목표 이미지로 비선형 매핑 학습을 위해 고밀도 스킵 연결(dense skip-connection)을 통한 재귀 잔차 구조를 이용한 단일 이미지 초해상도 복원 기법을 제안한다. 제안하는 단일 이미지 초해상도 복원 기법은 고밀도 스킵 연결 방식을 통해 재귀 잔차 학습 방법을 채택해서 깊은 신경망에서 학습이 어려운 문제를 완화하고 더 쉽게 최적화하기 위해 신경망 안에 불필요한 레이어를 제거한다. 제안하는 방법은 매우 깊은 신경망의 사라지는 변화도(vanishing gradient) 문제를 완화할 뿐만 아니고 낮은 복잡성으로 뛰어난 성능을 얻음으로써 단일 이미지 초해상도 복원 기법의 성능을 향상시킨다. 실험 결과를 통해 제안하는 알고리듬이 기존의 알고리듬 보다 결과가 더 우수함을 보인다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제9권10호
• /
• pp.303-308
• /
• 2020

ReLU(Rectified Linear Unit) 함수는 제안된 이후로 대부분의 깊은 인공신경망 모델들에서 표준 활성함수로써 지배적으로 사용되었다. 이후에 ReLU를 대체하기 위해 Leaky ReLU, Swish, Mish 활성함수가 제시되었는데, 이들은 영상 분류 과업에서 기존 ReLU 함수 보다 향상된 성능을 보였다. 따라서 초해상화(Super Resolution) 과업에서도 ReLU를 다른 활성함수들로 대체하여 성능 향상을 얻을 수 있는지 실험해볼 필요성을 인지하였다. 본 연구에서는 초해상화 과업에서 안정적인 성능을 보이는 EDSR(Enhanced Deep Super-Resolution Network) 모델에 활성함수들을 변경하면서 성능을 비교하였다. 결과적으로 EDSR의 활성함수를 변경하면서 진행한 실험에서 해상도를 2배로 변환하는 경우, 기존 활성함수인 ReLU가 실험에 사용된 다른 활성함수들 보다 비슷하거나 높은 성능을 보였다. 해상도를 4배로 변환하는 경우에서는 Leaky ReLU와 Swish 함수가 기존 ReLU 함수 대비 다소 향상된 성능을 보임을 확인하였다. Leaky ReLU를 사용했을 때 기존 ReLU보다 영상의 품질을 정량적으로 평가할 수 있는 PSNR과 SSIM 평가지표가 평균 0.06%, 0.05%, Swish를 사용했을 때는 평균 0.06%, 0.03%의 성능 향상을 확인할 수 있었다. 또한 해상도를 8배로 변환하는 경우에서는 Mish 함수가 기존 ReLU 함수 대비 다소 향상된 성능을 보임을 확인하였다. Mish를 사용했을 때 기존 ReLU보다 PSNR과 SSIM 평가지표가 평균 0.06%, 0.02%의 성능 향상을 확인할 수 있었다. 결론적으로 해상도를 4배로 변환하는 초해상화의 경우는 Leaky ReLU와 Swish가, 해상도를 8배로 변환하는 초해상화의 경우는 Mish가 ReLU 대비 향상된 성능을 보였다. 향후 연구에서는 다른 초해상화 모델에서도 성능 향상을 위해 활성함수를 Leaky ReLU, Swish, Mish로 대체하는 비교실험을 수행하는 것도 필요하다고 판단된다.