• Title/Summary/Keyword: Super-Resolution

Search Result 444, Processing Time 0.031 seconds

Advancing gross primary productivity estimation to super high-resolution through remote sensing and machine learning (원격탐사 및 머신러닝 기반 초고해상도 총일차생산량 산정)

  • Jeemi Sung;Jongjin Baik;Hyeon-Joon Kim;Changhyun Jun
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.203-203
    • /
    • 2023
  • 총일차생산량(GPP, Gross Primary Productivity)은 생태계의 유기물 생산량을 나타내는 지표로써 생태계 생산성과 안정성을 파악할 수 있는 중요한 지표로 알려져 있다. GPP를 산출하는 대표적인 방법에는 다중 센서를 탑재한 원격 탐사 자료를 활용하는 방법과 플럭스타워를 통해 관측한 에디공분산을 분석하는 방법이 있다. 본 연구에서는 Landsat과 MODIS와 같이 시공간 해상도가 다른 원격 탐사 자료들을 기반으로 초고해상도 GPP 자료를 산출하기 위한 공간자료 융합 연구를 수행하였다. 이를 위해 GAN(Generative Adversarial Networks)과 같은 머신러닝 알고리즘을 활용하였으며 최종적으로 산정된 GPP 정보는 설마천과 청미천 등에 설치된 플럭스타워로부터 획득한 자료와의 비교·검증을 통해 평가되었다. 본 연구의 성과는 향후 증발산 자료, 생태계 호흡량 자료 등과의 조합을 통해 얻을 수 있는 물이용효율(WUE, Water Use Efficiency), 탄소이용효율(CUE, Carbon Uptake Efficiency)과 같은 지표 산정 시 적극 활용될 수 있을 것으로 기대된다.

  • PDF

A Step-by-Step Approach for Joint Learning of Image Super-Resolution and Inpainting (이미지 초해상화 및 인페인팅 합동 학습을 위한 단계적 처리 모델)

  • Son, Chaeyeon;Kim, Soo Ye;Kim, Hee Kwon;Kim, Munchurl
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • fall
    • /
    • pp.139-143
    • /
    • 2021
  • 본 논문에서는 꾸준히 연구되어 오던 이미지 복원 문제에서 초해상화와 인페인팅이라는 복합적 이미지 복원을 동시에 처리하는 해결 방법을 제안한다. 초해상화는 국지적 픽셀 정보를 이용하여 고해상도의 영상을 복원하고, 인페인팅은 이미지 전체 정보를 활용하여 영상 내 비어 있는 영역을 생성해야 하므로, 이러한 두 가지 영상 복원 기법을 동시에 수행하는 것은 상당히 어려운 문제이다. 그렇기에 인페인팅과 초해상화는 이미지 복원에서 널리 활용되는 기술인 만큼 동시에 해결할 수 있는 기법에 대한 수요는 있음에도 지금까지 거의 연구되지 않았다. 본 논문은 초해상화 및 인페인팅 합동 처리에 있어 복합적인 정보를 모두 다뤄야하는 네트워크가 서로의 성능을 저하시키지 않도록 개략적 복원 네트워크 (Coarse network), 디테일 복원 네트워크 (Refinement network), 초해상화 네트워크 (SR network)로 분리하여 초해상화 및 인페인팅 합동 처리를 수행하며, 각 단계마다 결과 영상을 얻어 스케일 별 정답 영상과 손실함수를 계산하여 복합적인 성능을 올릴 수 있는 방법을 제시한다. 또한 순차적 단일 모델에 비하여 인페인팅과 초해상화를 합동 학습하는 제안 모델이 개선된 화질의 결과 영상을 획득할 수 있다는 것을 실험적으로 보인다.

  • PDF

Deep Learning based x4 and x8 Super-Resolution for Cultural Property Images (딥러닝 기반 문화재 영상에 대한 4 배 및 8 배 초해상화)

  • Son, Chaeyeon;Kim, Soo Ye;Kim, Juyoung;Kim, Munchurl
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2020.11a
    • /
    • pp.118-122
    • /
    • 2020
  • 문화재 영상 데이터는 방대한 양으로 인해 고해상도로 모두 저장이 어렵거나 시간이 지나 상대적으로 화질이 낮은 영상들이 다수 존재하기에 초해상화가 필요한 상황이 많다. 따라서 본 논문에서 처음으로 문화재 영상에 특화된 4 배 및 8 배 딥러닝 기반 초해상화 방식을 제안한다. 문화재 영상 데이터는 배경이 단조롭고 물체가 영상 중간에 위치한다는 특징이 있어 이를 고려해 중간 부분에서만 패치를 추출하는 방식을 적용하여 의미 있는 패치로 학습이 되도록 한다. 또 자연 영상 데이터 셋인 DIV2K 를 사용해 학습하는 방식과 직접 구성한 문화재 데이터 셋을 이용해 학습하는 방식, 그 둘을 적절히 함께 사용하여 학습하는 전이 학습 방법까지 세 가지로 학습하여 초해상화의 성능을 향상시키는 방법을 제안한다. 그 결과, 쌍삼차 보간법(Bicubic interpolation)보다 4 배 초해상화에서는 약 1.25dB, 8 배 초해상화에서는 약 1.26dB 의 성능 개선을 확인하였으며, 단순 DIV2K 로 학습한 방식보다는 4 배에서는 0.06dB, 8 배에서는 0.17dB 의 성능 개선을 확인하였다.

  • PDF

GLM-SI-based x4 and x8 Super-Resolution for Cultural Property Images (문화재 영상에 대한 GLM-SI 기반 4 배 및 8 배 초해상화 연구)

  • Seo, Wonyong;Kim, Soo Ye;Kim, Juyoung;Kim, Munchurl
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2020.11a
    • /
    • pp.220-223
    • /
    • 2020
  • 초해상화란, 저해상도의 영상으로부터 고해상도 영상을 복원하는 이미지 처리 기법이다. 최근 영상 출력 장치의 발전으로 고해상도의 영상을 출력할 장치는 많아지는 한편, 이에 맞는 고해상도 영상을 찍을 영상 기록 장치의 보급은 이에 비해 부족한 실정이다. 따라서 저해상도의 영상을 고해상도 영상으로 변환하는 초해상화 연구는 많은 분야에서 활용되고 있다. 문화재 영상에서의 초해상화는 특히 기존 문화재의 질감, 무늬 등을 보존해야하기 때문에 정교한 초해상화 과정이 요구된다. 본 논문에서는 문화재 영상의 초해상화 과정에 집중해, 기존 문화재의 질감, 무늬 등을 잘 보존하면서 영상 데이터의 양이 상대적으로 적은 경우에도 활용 가능한 기계학습 기범, GLM-SI를 이용한 문화재 영상 초해상화 방법을 제안한다. GLM-SI 를 사용한 초해상화 결과, 문화재 영상에서 선행 방법인 SI 에 비하여 4 배 초해상화에서 PSNR 0.12dB, SSIM 0.017, 8 배 초해상화에서 PSNR 0.23dB, 0.033 의 성능적 향상을 얻을 수 있었다.

  • PDF

Temporally adaptive and region-selective signaling of applying multiple neural network models

  • Ki, Sehwan;Kim, Munchurl
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2020.11a
    • /
    • pp.237-240
    • /
    • 2020
  • The fine-tuned neural network (NN) model for a whole temporal portion in a video does not always yield the best quality (e.g., PSNR) performance over all regions of each frame in the temporal period. For certain regions (usually homogeneous regions) in a frame for super-resolution (SR), even a simple bicubic interpolation method may yield better PSNR performance than the fine-tuned NN model. When there are multiple NN models available at the receivers where each NN model is trained for a group of images having a specific category of image characteristics, the performance of Quality enhancement can be improved by selectively applying an appropriate NN model for each image region according to its image characteristic category to which the NN model was dedicatedly trained. In this case, it is necessary to signal which NN model is applied for each region. This is very advantageous for image restoration and quality enhancement (IRQE) applications at user terminals with limited computing capabilities.

  • PDF

KaVA and EAVN large program on two Supermassive Black Holes, Sgr A∗ and M87

  • Sohn, Bong Won;Kino, Motoki
    • The Bulletin of The Korean Astronomical Society
    • /
    • v.44 no.2
    • /
    • pp.52.1-52.1
    • /
    • 2019
  • Exploring the vicinity of super-massive black holes (SMBHs) is one of the frontiers in astrophysics. KaVA AGN Science WG has launched its Large Program in 2014 focusing on two SMBHs, Sgr A∗ and M87. They are selected based on their large apparent size. Sgr A∗ is the excellent laboratory for studying gas accretion process onto SMBH and M87 is well known as the best case for investigating plasma outflow ultimately driven by SMBH. For Sgr A∗, KaVA and EAVN provides superb UV-coverage on its emitting region and its scattering medium. In the case of M87, we have conducted high cadence dual-frequency (22and 43GHz )VLBI monitoring to clarify the global profile of the M87 jet velocity field and the spectral index map, which should reflect global structure of magnetic fields in the jet. From 2017, the AGN LP is recognized as multi-wavelength EHT project, conducting quasi-simultaneous coherent observations of M87 and Sgr A∗ with the Event Horizon Telescope (EHT) during its campaign observation periods. AGN WG is reviewing and revising its LP to convert it to EAVN LP. We will briefly report our scientific results and future plan which includes even broader international collaboration, namely East-Asia to Italy Nearly Global (EATING) VLBI to reach higher angular resolution.

  • PDF

Real Image Super-Resolution based on Easy-to-Hard Tansfer-Learning (실제 이미지 초해상도를 위한 학습 난이도 조절 기반 전이학습)

  • Cho, Sunwoo;Soh, Jae Woong;Cho, Nam Ik
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2020.07a
    • /
    • pp.701-704
    • /
    • 2020
  • 이미지 초해상도는 딥러닝의 발전과 함께 이를 활용하며 눈에 띄는 성능향상을 이루었다. 딥러닝을 기반으로 한 대부분의 이미지 초해상도 연구는 딥러닝 네트워크 모델의 구조에 대한 연구 위주로 진행되어 왔다. 그러나 최근 들어 딥러닝 기반의 이미지 초해상도가 합성된 데이터에 대해서는 높은 성능을 보이지만 실제 데이터에 대해서는 높은 성능을 보이지 못한다는 사실이 주목받고 있다. 이에 따라 모델 구조를 바꿔 성능을 향상 시키는 것에는 한계가 있어 데이터의 활용이나 학습 방법에 대한 연구의 필요성이 증대되고 있다. 따라서 본 논문은 이미지 초해상도를 위한 난이도 조절 기반 전이학습법(transfer learning)을 제안한다. 제안된 방법에서는 이미지 초해상도를 배율을 난이도가 쉬운 낮은 배율부터 순차적으로 전이학습을 진행한다. 이는 이미지 초해상도의 배율이 높아질수록 학습이 어렵기 때문이다. 결과적으로 본 논문에서는 높은 배율의 이미지 초해상도를 진행하기 위해 낮은 배율의 이미지 초해상도, 즉 난이도가 쉬운 학습부터 점진적으로 학습을 진행하였을 때 더욱 빠르고 효과적으로 학습할 수 있음을 보여준다. 제안된 전이학습 방법을 통해 적은 횟수의 업데이트로 학습을 진행하였을 때 일반적인 학습방법 대비 약 0.18 dB 의 PSNR 상승을 얻어, RealSR [9] 데이터셋에서 28.56 dB의 성능으로 파라미터 수 대비 높은 성능을 얻을 수 있었다.

  • PDF

A Study on Lightweight CNN-based Interpolation Method for Satellite Images (위성 영상을 위한 경량화된 CNN 기반의 보간 기술 연구)

  • Kim, Hyun-ho;Seo, Doochun;Jung, JaeHeon;Kim, Yongwoo
    • Korean Journal of Remote Sensing
    • /
    • v.38 no.2
    • /
    • pp.167-177
    • /
    • 2022
  • In order to obtain satellite image products using the image transmitted to the ground station after capturing the satellite images, many image pre/post-processing steps are involved. During the pre/post-processing, when converting from level 1R images to level 1G images, geometric correction is essential. An interpolation method necessary for geometric correction is inevitably used, and the quality of the level 1G images is determined according to the accuracy of the interpolation method. Also, it is crucial to speed up the interpolation algorithm by the level processor. In this paper, we proposed a lightweight CNN-based interpolation method required for geometric correction when converting from level 1R to level 1G. The proposed method doubles the resolution of satellite images and constructs a deep learning network with a lightweight deep convolutional neural network for fast processing speed. In addition, a feature map fusion method capable of improving the image quality of multispectral (MS) bands using panchromatic (PAN) band information was proposed. The images obtained through the proposed interpolation method improved by about 0.4 dB for the PAN image and about 4.9 dB for the MS image in the quantitative peak signal-to-noise ratio (PSNR) index compared to the existing deep learning-based interpolation methods. In addition, it was confirmed that the time required to acquire an image that is twice the resolution of the 36,500×36,500 input image based on the PAN image size is improved by about 1.6 times compared to the existing deep learning-based interpolation method.

Development of deep learning network based low-quality image enhancement techniques for improving foreign object detection performance (이물 객체 탐지 성능 개선을 위한 딥러닝 네트워크 기반 저품질 영상 개선 기법 개발)

  • Ki-Yeol Eom;Byeong-Seok Min
    • Journal of Internet Computing and Services
    • /
    • v.25 no.1
    • /
    • pp.99-107
    • /
    • 2024
  • Along with economic growth and industrial development, there is an increasing demand for various electronic components and device production of semiconductor, SMT component, and electrical battery products. However, these products may contain foreign substances coming from manufacturing process such as iron, aluminum, plastic and so on, which could lead to serious problems or malfunctioning of the product, and fire on the electric vehicle. To solve these problems, it is necessary to determine whether there are foreign materials inside the product, and may tests have been done by means of non-destructive testing methodology such as ultrasound ot X-ray. Nevertheless, there are technical challenges and limitation in acquiring X-ray images and determining the presence of foreign materials. In particular Small-sized or low-density foreign materials may not be visible even when X-ray equipment is used, and noise can also make it difficult to detect foreign objects. Moreover, in order to meet the manufacturing speed requirement, the x-ray acquisition time should be reduced, which can result in the very low signal- to-noise ratio(SNR) lowering the foreign material detection accuracy. Therefore, in this paper, we propose a five-step approach to overcome the limitations of low resolution, which make it challenging to detect foreign substances. Firstly, global contrast of X-ray images are increased through histogram stretching methodology. Second, to strengthen the high frequency signal and local contrast, we applied local contrast enhancement technique. Third, to improve the edge clearness, Unsharp masking is applied to enhance edges, making objects more visible. Forth, the super-resolution method of the Residual Dense Block (RDB) is used for noise reduction and image enhancement. Last, the Yolov5 algorithm is employed to train and detect foreign objects after learning. Using the proposed method in this study, experimental results show an improvement of more than 10% in performance metrics such as precision compared to low-density images.

Spacial Distribution of PM1.0 Major Compounds from Long Range Transport at the Baegryungdo Super Site: Relationship between PSCF and Cluster Analysis (백령도에서 관측된 장거리 유입 PM1.0의 주성분 공간 분포: PSCF 및 군집분석 관계)

  • Oh, Sea-Ho;Lee, Taehyoung;Park, Taehyun;Ahn, Joon-Young;Park, Jin-Soo;Choi, Jin-Soo;Park, Gyutae;Bae, Min-Suk
    • Journal of Korean Society for Atmospheric Environment
    • /
    • v.33 no.4
    • /
    • pp.411-423
    • /
    • 2017
  • The spacial potential source contribution function (PSCF) method was utilized by considering topography and height of back trajectories based on the measurement of organic typo matter (OM), $NO_3{^-}$, $SO{_4}^{2-}$, and $NH_4{^+}$ at the Baegryungdo Super Site ($37^{\circ}57^{\prime}N$, $124^{\circ}37^{\prime}E$, 135 m a.s.l. (above sea level)) for three selected periods (i.e., January~April, May~August, and September~December) in 2013. The PSCF were calculated on the contributions of trans-boundary transport to the hourly mean concentrations using a high-resolution time-of-flight aerosol mass spectrometer (HR-ToF-AMS). The cluster analysis using back trajectories was performed to identify the major airflows to the sampling site. The upper atmosphere in the Tianjin area of China and the lower atmosphere in the western coast area of Korea can be the major source of trans-boundary pollution to the sampling site during January~April resulted from PSCF. The area in Lianyungang-city and Liaoning-sheng, China can be responsibile for the nitrogen related secondary compounds during May~August, and Shandong Peninsula in China is the major source area during September~December. In addition, relationships between the cluster analysis of back trajectories and PSCF were investigated for the statistically significance level for the source areas.