• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권3호
• /
• pp.877-893
• /
• 2022

With the development of deep learning, face inpainting has been significantly enhanced in the past few years. Although image inpainting framework integrated with generative adversarial network or attention mechanism enhanced the semantic understanding among facial components, the issues of reconstruction on corrupted regions are still worthy to explore, such as blurred edge structure, excessive smoothness, unreasonable semantic understanding and visual artifacts, etc. To address these issues, we propose a Learnable Structure Knowledge of Fusion Network (LSK-FNet), which learns a prior knowledge by edge generation network for image inpainting. The architecture involves two steps: Firstly, structure information obtained by edge generation network is used as the prior knowledge for face inpainting network. Secondly, both the generated prior knowledge and the incomplete image are fed into the face inpainting network together to get the fusion information. To improve the accuracy of inpainting, both of gated convolution and region normalization are applied in our proposed model. We evaluate our LSK-FNet qualitatively and quantitatively on the CelebA-HQ dataset. The experimental results demonstrate that the edge structure and details of facial images can be improved by using LSK-FNet. Our model surpasses the compared models on L1, PSNR and SSIM metrics. When the masked region is less than 20%, L1 loss reduce by more than 4.3%.

• Current Optics and Photonics
• /
• 제5권6호
• /
• pp.606-616
• /
• 2021

A photonic integrated interferometric imaging system possesses the characteristics of small-scale, low weight, low power consumption, and better image quality. It has potential application for replacing conventional large space telescopes. In this paper, the principle of photonic integrated interferometric imaging is investigated. A novel lenslet array arrangement and lenslet pairing approach are proposed, which are helpful in improving spatial frequency coverage. For the novel lenslet array arrangement, two short interference arms were evenly distributed between two adjacent long interference arms. Each lenslet in the array would be paired twice through the novel lenslet pairing approach. Moreover, the image reconstruction model for optical interferometric imaging based on compressed sensing was established. Image simulation results show that the peak signal to noise ratio (PSNR) of the reconstructed image based on compressive sensing is about 10 dB higher than that of the direct restored image. Meanwhile, the normalized mean square error (NMSE) of the direct restored image is approximately 0.38 higher than that of the reconstructed image. Structural similarity index measure (SSIM) of the reconstructed image based on compressed sensing is about 0.33 higher than that of the direct restored image. The increased spatial frequency coverage and image reconstruction approach jointly contribute to better image quality of the photonic integrated interferometric imaging system.

• 디지털산업정보학회논문지
• /
• 제18권4호
• /
• pp.13-21
• /
• 2022

Recently, in wireless video sensor networks(WVSN), various schemes for efficient video data transmission have been studied. In this paper, a layer based cooperative relaying(LCR) algorithm is proposed for minimizing scalable video transmission distortion from packet loss in WVSN. The proposed LCR algorithm consists of two modules. In the first step, a parameter based error propagation metric is proposed to predict the effect of each scalable layer on video quality degradation at low complexity. In the second step, a layer-based cooperative relay algorithm is proposed to minimize distortion due to packet loss using the proposed error propagation metric and channel information of the video sensor node and relay node. In the experiment, the proposed algorithm showed that the improvement of peak signal-to-noise ratio (PSNR) in various channel environments, compared to the previous algorithm(Energy based Cooperative Relaying, ECR) without considering the metric of error propagation.The proposed LCR algorithm minimizes video quality degradation from packet loss using both the channel information of relaying node and the amount of layer based error propagation in scalable video.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.85-88
• /
• 2021

포인트 클라우드 콘텐츠는 실제 환경 및 물체를 3 차원 위치정보를 갖는 점들과 그에 대응하는 색상 등을 획득하여 기록한 실감 콘텐츠이다. 위치와 색상 정보로만 이뤄진 3 차원 점으로 이뤄진 포인트 클라우드 콘텐츠는 확대하여 렌더링 할 경우 점과 점 사이의 간격이 벌어지면서 발생하는 구멍에 의해 콘텐츠 품질이 저하될 수 있다. 이러한 문제를 해결하기 위해 본 논문에서는 포인트 클라우드 확대 시 점들 간 간격이 벌어져 생기는 구멍에 대해 깊이정보를 활용한 역변환 기반 보간 방법을 통해 포인트 클라우드 콘텐츠 품질을 개선하는 방법을 제안한다. 벌어진 간격들 사이에서 빈 공간을 찾을 때 그 사이로 뒷면의 점들이 그려지게 되어 보간 방법을 적용하는데 방해요소로 작용한다. 이를 해결하기 위해 구멍이 발생하지 않은 시점에서 렌더링 된 영상을 사용하여 포인트 클라우드의 뒷면에 해당되는 점들을 제거한다. 다음으로 깊이 맵(depth map)을 추출한 후 추출된 깊이 값을 사용하여 뎁스 에지(depth edge)를 구하고 에지를 사용하여 깊이 불연속 부분에 대해 처리한다. 마지막으로 뎁스 값을 활용하여 이전에 찾은 구멍들의 역변환을 하여 원본의 데이터에서 픽셀을 추출한다. 제안하는 방법으로 콘텐츠를 렌더링 한 결과, 기존의 크기를 늘려 빈 영역을 채우는 방법에 비해 렌더링 품질이 평균 PSNR 측면에서 2.9 dB 향상된 결과를 보였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
• /
• pp.671-672
• /
• 2021

본 논문에서는 작전환경과 위장무늬 디자인 영상 간의 색상 및 구조 분석 기반의 새로운 정량적 위장무늬 평가 방법을 제안한다. 작전환경 및 위장무늬 디자인 영상 간 RGB, Lab 색상 공간에서의 화소간 평균 오차 및 색상 히스토그램 비교를 통해 색상 유사도를 계산한다. 또한, PSNR(Peak Signal-to-Noise Ratio), MSSIM(Mean Structural Similarity Index), UIQI, GMSD 및 딥러닝 기반 영상 간 구조 유사도를 계산한다. Random Forest Regressor를 통해 각각 계산된 색상 및 구조 유사도 파라미터를 회기 분석하여 최종 위장무늬 평가 결과를 계산한다. 20명의 피실험자를 대상으로 제안한 위장무늬 평가 방법과 기존 평가 방법을 비교함을 통해 제안한 방법의 성능을 검증하였다.

• 천문학회보
• /
• 제44권2호
• /
• pp.70.4-70.4
• /
• 2019

Image super-resolution (SR) is a technique that enhances the resolution of a low resolution image. In this study, we use three SR models (RCAN, ProSRGAN and Bicubic) for enhancing solar SDO/HMI magnetograms using deep learning. Each model generates a high resolution HMI image from a low resolution HMI image (4 by 4 binning). The pixel resolution of HMI is about 0.504 arcsec. Deep learning networks try to find the hidden equation between low resolution image and high resolution image from given input and the corresponding output image. In this study, we trained three models with HMI images in 2014 and test them with HMI images in 2015. We find that the RCAN model achieves higher quality results than the other two methods in view of both visual aspects and metrics: 31.40 peak signal-to-noise ratio(PSNR), Correlation Coefficient (0.96), Root mean square error (RMSE) is 0.004. This result is also much better than the conventional bi-cubic interpolation. We apply this model to a full-resolution SDO/HMI image and compare the generated image with the corresponding Hinode NFI magnetogram. As a result, we get a very high correlation (0.92) between the generated SR magnetogram and the Hinode one.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.1-5
• /
• 2020

최근 MPEG-I 그룹에서는 표준화가 진행중인 몰입형 미디어(Immersive Media)에 대한 압축 성능 탐색이 이루어지고 있다. 몰입형 비디오는 다수의 시점 영상과 깊이 맵을 통한 깊이 맵 기반 이미지 렌더링(DIBR)을 바탕으로 제한적 6DoF 을 제공하고자 하는 기술이다. 현재 MIV(Model for Immersive Video) 기술에서는 바탕 시점(Basic View)과 각 시점의 고유한 영상 정보를 패치 단위로 모아둔 추가 시점(Additional View)으로 처리하는 모델을 채택하고 있다. 그 중에서 추가 시점은 일반적인 영상과는 달리 시간적/공간적 상관성이 떨어지는 분절적인 형태로 이루어져 있어 비디오 인코더에 대해 최적화가 되어 있지 않으며, 처리 방법의 특성에 따라 자기 유사적인 형태를 지니게 된다. 따라서 MIV 에서 스크린 콘텐츠 코딩 성능과 함께 화면 내 블록 카피(IBC: intra block copy) 기술에 대한 성능을 분석 결과를 제시한다. IBC 미적용 대비 최대 7.56%의 Y-PSNR BD-rate 감소가 가능함을 확인하였으며, 영상의 특성에 따라 IBC 의 선택 비율을 확인하여 추가 시점의 효율적인 압축 형태를 고찰한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.701-704
• /
• 2020

이미지 초해상도는 딥러닝의 발전과 함께 이를 활용하며 눈에 띄는 성능향상을 이루었다. 딥러닝을 기반으로 한 대부분의 이미지 초해상도 연구는 딥러닝 네트워크 모델의 구조에 대한 연구 위주로 진행되어 왔다. 그러나 최근 들어 딥러닝 기반의 이미지 초해상도가 합성된 데이터에 대해서는 높은 성능을 보이지만 실제 데이터에 대해서는 높은 성능을 보이지 못한다는 사실이 주목받고 있다. 이에 따라 모델 구조를 바꿔 성능을 향상 시키는 것에는 한계가 있어 데이터의 활용이나 학습 방법에 대한 연구의 필요성이 증대되고 있다. 따라서 본 논문은 이미지 초해상도를 위한 난이도 조절 기반 전이학습법(transfer learning)을 제안한다. 제안된 방법에서는 이미지 초해상도를 배율을 난이도가 쉬운 낮은 배율부터 순차적으로 전이학습을 진행한다. 이는 이미지 초해상도의 배율이 높아질수록 학습이 어렵기 때문이다. 결과적으로 본 논문에서는 높은 배율의 이미지 초해상도를 진행하기 위해 낮은 배율의 이미지 초해상도, 즉 난이도가 쉬운 학습부터 점진적으로 학습을 진행하였을 때 더욱 빠르고 효과적으로 학습할 수 있음을 보여준다. 제안된 전이학습 방법을 통해 적은 횟수의 업데이트로 학습을 진행하였을 때 일반적인 학습방법 대비 약 0.18 dB 의 PSNR 상승을 얻어, RealSR [9] 데이터셋에서 28.56 dB의 성능으로 파라미터 수 대비 높은 성능을 얻을 수 있었다.

• International Journal of Internet, Broadcasting and Communication
• /
• 제15권4호
• /
• pp.74-83
• /
• 2023

In this paper, we propose an image compression scheme which uses a demosaicking network and a channel-wise decoder in the decoding network. For the demosaicing network, we use as the input a colored mosaiced pattern rather than the well-known Bayer pattern. The use of a colored mosaiced pattern results in the mosaiced image containing a greater amount of information pertaining to the original image. Therefore, it contributes to result in a better color reconstruction. The channel-wise decoder is composed of multiple decoders where each decoder is responsible for each channel in the color image, i.e., the R, G, and B channels. The encoder and decoder are both implemented by wavelet based auto-encoders for better performance. Experimental results verify that the separated channel-wise decoders and the colored mosaic pattern produce a better reconstructed color image than a single decoder. When combining the colored CFA with the multi-decoder, the PSNR metric exhibits an increase of over 2dB for three-times compression and approximately 0.6dB for twelve-times compression compared to the Bayer CFA with a single decoder. Therefore, the compression rate is also increased with the proposed method than with the method using a single decoder on the Bayer patterned mosaic image.

• Current Optics and Photonics
• /
• 제8권2호
• /
• pp.127-137
• /
• 2024

The distribution of tags is an important factor that affects the performance of radio-frequency identification (RFID). To study RFID performance, it is necessary to obtain RFID tags' coordinates. However, the positioning method of RFID technology has large errors, and is easily affected by the environment. Therefore, a new method using optical measurement is proposed to achieve RFID performance analysis. First, due to the possibility of blurring during image acquisition, the paper derives a new image prior to removing blurring. A nonlocal means-based method for image deconvolution is proposed. Experimental results show that the PSNR and SSIM indicators of our algorithm are better than those of a learning deep convolutional neural network and fast total variation. Second, an RFID dynamic testing system based on photoelectric sensing technology is designed. The reading distance of RFID and the three-dimensional coordinates of the tags are obtained. Finally, deep learning is used to model the RFID reading distance and tag distribution. The error is 3.02%, which is better than other algorithms such as a particle-swarm optimization back-propagation neural network, an extreme learning machine, and a deep neural network. The paper proposes the use of optical methods to measure and collect RFID data, and to analyze and predict RFID performance. This provides a new method for testing RFID performance.