• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권5호
• /
• pp.1761-1777
• /
• 2021

An image with infrared features and visible details is obtained by processing infrared and visible images. In this paper, a fusion method based on Laplacian pyramid and generative adversarial network is proposed to obtain high quality fusion images, termed as Laplacian-GAN. Firstly, the base and detail layers are obtained by decomposing the source images. Secondly, we utilize the Laplacian pyramid-based method to fuse these base layers to obtain more information of the base layer. Thirdly, the detail part is fused by a generative adversarial network. In addition, generative adversarial network avoids the manual design complicated fusion rules. Finally, the fused base layer and fused detail layer are reconstructed to obtain the fused image. Experimental results demonstrate that the proposed method can obtain state-of-the-art fusion performance in both visual quality and objective assessment. In terms of visual observation, the fusion image obtained by Laplacian-GAN algorithm in this paper is clearer in detail. At the same time, in the six metrics of MI, AG, EI, MS_SSIM, Q_abf and SCD, the algorithm presented in this paper has improved by 0.62%, 7.10%, 14.53%, 12.18%, 34.33% and 12.23%, respectively, compared with the best of the other three algorithms.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권11호
• /
• pp.4065-4083
• /
• 2021

Super-resolution can improve the clarity of low-resolution (LR) images, which can increase the accuracy of high-level compute vision tasks. Portable devices have low computing power and storage performance. Large-scale neural network super-resolution methods are not suitable for portable devices. In order to save the computational cost and the number of parameters, Lightweight image processing method can improve the processing speed of portable devices. Therefore, we propose the Enhanced Information Multiple Distillation Network (EIMDN) to adapt lower delay and cost. The EIMDN takes feedback mechanism as the framework and obtains low level features through high level features. Further, we replace the feature extraction convolution operation in Information Multiple Distillation Block (IMDB), with Ghost module, and propose the Enhanced Information Multiple Distillation Block (EIMDB) to reduce the amount of calculation and the number of parameters. Finally, coordinate attention (CA) is used at the end of IMDB and EIMDB to enhance the important information extraction from Spaces and channels. Experimental results show that our proposed can achieve convergence faster with fewer parameters and computation, compared with other lightweight super-resolution methods. Under the condition of higher peak signal-to-noise ratio (PSNR) and higher structural similarity (SSIM), the performance of network reconstruction image texture and target contour is significantly improved.

• 한국정보시스템학회지:정보시스템연구
• /
• 제31권4호
• /
• pp.145-160
• /
• 2022

Purpose The purpose of this study is to develop a virtual try-on deep learning model that can efficiently learn front and back clothes images. It is expected that the application of virtual try-on clothing service in the fashion and textile industry field will be vitalization. Design/methodology/approach The data used in this study used 232,355 clothes and product images. The image data input to the model is divided into 5 categories: original clothing image and wearer image, clothing segmentation, wearer's body Densepose heatmap, wearer's clothing-agnosting. We advanced the HR-VITON model in the way of Mixed-Precison, Gradient Accumulation, and sharing model weights. Findings As a result of this study, we demonstrated that the weight-shared MP-GA HR-VITON model can efficiently learn front and back fashion images. As a result, this proposed model quantitatively improves the quality of the generated image compared to the existing technique, and natural fitting is possible in both front and back images. SSIM was 0.8385 and 0.9204 in CP-VTON and the proposed model, LPIPS 0.2133 and 0.0642, FID 74.5421 and 11.8463, and KID 0.064 and 0.006. Using the deep learning model of this study, it is possible to naturally fit one color clothes, but when there are complex pictures and logos as shown in <Figure 6>, an unnatural pattern occurred in the generated image. If it is advanced based on the transformer, this problem may also be improved.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권12호
• /
• pp.4420-4438
• /
• 2021

Image dehazing is an ill-posed problem which is far from being solved. Traditional image dehazing methods often yield mediocre effects and possess substandard processing speed, while modern deep learning methods perform best only in certain datasets. The haze removal effect when processed by said methods is unsatisfactory, meaning the generalization performance fails to meet the requirements. Concurrently, due to the limited processing speed, most dehazing algorithms cannot be employed in the industry. To alleviate said problems, a lightweight fast dehazing network based on a multiple scale-patch framework (MSP) is proposed in the present paper. Firstly, the multi-scale structure is employed as the backbone network and the multi-patch structure as the supplementary network. Dehazing through a single network causes problems, such as loss of object details and color in some image areas, the multi-patch structure was employed for MSP as an information supplement. In the algorithm image processing module, the image is segmented up and down for processed separately. Secondly, MSP generates a clear dehazing effect and significant robustness when targeting real-world homogeneous and nonhomogeneous hazy maps and different datasets. Compared with existing dehazing methods, MSP demonstrated a fast inference speed and the feasibility of real-time processing. The overall size and model parameters of the entire dehazing model are 20.75M and 6.8M, and the processing time for the single image is 0.026s. Experiments on NTIRE 2018 and NTIRE 2020 demonstrate that MSP can achieve superior performance among the state-of-the-art methods, such as PSNR, SSIM, LPIPS, and individual subjective evaluation.

• International Journal of Computer Science & Network Security
• /
• 제22권11호
• /
• pp.308-318
• /
• 2022

Noise is a serious issue. While sending images via electronic communication, Impulse noise, which is created by unsteady voltage, is one of the most common noises in digital communication. During the acquisition process, pictures were collected. It is possible to obtain accurate diagnosis images by removing these noises without affecting the edges and tiny features. The New Average High Noise Density Median Filter. (HNDMF) was proposed in this paper, and it operates in two steps for each pixel. Filter can decide whether the test pixels is degraded by SPN. In the first stage, a detector identifies corrupted pixels, in the second stage, an algorithm replaced by noise free processed pixel, the New average suggested Filter produced for this window. The paper examines the performance of Gaussian Filter (GF), Adaptive Median Filter (AMF), and PHDNF. In this paper the comparison of known image denoising is discussed and a new decision based weighted median filter used to remove impulse noise. Using Mean Square Error (MSE), Peak Signal to Noise Ratio (PSNR), and Structure Similarity Index Method (SSIM) metrics, the paper examines the performance of Gaussian Filter (GF), Adaptive Median Filter (AMF), and PHDNF. A detailed simulation process is performed to ensure the betterment of the presented model on the Mini-MIAS dataset. The obtained experimental values stated that the HNDMF model has reached to a better performance with the maximum picture quality. images affected by various amounts of pretend salt and paper noise, as well as speckle noise, are calculated and provided as experimental results. According to quality metrics, the HNDMF Method produces a superior result than the existing filter method. Accurately detect and replace salt and pepper noise pixel values with mean and median value in images. The proposed method is to improve the median filter with a significant change.

• 방송공학회논문지
• /
• 제28권1호
• /
• pp.90-99
• /
• 2023

본 연구에서는 전통적인 RGB 영상보다 데이터양이 적은 로우 센서 영상을 이용한 초해상화 네트워크를 제안하고 이에 대한 실험결과를 정리하였다. 로우 센서 영상의 초해상화는 일반적인 RGB 초해상화와 달리 카메라에서 일어나는 후처리 가공이 없는 무손실영상을 이용하기 때문에 결과물의 성능이 일반 RGB 초해상화 연구와 달리 색상 보정에 따라 많이 좌우된다. 따라서, 본 연구에서는색상 보정을 위한 모듈을 개발하여 기존 RGB 기반 네트워크에 삽입해 이를 이용해 성능 결과를 비교하였다. 연구 결과 색상 보정 모듈을 적용함으로 성능 지표의 향상이 있음을 확인하였다. 다만, 출력 영상의 의도하지 않은 아티팩트가 발생하는 현상을 확인하였고, 성능 지표 중 PSNR의 향상이 분명하나 SSIM의 성능이 일부 떨어지는 것으로 확인하였다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2023년도 학술발표회
• /
• pp.417-417
• /
• 2023

도시홍수는 도시의 주요 기능을 마비시킬 수 있는 수재해로서, 최근 집중호우로 인해 홍수 및 침수 위험도가 증가하고 있다. 집중호우는 한정된 지역에 단시간 동안 집중적으로 폭우가 발생하는 현상을 의미하며, 도시 지역에서 강우 추정 및 예보를 위해 레이더의 활용이 증대되고 있다. 레이더는 수상체 또는 구름으로부터 반사되는 신호를 분석해서 강우량을 측정하는 장비이다. 기상청의 기상레이더(S밴드)의 주요 목적은 남한에 발생하는 기상현상 탐지 및 악기상 대비이다. 관측반경이 넓기에 도시 지역에 적합하지 않는 반면, X밴드 이중편파레이더는 높은 시공간 해상도를 갖는 관측자료를 제공하기에 도시 지역에 대한 강우 추정 및 예보의 정확도가 상대적으로 높다. 따라서, 본 연구에서는 딥러닝 기반 초해상화(Super Resolution) 기술을 활용하여 저해상도(Low Resolution. LR) 영상인 S밴드 레이더 자료로부터 고해상도(High Resolution, HR) 영상을 생성하는 기술을 개발하였다. 초해상도 연구는 Nearest Neighbor, Bicubic과 같은 간단한 보간법(interpolation)에서 시작하여, 최근 딥러닝 기반의 초해상화 알고리즘은 가장 일반화된 합성곱 신경망(CNN)을 통해 연구가 이루어지고 있다. X밴드 레이더 반사도 자료를 고해상도(HR), S밴드 레이더 반사도 자료를 저해상도(LR) 입력자료로 사용하여 초해상화 모형을 구성하였다. 2018~2020년에 발생한 서울시 호우 사례를 중심으로 데이터를 구축하였다. 구축된 데이터로부터 훈련된 초해상도 심층신경망 모형으로부터 저해상도 이미지를 고해상도로 변환한 결과를 PSNR(Peak Signal-to-noise Ratio), SSIM(Structural SIMilarity)와 같은 평가지표로 결과를 평가하였다. 본 연구를 통해 기존 방법들에 비해 높은 공간적 해상도를 갖는 레이더 자료를 생산할 수 있을 것으로 기대된다.

• 한국음향학회지
• /
• 제42권5호
• /
• pp.422-428
• /
• 2023

초고속 초음파 영상은 탄성 영상, 초고속 도플러, 초해상도 영상과 같은 다양한 초음파 기반의 기능성 영상기술에 폭넓게 적용되고 있다. 하지만, 획득하는 데이터의 양이 많아 실시간 영상 재구성이나 3차원 또는 모바일 초음파 영상 응용으로의 확장이 제한된다. 본 논문은 적응 양자화 기법을 통해 초고속 초음파 영상으로 획득되는 대용량 Radio frequency(RF) 데이터의 전송 효율을 높이는 방법을 제안한다. 인체에서 반사된 초음파 신호는 높은 동적 범위를 가져 대부분의 현재 시스템에서 사용되는 고정 양자화 기법은 10 bits ~ 14 bits 이상의 높은 양자화 단계를 가진다. 양자화 단계 저감에 대한 화질 저하의 한계를 극복하기 위해, 본 연구는 영상 깊이에 따라 구간을 설정하고, 각 영역별 RF 데이터를 정규화하고 양자화하는 방안을 제안한다. 정량적인 검증을 위해, Field II 컴퓨터 모사 실험을 활용하여, 고정 양자화 방법과 제안하는 방법의 대조도 대 잡음 비, 공간 해상도 및 원본 대비 유사도를 비교하였다. 또한, 연구용 초음파 장비를 활용한 인체 모사 실험 및 인체 실험을 통해 최종 3-bit로 재구성한 영상에서도 제안하는 방법이 효과적으로 적용되는 것을 입증하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권3호
• /
• pp.881-895
• /
• 2023

Modern image inpainting techniques based on deep learning have achieved remarkable performance, and more and more people are working on repairing more complex and larger missing areas, although this is still challenging, especially for facial image inpainting. For a face image with a huge missing area, there are very few valid pixels available; however, people have an ability to imagine the complete picture in their mind according to their subjective will. It is important to simulate this capability while maintaining the identity features of the face as much as possible. To achieve this goal, we propose a three-stage network model, which we refer to as the identity and structure feature refinement network (ISFRNet). ISFRNet is based on 1) a pre-trained pSp-styleGAN model that generates an extremely realistic face image with rich structural features; 2) a shallow structured network with a small receptive field; and 3) a modified U-net with two encoders and a decoder, which has a large receptive field. We choose structural similarity index (SSIM), peak signal-to-noise ratio (PSNR), L1 Loss and learned perceptual image patch similarity (LPIPS) to evaluate our model. When the missing region is 20%-40%, the above four metric scores of our model are 28.12, 0.942, 0.015 and 0.090, respectively. When the lost area is between 40% and 60%, the metric scores are 23.31, 0.840, 0.053 and 0.177, respectively. Our inpainting network not only guarantees excellent face identity feature recovery but also exhibits state-of-the-art performance compared to other multi-stage refinement models.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 춘계학술발표대회
• /
• pp.504-507
• /
• 2020

ReLU(Rectified Linear Unit) 함수는 제안된 이후로 대부분의 깊은 인공신경망 모델들에서 표준 활성함수로써 지배적으로 사용되었다. 이후에 ReLU 를 대체하기 위해 Leaky ReLU, Swish, Mish 활성함수가 제시되었는데, 이들은 영상 분류 과업에서 기존 ReLU 함수 보다 향상된 성능을 보였다. 따라서 초해상화(Super Resolution) 과업에서도 ReLU 를 다른 활성함수들로 대체하여 성능 향상을 얻을 수 있는지 실험해볼 필요성을 느꼈다. 본 연구에서는 초해상화 과업에서 안정적인 성능을 보이는 EDSR(Enhanced Deep Super-Resolution Network) 모델의 활성함수들을 변경하면서 성능을 비교하였다. 결과적으로 EDSR 의 활성함수를 변경하면서 진행한 실험에서 해상도를 2 배로 변환하는 경우, 기존 활성함수인 ReLU 가 실험에 사용된 다른 활성함수들 보다 비슷하거나 높은 성능을 보였다. 하지만 해상도를 4 배로 변환하는 경우에서는 Leaky ReLU 와 Swish 함수가 기존 ReLU 함수대비 다소 향상된 성능을 보임을 확인하였다. 구체적으로 Leaky ReLU 를 사용했을 때 기존 ReLU 보다 영상의 품질을 정량적으로 평가할 수 있는 PSNR 과 SSIM 평가지표가 평균 0.06%, 0.05%, Swish 를 사용했을 때는 평균 0.06%, 0.03%의 성능 향상을 확인할 수 있었다. 4 배의 해상도를 높이는 초해상화의 경우, Leaky ReLU 와 Swish 가 ReLU 대비 향상된 성능을 보였기 때문에 향후 연구에서는 다른 초해상화 모델에서도 성능 향상을 위해 활성함수를 Leaky ReLU 나 Swish 로 대체하는 비교실험을 수행하는 것도 필요하다고 판단된다.