• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1226-1228
• /
• 2022

FHD 이상을 넘어선 UHD급의 고해상도 동영상 콘텐츠의 수요 및 공급이 증가함에 따라 전반적인 산업 영역에서 네트워크 자원을 효율적으로 이용하여 동영상 콘텐츠를 제공하는 데에 관심을 두게 되었다. 기존 방법을 통한 bi-cubic, bi-linear interpolation 등의 방법은 딥 러닝 기반의 모델에 비교적 인풋 이미지의 특징을 잘 잡아내지 못하는 결과를 나타내었다. 딥 러닝 기반의 초 해상화 기술의 경우 기존 방법과 비교 시 연산을 위해 더 많은 자원을 필요로 하므로, 이러한 사용 조건에 따라 본 논문은 초 해상화가 가능한 딥 러닝 모델을 경량화 기법을 사용하여 기존에 사용된 모델보다 비교적 적은 자원을 효율적으로 사용할 수 있도록 연구 개발하는 데 목적을 두었다. 연구방법으로는 structure pruning을 이용하여 모델 자체의 구조를 경량화 하였고, 학습을 진행해야 하는 파라미터를 줄여 하드웨어 자원을 줄이는 연구를 진행했다. 또한, Residual Network의 개수를 줄여가며 PSNR, LPIPS, tOF등의 결과를 비교했다.

• The Journal of Korean Institute of Electromagnetic Engineering and Science
• /
• v.28 no.8
• /
• pp.636-645
• /
• 2017

A scanning radar is exploited widely such as for ground surveillance, disaster rescue, and etc. However, the range resolution is limited by transmitted bandwidth and cross-range resolution is limited by beam width. In this paper, we propose a method for super-resolution radar imaging. If the distribution of reflectivity is sparse, the distribution is called sparse signal. That is, the problem could be formulated as compressive sensing problem. In this paper, 2D super-resolution radar image is generated via reweighted ${\ell}_1-Minimization$. In the simulation results, we compared the images obtained by the proposed method with those of the conventional Orthogonal Matching Pursuit(OMP) and Synthetic Aperture Radar(SAR).

• Journal of Broadcast Engineering
• /
• v.26 no.4
• /
• pp.429-440
• /
• 2021

With the recent development of deep convolutional neural network learning, deep learning techniques applied to single image super-resolution are showing good results. One of the existing deep learning-based super-resolution techniques is RDN(Residual Dense Network), in which the initial feature information is transmitted to the last layer using residual dense blocks, and subsequent layers are restored using input information of previous layers. However, if all hierarchical features are connected and learned and a large number of residual dense blocks are stacked, despite good performance, a large number of parameters and huge computational load are needed, so it takes a lot of time to learn a network and a slow processing speed, and it is not applicable to a mobile system. In this paper, we use the residual dense structure, which is a continuous memory structure that reuses previous information, and the residual dense channel attention block using the channel attention method that determines the importance according to the feature map of the image. We propose a method that can increase the depth to obtain a large receptive field and maintain a concise model at the same time. As a result of the experiment, the proposed network obtained PSNR as low as 0.205dB on average at 4× magnification compared to RDN, but about 1.8 times faster processing speed, about 10 times less number of parameters and about 1.74 times less computation.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.05a
• /
• pp.401-403
• /
• 2021

본 시스템은 같은 환자로부터 촬영한 기존 안저영상과 초광각 안저영상을 Paired Dataset으로 지니고 있으며, 영상의 크기 및 해상도를 똑같이 맞추고, 황반부와 신경유두 및 혈관의 위치를 미세조정하는 과정을 자동화하는 것을 목표로 하고 있다. 이 과정은 황반부를 중심으로 하여 영상을 잘라내어 이미지의 크기를 맞추는 과정(Scaling)과, 황반부를 중심으로 잘라낸 한 쌍의 영상을 포개었을 때 황반부, 신경 유두, 혈관 등의 위치가 동일하도록 미세조정하는 과정(Warping)이 있다. Scaling Stage에선 기존 안저영상과 초광각 안저영상의 촬영범위가 현저하게 차이나기 때문에, 황반변성 부위를 잘 나타내도록 사전에 잘라낼 필요가 있으며, 이를 신경유두의 Object Detection을 활용할 예정이다. Warping Stage에선 동일한 위치에 같은 황반변성 정보가 내포되어야 하므로 규격조정 및 위치조정 과정이 필수적이며, 이후 안저영상 내의 특징들을 매칭하는 작업을 하기 위해 회전, 회절, 변환 작업 등이 이루어지며, 이는 Homography Estimation을 통하여 이미지 변환 matrix를 구하는 방법으로 진행된다. 자동조정된 안저영상 데이터는 추후에 GAN을 이용한 안저영상 생성모델을 위한 학습데이터로 이용할 예정이며, 현재로선 2500쌍의 데이터를 대상으로 실험을 진행중이지만, 최종적으로 3만 쌍의 안저영상 데이터를 목표로 하고 있다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.26 no.3
• /
• pp.381-388
• /
• 2022

In instance segmentation, Mask-RCNN is mostly used as a base model. Increasing the performance of Mask-RCNN is meaningful because it affects the performance of the derived model. Mask-RCNN has a transform module for unifying size of input images. In this paper, to improve the Mask-RCNN, we apply deep-learning-based ASSR to the resizing part in the transform module and inject calculated scale information into the model using IM(Integration Module). The proposed IM improves instance segmentation performance by 2.5 AP higher than Mask-RCNN in the COCO dataset, and in the periment for optimizing the IM location, the best performance was shown when it was located in the 'Top' before FPN and backbone were combined. Therefore, the proposed method can improve the performance of models using Mask-RCNN as a base model.

• IEMEK Journal of Embedded Systems and Applications
• /
• v.15 no.2
• /
• pp.61-70
• /
• 2020

Convolutional Neural Networks (CNN) have been used extensively in recent times to solve image classification and segmentation problems. However, the use of CNNs in image super-resolution problems remains largely unexploited. Filter interpolation and prediction model methods are the most commonly used algorithms in super-resolution algorithm implementations. The major limitation in the above named methods is that images become totally blurred and a lot of the edge information are lost. In this paper, we analyze super resolution based on CNN and the wavelet transform super resolution method. We compare and analyze the performance according to the number of layers and the training data of the CNN.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2020.07a
• /
• pp.439-441
• /
• 2020

본 논문에서는 국가무형문화재 기록영상의 화질 개선에 관한 연구를 진행한다. 기록영상의 화질 개선을 위해 SRGAN 기반의 초해상화 복원영상 생성 프레임워크의 적용을 제안한다. Image aumentation과 median filter를 적용한 데이터셋과 적대적 신경망인 Generative Adversarial Network (GAN)을 기반으로 딥러닝 네트워크를 구축하여 입력된 Low-Resolution 이미지를 통해 High-Resolution의 복원 영상을 생성한다. 이 연구를 통해 국가무형문화재 기록영상 뿐만 아니라 문화재 전반의 사진 및 영상 기록 자료의 품질 개선 가능성을 제시하고, 영상 기록 자료의 아카이브 구축을 통해 지속적인 활용의 기초연구가 되는 것을 목표로 한다.

• Journal of Intelligence and Information Systems
• /
• v.29 no.4
• /
• pp.257-269
• /
• 2023

There is currently a burgeoning demand for image synthesis from photos and videos using deep learning models. Existing video synthesis models solely extract motion information from the provided video to generate animation effects on photos. However, these synthesis models encounter challenges in achieving accurate lip synchronization with the audio and maintaining the image quality of the synthesized output. To tackle these issues, this paper introduces a novel framework based on an image animation approach. Within this framework, upon receiving a photo, a video, and audio input, it produces an output that not only retains the unique characteristics of the individuals in the photo but also synchronizes their movements with the provided video, achieving lip synchronization with the audio. Furthermore, a super-resolution model is employed to enhance the quality and resolution of the synthesized output.

• Journal of Internet Computing and Services
• /
• v.16 no.1
• /
• pp.1-8
• /
• 2015

Ultra-wide-angle wireless endoscopes are demonstrated in this paper. The endoscope is composed of an ultra-wide-angle camera module and wireless transmission module. A lens unit with the ultra-wide FOV of 162 degrees is designed and manufactured. The lens, image sensor, and camera processor unit are packaged together in a $3{\times}3{\times}9-cm3$ case. The wireless transmission modules are implemented based on UWB- and WiFi-based platform, respectively. The UWB-based module can transmit HD video to a computer in resolution of $2048{\times}1536$ (QXGA) and the frame rate of 15 fps in MJPEG compression mode. The maximum data transfer rate reaches 41.2 Mbps. The FOV and the resolution of the endoscope is comparable to a medical-grade endoscope. The FOV and resolution is ~3X and 16X higher than that of a commercial high-performance WiFi endoscope, respectively. The WiFi-based module streams out video to a smart device with th maximum date transfer rate of 1.5 Mbps at the resolution of $640{\times}480$ (VGA) and the frame rate of 30 fps in MJPEG compression mode. The implemented components show the feasibility of cheap medical-grade wireless electronic endoscopes, which can be effectively used in u-healthcare, emergency treatment, home-healthcare, remote diagnosis, etc.

• Proceedings of the Korean Society of Dyers and Finishers Conference
• /
• 2011.11a
• /
• pp.44-44
• /
• 2011

본 연구에서는 직물조직의 분석과정을 자동화할 수 있는 전용 하드웨어 및 소프트웨어를 개발하였다. 직물조직의 분석은 직물 설계 및 품질관리 단계에서 매우 중요한 공정이나 현재까지도 확대경과 분해침에 의존하여 수작업으로 이루어지고 있는 것이 실정이라 자동화가 절실히 요구되는 분야라고 할 수 있다. 최근 컴퓨터 기술의 발달로 섬유산업 분야에서도 자동화 관련 연구가 많이 이루어지고 있으며 직물 분석 과정에 대한 연구도 여러 차례 시도된 바 있다. 여기에는 주로 디지털 영상으로부터 특징을 찾아내고 분석하는 이미지 프로세싱 기법이 쓰였는데 이는 재현성, 정확성, 속도 등에서 육안에 의한 방법과는 비교할 수 없는 장점을 가지고 있다. 그러나 기존의 연구들은 카메라의 한계로 인해 주로 저해상도의 이미지를 가지고 작업을 하거나, 이미지 프로세싱 또는 인공 신경망을 단독으로 적용하는 등의 한계를 가지고 있었다. 본 연구에서는 이러한 문제점을 극복하기 위해 초고해상도 직물 이미지를 획득한 뒤 이로부터 직물의 교차점을 인식하는데 필요한 파라미터를 추출하고 이를 인공 신경망에 학습시켜 직물 설계에 필요한 조직도를 생성하는 시스템을 개발하고자 하였다. 이를 위해 먼저 컴퓨터로 컨트롤이 가능한 직물 분석 전용 초정밀 XY 스테이지의 하드웨어를 설계 제작 하였으며 각종 이미지 분석 및 하드웨어 컨트롤에 필요한 전용 소프트웨어를 개발하였으며 그 결과 각종 직물의 조직을 매우 정확히 인식할 수 있게 되었다. 향후 이미지 획득 과정의 보완, 새로운 파라미터의 정의 및 신경망의 반복 학습을 통해 본 시스템이 보다 보완된다면 직물 분석 작업의 자동화를 통한 제품 개발과 생산에 소요되는 시간을 단축 및 품질 관리 공정의 자동화에 기여할 수 있을 것으로 기대된다.