• Journal of Multimedia Information System
• /
• 제4권4호
• /
• pp.311-316
• /
• 2017

High Efficiency Video Coding (HEVC) is the newest video coding standard for improvement in video data compression. This new standard provides a significant improvement in picture quality, especially for high-resolution videos. A quadtree-based structure is created for the encoding and decoding processes and the rate-distortion (RD) cost is calculated for all possible dimensions of coding units in the quadtree. To get the best combination of the block an optimization process is performed in the encoder, called rate distortion optimization (RDO). In this work we are proposing a novel approach to enhance the overall RDO process of HEVC encoder. The proposed algorithm is performed in two steps. In the first step, like HEVC, it performs general rate distortion optimization. The second step is an extra checking where a SSIM based cost is evaluated. Moreover, a fast SSIM (FSSIM) calculation technique is also proposed in this paper.

• 한국융합학회논문지
• /
• 제10권12호
• /
• pp.43-52
• /
• 2019

최근 5G의 등장에 따라 국내 스트리밍 시장에서는 360 VR(Virtual Reality) 서비스가 주목받고 있다. 하지만 기존 IPTV(Internet Protocol Television)의 360 VR 영상 서비스에서 사용자가 고품질로 느끼기 위해서는 8K 이상의 영상이 요구 되지만 현재는 4K 정도의 영상이 서비스되어 사용자의 만족도가 높지 않다. 8K 이상의 영상의 경우 비트율(bitrate)이 하나의 QAM 채널로 전송할 수 있는 38.8107mbps 이상이다. 때문에, 현재 IPTV 방송 케이블망 환경에서 8K 이상의 영상을 스트리밍 하는 것은 불가능 하다. 이에 본 논문에서는 8K이상의 360 VR 서비스를 위해 다수의 QAM 채널을 사용하여 영상을 분리 분산하여 전송하는 방식을 제안하고 설계 하였다. 그리고 IPTV 방송 수신기에서 댁내의 디스플레이 장치로 저지연 스트리밍을 할 수 있는 엣지 스트리밍 방식을 제안하고 구현하였다. 그리고 실험을 통해 100mbps 미만의 네트워크 대역폭을 사용하여 500ms 미만의 뷰포트(Viewport) 전환 지연 시간을 갖는 360 VR스트리밍을 할 수 있음을 확인하였다.

• 대한전자공학회논문지SD
• /
• 제48권9호
• /
• pp.22-30
• /
• 2011

최근 카메라를 통해 입력된 영상정보로부터 실시간으로 상황을 인지하고 자율 대응할 수 있는 지능형 영상 보안 시스템의 수요가 증가함에 따라, 고성능의 얼굴 인식 시스템이 요구되고 있다. 기존의 얼굴 인식 시스템의 성능 향상을 위해서는 원거리에서 획득된 저해상도 얼굴 영상 처리를 위한 솔루션이 반드시 필요하다. 따라서 본 논문에서는 실시간 감시가 요구되는 지능형 영상 보안 시스템의 얼굴 인식 성능 향상을 위한 저해상도 얼굴 영상 복원 알고리즘을 하드웨어로 구현하였다. 저해상도 얼굴 영상 복원 방법으로는 학습 기반의 초해상도 알고리즘을 사용한다. 해당 알고리즘은 먼저 고해상도 영상으로 구성된 학습 집합에서 주성분 분석(PCA)을 활용하여 복원에 필요한 사전 정보들을 추출하고, 저해상도 영상과의 관계를 모델링하여 가장 적합한 고해상도 얼굴을 복원해내는 것이다. 저해상도 얼굴 영상 복원 알고리즘을 임베디드 프로세서(S3C2440A)를 사용하여 구현하였을 때, 약 25 초의 긴 연산 시간이 소요되었다. 이는 실시간으로 사람을 판별 및 인식하기 위한 지능형 영상 보안 시스템의 구축에는 어려움이 있다. 이를 해결하기 위하여 얼굴 영역 초해상도의 연산을 하드웨어로 구현하고 Xilinx Virtex-4를 이용하여 검증하였다. 약 9MB의 학습 데이터를 사용하였으며, 100 MHz에서 약 30 fps의 속도로 연산이 가능하다. 이러한 학습 기반의 얼굴 영역 초해상도 알고리즘을 단일 하드웨어 IP로 설계함으로써 임베디드 환경에서의 실시간 처리가 가능할 뿐 만 아니라 기존의 다양한 얼굴 검출 시스템과의 통합이 용이하여 얼굴 인식 솔루션을 제공할 수 있을 것으로 판단된다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2003년도 신호처리소사이어티 추계학술대회 논문집
• /
• pp.517-520
• /
• 2003

Commercial video scope use CCD sensor and frame grabber for image capture and A/D interface but application limited by input resolution and high cost. In this paper we introduce portable video scope using CMOS sensor, USB pen and tuner card (low frame grabber) in place of commercial CCD sensor and frame grabber. Our video scope serves as an essential link between advancing commercial technology and research, providing cost effective solutions for educational, engineering and medical applications across an entire spectrum of needs. The software implementation is done using Direct Show in second version after initial trials using First version VFW (video for window), which gave very low frame rate. Our video scope operates on windows 98, ME, XP, 2000. The drawback of our video scope is crossover problem in output images caused due to interpolation, which has to be rectified for more efficient performance.

• 전자공학회논문지
• /
• 제51권5호
• /
• pp.114-124
• /
• 2014

HEVC는 JCT-VC에 의해 개발된 최신 비디오 코딩 표준이다. HEVC는 H.264/AVC에 비해 약 2배의 주관적 코딩효율을 제공한다. HEVC 개발의 주요목표 중 하나는 UHD급 비디오를 효율적으로 코딩하는 것이기 때문에, HEVC는 UHD급 비디오를 코딩하는데 널리 사용될 것으로 예측된다. 이러한 고해상도 비디오의 복호화는 많은 양의 메모리 접근을 발생시키기 때문에 복호화 시스템은 고대역폭의 메모리 시스템 및 내부 통신 아키텍처가 필요하다. 이러한 요구사항을 파악하기 위해서 본 논문은 HEVC 복호화기의 메모리 접근 복잡도를 분석한다. 우리는 먼저 임베디드 프로세서와 데스크탑에서 동작하는 소프트웨어 HEVC 복호화기의 메모리 접근량을 측정하였다. 또한 우리는 HEVC 복호화기의 데이터흐름을 분석하여 HEVC 복호화기의 메모리 대역폭 모델을 만들었다. 측정결과, 소프트웨어 복호화기는 6.9~40.5GB/s의 DRAM 접근을 하였다. 또한 분석결과에 따르면 하드웨어 복호화기는 2.4GB/s의 DRAM 대역폭을 요구하는 것으로 파악된다.

• 방송공학회논문지
• /
• 제20권3호
• /
• pp.414-420
• /
• 2015

3차원 영상 시스템에서 깊이 영상은 3차원 콘텐츠를 표현하는데 있어 매우 중요한 역할을 수행한다. 그러나 깊이 카메라로부터 얻은 원본 깊이 영상은 해상도가 색상 영상에 비해 매우 작고 시간적 흐름의 측면에서 관찰하였을 때 깊이 값이 불안정하게 진동하는 깜빡임 문제가 발생한다. 이 문제는 시청자들이 3차원 콘텐츠를 감상할 때 불편한 느낌을 초래한다. 이 논문에서는 원본 깊이 영상의 저해상도 문제를 해결하기 위해 3차원 워핑과 깊이 가중치가 추가된 결합형 양방향 업샘플링 방법을 사용한다. 다음으로 깊이 영상의 배경 영역에서 발생하는 깜빡임 문제를 해결하기 위해 전경과 배경을 분리한 뒤, 전경 영역에는 업샘플링된 깊이 영상을 사용하고 배경 영역에는 시간적 평균값 필터 영상을 이용했다. 실험결과는 제안하는 방법이 시간적 일관성이 향상된 고해상도의 깊이 영상을 생성함을 보였다.

• 한국위성정보통신학회논문지
• /
• 제11권2호
• /
• pp.23-28
• /
• 2016

본 논문에서는 ISM(Industry-Science-Medical) 대역의 와이파이-AP(Access Point)의 채널추정에 따라 스마트 미디어의 HDMI(High Definition Multimedia Interface) 해상도를 조정하고자 한다. 2.4/5GHz 대역에서의 채널모델은 RSSI(Received Signal Strength Indication)와 같은 RF특성에 따라 광범위하게 적용할 수 있다. 특별히, 스마트 디바이스의 증가와 무선 랜 공유기(AP)로 인한 동일채널 간섭으로 인한 와이파이의 전송 속도저하와 미디어 스트리밍의 화질저하가 발생된다. 이때 무선채널의 전송속도에 따라 HDMI-CEC(Consumer Electronics Control)를 활용한 동영상 비디오 형식(Video Format Timing)의 최적화를 설계한다. 이로서 스마트 다바이스와 DLNA(Digital Living Network Alliance) 등의 다양한 전송방식(Protocol)에 따라 홈 게이트웨이와 디지털TV 등의 HDMI 해상도를 가변적으로 조절하는 화질유지의 기법 및 PIP 위치설정 방법을 활용할 수 있다.

• IEIE Transactions on Smart Processing and Computing
• /
• 제4권1호
• /
• pp.28-34
• /
• 2015

Several parallelization methods that can be applied to High Efficiency Video Coding (HEVC) decoders are evaluated. The market requirements of high-resolution videos, such as Full HD and UHD, have been increasing. To satisfy the market requirements, several parallelization methods for HEVC decoders have been studied. Understanding these parallelization methods and objective comparisons of these methods are crucial to the real-time decoding of high-resolution videos. This paper introduces the parallelization methods that can be used in HEVC decoders and evaluates the parallelization methods comparatively. The experimental results show that the average speed-up factors of tile-level parallelism, wavefront parallel processing (WPP), frame-level parallelism, and 2D-wavefront parallelism are observed up to 4.59, 4.00, 2.20, and 3.16, respectively.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제15권3호
• /
• pp.172-179
• /
• 2015

Because of the development of computers and high-technology applications, all devices that we use have become more intelligent. In recent years, security and surveillance systems have become more complicated as well. Before new technologies included video surveillance systems, security cameras were used only for recording events as they occurred, and a human had to analyze the recorded data. Nowadays, computers are used for video analytics, and video surveillance systems have become more autonomous and automated. The types of security cameras have also changed, and the market offers different kinds of cameras with integrated software. Even though there is a variety of hardware, their capabilities leave a lot to be desired. Therefore, this drawback is trying to compensate by dint of computer program solutions. Image processing is a very important part of video surveillance and security systems. Capturing an image exactly as it appears in the real world is difficult if not impossible. There is always noise to deal with. This is caused by the graininess of the emulsion, low resolution of the camera sensors, motion blur caused by movements and drag, focus problems, depth-of-field issues, or the imperfect nature of the camera lens. This paper reviews image processing, pattern recognition, and image digitization techniques, which will be useful in security services, to analyze bio-images, for image restoration, and for object classification.

• Journal of Information Processing Systems
• /
• 제11권3호
• /
• pp.483-494
• /
• 2015

High Efficiency Video Coding (HEVC) is the most recent video codec standard of the ITU-T Video Coding Experts Group and the ISO/IEC Moving Picture Experts Group. The main goal of this newly introduced standard is for catering to high-resolution video in low bandwidth environments with a higher compression ratio. This paper provides a performance comparison between HEVC and H.264/AVC video compression standards in terms of objective quality, delay, and complexity in the broadcasting environment. The experimental investigation was carried out using six test sequences in the random access configuration of the HEVC test model (HM), the HEVC reference software. This was also carried out in similar configuration settings of the Joint Scalable Video Module (JSVM), the official scalable H.264/AVC reference implementation, running on a single layer mode. According to the results obtained, the HM achieves more than double the compression ratio compared to that of JSVM and delivers the same video quality at half the bitrate. Yet, the HM encodes two times slower (at most) than JSVM. Hence, it can be concluded that the application scenarios of HM and JSVM should be judiciously selected considering the availability of system resources. For instance, HM is not suitable for low delay applications, but it can be used effectively in low bandwidth environments.