• KSII Transactions on Internet and Information Systems (TIIS)
• /
• v.16 no.4
• /
• pp.1146-1165
• /
• 2022

A huge amount of data in the form of videos and images is being produced owning to advancements in sensor technology. Use of low performance commodity hardware coupled with resource heavy image processing and analyzing approaches to infer and extract actionable insights from this data poses a bottleneck for timely decision making. Current approach of GPU assisted and cloud-based architecture video analysis techniques give significant performance gain, but its usage is constrained by financial considerations and extremely complex architecture level details. In this paper we propose a data pipeline system that uses open-source tools such as Apache Spark, Kafka and OpenCV running over commodity hardware for video stream processing and image processing in a distributed environment. Experimental results show that our proposed approach eliminates the need of GPU based hardware and cloud computing infrastructure to achieve efficient video steam processing for face detection with increased throughput, scalability and better performance.

• ETRI Journal
• /
• v.36 no.2
• /
• pp.253-263
• /
• 2014

In the near future, traditional narrow and fixed viewpoint video services will be replaced by high-quality panorama video services. This paper proposes a visual-attention-aware progressive region of interest (RoI) trick mode streaming service (VA-PRTS) that prioritizes video data to transmit according to the visual attention and transmits prioritized video data progressively. VA-PRTS enables the receiver to speed up the time to display without degrading the perceptual quality. For the proposed VA-PRTS, this paper defines a cutoff visual attention metric algorithm to determine the quality of the encoded video slice based on the capability of visual attention and the progressive streaming method based on the priority of RoI video data. Compared to conventional methods, VA-PRTS increases the bitrate saving by over 57% and decreases the interactive delay by over 66%, while maintaining a level of perceptual video quality. The experiment results show that the proposed VA-PRTS improves the quality of the viewer experience for interactive panoramic video streaming services. The development results show that the VA-PRTS has highly practical real-field feasibility.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.40 no.10
• /
• pp.1976-1985
• /
• 2015

The amount of packets in palyout buffer of video streaming receiver can be changed by network condition, and saturated and exhausted by the delay and jitter. Especially, if the amount of incoming video traffic exceeds the maximum allowed playout buffer, buffer overflow problem can be generated. It makes the deterioration of video image and the discontinuity of playout by skip phenomenon. Also, if the incoming packets are delayed by network confusion, the stop phenomenon of video image is made by buffering due to buffer underflow problem. To solve these problems, this paper proposes the video streaming receiver with token bucket scheme which automatically establishes the important parameters like token generation rate r and bucket maximum capacity c adapting to the pattern of video packets. The simulation results using network simulator-2 (NS-2) and joint scalable video model (JSVM) show that the proposed token bucket scheme with automatic establishment parameter provides better performance than the existing token bucket scheme with manual establishment parameter in terms of the generation number of overflow and underflow, packer loss rate, and peak signal to noise ratio (PSNR) in three test video sequences.

• Journal of Broadcast Engineering
• /
• v.14 no.6
• /
• pp.796-806
• /
• 2009

SVC (Scalable Video Coding) is a new video coding standard to provide convergence media service in heterogeneous environments with different networks and diverse terminals through spatial-temporal-quality combined flexible scalabilities. This paper presents the performance analysis on packet loss in the delivery of SVC over IP networks and an efficient adaptation method to packet loss caused by buffer overflow. In particular, SVC with MGS (Medium Grained Scalability) as well as spatial and temporal scalabilities is addressed in the consideration of packet-based adaptation since finer adaptation is possible with a sufficient numbers of quality layers in MGS. The effect on spatio-temporal quality due to the packet loss of SVC with MGS is evaluated. In order to minimize quality degradation resulted by packet loss, the proposed adaptation of MGS based SVC first sets adaptation unit of AU (Access Unit) or GOP corresponding to allowed delay and then selectively discards packets in order of importance in terms of layer dependency. In the experiment, the effects of packet loss on quantitative qualities are analyzed and the effectiveness of the proposed adaptation to packet loss is shown.

• Proceedings of the Korean Information Science Society Conference
• /
• 2010.06a
• /
• pp.196-197
• /
• 2010

• JSTS:Journal of Semiconductor Technology and Science
• /
• v.17 no.3
• /
• pp.446-457
• /
• 2017

In order to reduce the size of frame memory or bus bandwidth, frame memory compression (FMC) recompresses reconstructed or reference frames of video codecs. This paper proposes a novel FMC design based on discrete wavelet transform (DWT) - set partitioning in hierarchical trees (SPIHT), which supports fine-scalable throughput and is area-efficient. In the proposed design, multi-cores with small block sizes are used in parallel instead of a single core with a large block size. In addition, an appropriate pipelining schedule is proposed. Compared to the previous design, the proposed design achieves the processing speed which is closer to the target system speed, and therefore it is more efficient in hardware utilization. In addition, a scheme in which two passes of SPIHT are merged into one pass called merged refinement pass (MRP) is proposed. As the number of shifters decreases and the bit-width of remained shifters is reduced, the size of SPIHT hardware significantly decreases. The proposed FMC encoder and decoder designs achieve the throughputs of 4,448 and 4,000 Mpixels/s, respectively, and their gate counts are 76.5K and 107.8K. When the proposed design is applied to high efficiency video codec (HEVC), it achieves 1.96% lower average BDBR and 0.05 dB higher average BDPSNR than the previous FMC design.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2007.02a
• /
• pp.13-17
• /
• 2007

스케일러블 비디오 코딩(SVC, Scalable Video Coding)은 MPEG(Moving Picture Expert Group)과 VCEG (Video Coding Expert Group)의 JVT(Joint VIdeo Team)에 의해 현재 표준화 되고 있는 새로운 압축 표준 기술이며 시간, 공간 및 화질의 스케일러빌리티를 지원하기 위해 계층 구조를 가지고 있다. 공간적 스케일러빌리티를 위해 기본 계층으로부터 텍스처, 움직임 그리고 잔차신호 정보를 예측하여 사용한다. 그러나 고효율의 압축효과를 얻기 위해 기존의 방식에서는 기본계층에서 얻은 세가지 정보이외에 현재 향상 계층에서 자체적으로 얻은 부호화 정보를 비교하여 최소의 RD(Rate Distortion) 비용을 가지는 정보를 이용하여 부호화 하도록 되어 있다. 하지만 이러한 방식은 향상 계층에서 인터 모드 결정 시 $16\times16,\;16\times8,\;8\times16,\;8\times8,\;4\times4,\;4\times8,\;4\times4$ 블록 모드에 대한 움직임 벡터 예측 및 보상 과정을 거쳐야 하기 때문에 향상 계층에서의 부호화 복잡도는 기본 계층에 비해 상당히 증가하게 된다. 본 논문에서는 기본계층에서 예측한 움직임 벡터 정보를 이용하여 항상 계층에서 모드 결정을 고속화하는 방법에 대해 소개한다. 제안된 방법은 기본 계층에서 예측한 블록모드 중에서 큰 블록인 $16\times16$ 블록에서 움직임 벡터가 (0, 0) 일 경우에 대하여 향상 계층에서는 $16\times16$매크로 블록에 대해서만 움직임 예측 및 보상을 수행함으로써 향상 계층에서 움직임 모드 결정을 조기에 완료하게 된다. 이것은 하위 공간 계층에서 예측한 움직임 벡터 정보가 아주 작을 때는 큰 블록 크기로 모드로 결정되는 일반적인 원리를 이용한 것이고 이 제안 방법을 이용하였을 경우 향상계층에의 모드 결정과정을 고속화함으로써 전체 스케일러빌 비디오 부호하기의 연산량 및 복잡도를 최대 70%까지 감소 시켰다. 그러나 연산량 감소에 따른 비트율의 증가와 화질 열화는 각각 최대 1.32%와 최대 0.11dB로 무시할 수 있을 정도로 작음을 확인 하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2006.11a
• /
• pp.111-115
• /
• 2006

스케일러블 비디오 코딩(SVC, Scalable Video Coding)은 MPEG(Moving Picture Expert Group)과 VCEG (Video Coding Expert Group)의 JVT(Joint VIdeo Team)에 의해 현재 표준화 되고 있는 새로운 압축 표준 기술이며 시간, 공간 및 화질의 스케일러빌리티를 지원하기 위해 계층 구조를 가지고 있다. 특히 시간적 스케일러빌리티를 위해 계층적 B-픽처 구조를 채택하고 있다. 스케일러블 비디오 코딩의 기본 계층은 H.264|AVC와 호환적이므로, 모션 예측과 모드 결정과정에서 $16{\times}16,\;16{\times}8,\;8{\times}16,\;8{\times}8,\;8{\times}4,\;4{\times}8$ 그리고 $4{\times}4$와 같은 7개의 서로 다른 크기를 갖는 블록을 사용한다. 스케일러블 비디오 코딩에서 사용되고있는 계층적 B-픽처 구조는 키 픽처인 I와 P 픽처를 제외하고는 한 GOP (Group of Picture)내에서 모두 B-픽처를 사용하므로 H.264|AVC와 비교했을 때 연산량 증가와 함께 부호화 지연도 급격히 증가한다. B-픽처는 양방향 모션 벡터인 LIST0와 LIST1을 사용하고 양방향 모두에서 다중 참조 픽처를 사용하기 때문이다. 본 논문에서는 통계적 가선 검증을 이용하여 스케일러블 비디오 부호화에 적용 가능한 고속 프레임간 모드 결정 알고리듬 대해 소개한다. 제안된 방법은 $16{\times}16$ 매크로 블록과 $8{\times}8$ 서브 매크로 블록에 통계적 가설 감증 기법을 적용하여 실행되며, 현재 블록과 복원된 참조 블록간의 픽셀 값을 비교하여 RD(Rate Distortion) 최적화 기반 모드 결정을 빨리 완료함으로써 고속 프레임간 모드 결정을 가능하게 한다. 제안된 방법은 프레임 간 모드 결정을 고속화함으로써 스케일러블 비디오 부호화기의 연산량과 복잡도를 최대 57%감소시킨다. 그러나 연산량 감소에 따른 비트율의 증가나 화질의 열화는 최대 1.74% 비트율 증가 및 0.08dB PSNR 감소로 무시할 정도로 작다.

• The KIPS Transactions:PartB
• /
• v.11B no.2
• /
• pp.177-186
• /
• 2004

It is a weak point of the motion estimation technique for video compression that the predicted video encoding algorithm requires higher-order computational complexity. To reduce the computational complexity of encoding algorithms, researchers introduced techniques such as 3D-WT that don't require motion prediction. One of the weakest points of previous 3D-WT studies is that they require too much memory for encoding and too long delay for decoding. In this paper, we propose a technique called `FS (Fast playable and Scalable) 3D-WT' This technique uses a modified Haar wavelet transform algorithm and employs improved encoding algorithm for lower memory and shorter delay requirement. We have executed some tests to compare performance of FS 3D-WT and 3D-V. FS 3D-WT has exhibited the same high compression rate and the same short processing delay as 3D-V has.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.11a
• /
• pp.151-154
• /
• 2005

본 논문에서는 스케일러블 멀티미디어 콘텐츠에 대한 조건적 접근제어가 가능한 암호화 방법을 제안한다. 현재 표준화가 진행중인 스케일러블 비디오 코딩방법인 JSVM(Joint Scalable Video Model)은 부호화한 동영상에 대해 공간, 시간, 품질의 스케일러빌리티(Scalability)를 지원하는데, 각 스케일러 빌리티를 고려한 조건적인 접근제어기술은 스케일러빌리티에 따라 사용자를 제한해야 하는 경우를 위해 필수적인 기술이다. 제안하는 방법은 공간, 시간, 품질의 세가지 스케일러빌리티를 지원하도록 부호화(Encoding)후 구성되는 NAL(Network Abstract Layer)을 지원하는 스케일러빌리티에 따라 구분하고, 구분된 NAL 의 종류에 따라 암호화 key 를 다르게 제공하는 방법을 통해 사용자의 접근제어 수준에 맞게 암호화 key 를 조합하는 방법을 적용하였다. 실험 결과 제안한 방법은 JSVM 에서 공간, 시간, 품질의 스케일러빌리티가 보장되고, 이때 생성되는 Key 의 조합으로 조건적 접근제어(Conditional access control)가 가능함을 확인하였다.