• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권12호
• /
• pp.4476-4491
• /
• 2021

Video service providers tend to face user network problems in the process of transmitting video streams. They strive to provide user with superior video quality in a limited bitrate environment. It is necessary to accurately determine the target bitrate range of the video under different quality requirements. Recently, several schemes have been proposed to meet this requirement. However, they do not take the impact of visual influence into account. In this paper, we propose a new multi-category model to accurately predict the target bitrate range with target visual quality by machine learning. Firstly, a dataset is constructed to generate multi-category models by machine learning. The quality score ladders and the corresponding bitrate-interval categories are defined in the dataset. Secondly, several types of spatial-temporal features related to VMAF evaluation metrics and visual factors are extracted and processed statistically for classification. Finally, bitrate prediction models trained on the dataset by RandomForest classifier can be used to accurately predict the target bitrate of the input videos with target video quality. The classification prediction accuracy of the model reaches 0.705 and the encoded video which is compressed by the bitrate predicted by the model can achieve the target perceptual quality.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제5권2호
• /
• pp.390-407
• /
• 2011

Three-dimensional (3D) video technologies are becoming increasingly popular, as it can provide users with high quality and immersive experiences. However, color inconsistency between the camera views is an urgent problem to be solved in multi-view imaging. In this paper, a perception-based color correction method for multi-view images is proposed. In the proposed method, human visual sensitivity (VS) and visual attention (VA) models are incorporated into the correction process. Firstly, the VS property is used to reduce the computational complexity by removing these visual insensitive regions. Secondly, the VA property is used to improve the perceptual quality of local VA regions by performing VA-dependent color correction. Experimental results show that compared with other color correction methods, the proposed method can greatly promote the perceptual quality of local VA regions greatly and reduce the computational complexity, and obtain higher coding performance.

• The Journal of the Acoustical Society of Korea
• /
• 제29권3E호
• /
• pp.131-139
• /
• 2010

This paper proposes a novel spectral hole substitution technique for low bit-rate audio coding. The spectral holes frequently occurring in relatively weak energy bands due to zero bit quantization result in severe quality degradation, especially for harmonic signals such as speech vowels. The enhanced aacPlus (EAAC) audio codec artificially adjusts the minimum signal-to-mask ratio (SMR) to reduce the number of spectral holes, but it still produces noisy sound. The proposed method selectively predicts the spectral shapes of hole bands using either intra-band correlation, i.e. harmonically related coefficients nearby or inter-band correlation, i.e. previous frames. For the bands that have low prediction gain, only the energy term is quantized and spectral shapes are replaced by pseudo random values in the decoding stage. To minimize perceptual distortion caused by spectral mismatching, the criterion of the just noticeable level difference (JNLD) and spectral similarity between original and predicted shapes are adopted for quantizing the energy term. Simulation results show that the proposed method implemented into the EAAC baseline coder significantly improves speech quality at low bit-rates while keeping equivalent quality for mixed and music contents.

• 대한전자공학회논문지SP
• /
• 제40권6호
• /
• pp.124-131
• /
• 2003

본 논문에서는 최근 비디오 스트리밍 응용을 위해 만들어진 FGS((me granular scalability) 방식에서 주어진 비트율에서 인간 시각에 좀더 나은 화질을 얻기 위해 주파수 가중 방법을 제안한다. 제안된 방식에서는 각 DCT 계수의 사람 눈에 미치는 중요도를 고려하여 구해진 주파수 가중행렬을 비트평면 부호화를 사용하는 FGS 상향계층 부호화 동작에 적용될 수 있도록 주파수 천이 행렬로 바꾸어서 가중치를 부여한다. 본 논문에서 제안된 주파수 가중 방법을 통해 화질의 향상, 더 미세한 계위 부호화, 시간 영역에서 화질의 균일화를 얻을 수 있었다. 또한, 주파수 가중 방법을 통해 얻은 화질 개선을 설명하기 위해 기존에 사용하던 PSNR(peak signal to noise ratio) 대신에 인간 시각적인 관점에서의 오차만을 고려한 JNDE(just noticeable difference ewer)를 Weber의 법칙을 근거로 하여 새롭게 제안하였다.

• 방송공학회논문지
• /
• 제21권6호
• /
• pp.929-943
• /
• 2016

본 논문에서는 인지 화질을 고려하기 위해 S-JND 모델 기반의 율 제어 알고리즘을 제안한다. 제안하는 율 제어 알고리즘은 인간이 가지는 시각 시스템의 특징을 반영하기 위하여 시각적 민감도와 시각적 관심도를 동시에 반영할 수 있도록 제작된 S-JND (Saliency-Just Noticeable Difference) 모델을 사용한다. 율 제어 알고리즘을 통해 비트를 분배하는 과정에서 픽쳐 내에 존재하는 각 CTU (Coding Tree Unit)가 가지는 S-JND threshold를 구한다. 각 CTU의 threshold는 적응적으로 적절한 비트를 분배하는데 사용되고, 따라서 제안하는 비트 분배 모델은 인지 화질을 향상 시킬 수 있다. 제안하는 방법의 성능 검증을 위해서 제안하는 방법을 HM 16.9에 구현하였으며, CTC (Common Test Condition) RA (Random Access), Low-delay B와 Low-delay P의 경우에 Class B와 Class C 영상들에 대해 실험 하였다. 실험 결과, 제안하는 방법은 기존 율 제어 알고리즘 대비 평균 2.3%의 비트율이 감소했고 BD-PSNR은 약 0.07dB 향상이 있었으며 비트 정확도 또한 0.06% 정도 증가하였다. DSCQS (Double Stimulus Continuous Quality Scale) 방법으로 측정한 결과, 제안하는 방법은 기존 방법 대비 0.03 MOS (Mean Opinion Score) 향상을 보였다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2000년도 ITC-CSCC -1
• /
• pp.35-38
• /
• 2000

Low bit rate image/video coding is essential for many visual communication applications. When bit rates become low, most compression algorithms yield visually blocking artifacts that highly degrade the perceptual quality, and post-processing approaches provide one attractive solution. In this paper, we provide simple and very efficient blocking artifacts reduction method using constrained random value addition. Our method is simple enough to be used for real-time post-processing of video.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2003년도 춘계학술발표대회논문집
• /
• pp.69-73
• /
• 2003

음향압축에 있어서 인간의 청각신경의 특성을 이용하는 방식이 사용되고 있다. 이러한 방법은 심리음향모델(psychoacustical model)에서 도입되었다. 음향압축에서는 이러한 심리음향모델을 사용하여 인간이 지각할 수 없는 한도 내에서 부호화하지 않는 지각음향부호화(perceptual audio coding)사용한다. 지각음향부호화는 분석필터와 합성필터로 각각 부호화 복호화하는데 이것은 필터뱅크(filter bank)로 구현된 서브밴드코더(subband coder) 이다. 본 논문에서는 분석필터와 합성필터에 사용되는 MDCT(Modified Discrete Cosine Transform)와 IMDCT(Inverse Modified Discrete Cosine Transform)를 FPGA에 구현하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 하계학술대회
• /
• pp.366-368
• /
• 2016

본 논문에서는 지각적 동영상 부호화 기법으로서 부 대역 부호화 기반의 시각적 민감도가 낮은 고주파 영역을 억제하는 기법을 동영상 코덱 전처리로 사용하는 것을 제안한다. 먼저 억제하기 위한 고주파 대역 설정을 위해 입력 시퀀스의 프레임들을 특정 주파수 대역으로 나눈다. 나누어진 주파수 대역 중 고주파 대역에 한에 적절한 이득 값 조절을 통하여 고주파 영역을 억제한다. 이와 같은 전처리 이후 동영상 압축 표준에 적용하여 인간의 시각적 구조의 인지 특성을 고려한 동영상 압축 효율을 얻는다. 모의 실험을 통해 제안 기법을 H.264의 전처리로 적용한 결과와 전처리 없이 적용한 결과를 비교하여 시각적 차이 없이 평균 9.56%의 데이터 감소 효과를 얻었다.

• 방송공학회논문지
• /
• 제20권5호
• /
• pp.687-696
• /
• 2015

최근 동영상 압축에 관한 국제 표준화 기구인 JCT-VC (Joint Collaborative Team on Video Coding) 에서는 High Efficiency Video Coding (HEVC)의 확장 표준으로 HEVC/Range Extension (HEVC/RExt)의 개발을 완료하고 스크린 콘텐츠 동영상의 부호화기술을 위한 표준인 HEVC/Screen Content Coding (HEVC/SCC)을 제정 중이다. 기존 동영상 압축 과정에서는 이미지 센서로부터 취득한 RGB 영상을 변환하여 부호화를 수행하는 반면에 애니매이션, 그래픽스 등 컴퓨터로 합성한 영상을 일컫는 스크린 콘텐츠의 경우는 색 공간의 변환이 주관적 화질을 심각하게 열화 시킬 수 있으므로 기존 RGB 색 공간을 유지하며 효율적으로 색 공간 내 정보의 중복성을 줄이기 위한 부호화 기법이 필요하다. 본 논문에서는 HEVC/RExt.와 HEVC/SCC에서 개발한 스크린 콘텐츠 동영상 압축을 위한 색 요소 예측 기법과 루프 내 색 공간 변환 기술의 성능을 분석한다. 실험 결과에 의하면 색 요소 예측 기법은 평균 약 11.7% BD-rate 감소, 색 공간 예측 기법은 평균 약 16.4% BD-rate 감소를 보인다. 그러나 두 기법이 동시에 적용되는 경우 약 18.2%의 BD-rate 감소를 보여 두 기법의 부호화 효율이 약 9.9% 중첩된다. 본 결과를 응용하여 두 기법이 배타적으로 선택이 되게끔 부호기 고속화를 수행하는 경우 약 0.3%의 부호화 손실로 93%의 부호화 측정 시간을 제공한다.

• 한국게임학회 논문지
• /
• 제18권5호
• /
• pp.103-112
• /
• 2018

게임을 통해 순차, 반복문, 조건문 개념 학습이 가능하도록 개발된 유아교육용 코딩게임 "Ito2"를 소개하였다. 개발된 게임은 실제 어린이집 아동을 대상으로 모의수업과 실습수업의 두 단계의 과정을 거쳐서 코딩교육을 실시하여 그 실효성을 검증하였다. 코딩 교육을 실시함에 따라 공간, 관찰, 도형 및 측정, 분류, 비교 및 서열화, 부분과 전체의 총 6개 분야에 대한 유아 인지발달 능력 성취도의 추이를 관찰하여 그 변화 정도를 기술하였다. 본 논문은 재미 요소에 학습 요소를 더한 유아 기능성 코딩게임을 개발하고 개발된 게임을 어린이집 아이들이 학습게임으로 체험하면서 인지발달과 공간지각능력에 있어서 능력 향상이 이루어짐을 확인하였다.