• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.11a
• /
• pp.62-65
• /
• 2018

신경망은 깊어질수록 gradient vanishing/exploding과 같은 네트워크가 불안정해지는 문제가 발생 한다. 잔차 블록을 이용하여 이러한 문제를 해결 할 수 있다. 본 논문에서는 영상 인식 분야에서 훌륭한 성능을 보여준 잔차 블록 기반의 깊은 합성곱 신경망을 통한 단일 영상 초해상도 복원 기법을 제안 한다. 제안한 알고리듬은 EDSR에 사용된 잔차 블록을 다양한 크기의 합성곱 연산을 통해 영상의 특징들을 다르게 분석하도록 수정하고 VDSR과 비슷한 수준의 복잡도로 구성하여 향상된 성능을 얻었다. 실험 결과, VDSR에 비해 PSNR이 최대 0.1dB까지 증가했다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.26-27
• /
• 2021

본 논문에서는 자막방송 제공을 위해 방송콘텐츠를 이해하는 방법으로 잔차 합성곱 순환신경망 기반 음향 사건 분류 기법을 제안한다. 제안된 기법은 잔차 합성곱 신경망과 순환 신경망을 연결한 구조를 갖는다. 신경망의 입력 특징으로는 멜-필터벵크 특징을 활용하고, 잔차 합성곱 신경망은 하나의 스템 블록과 5개의 잔차 합성곱 신경망으로 구성된다. 잔차 합성곱 신경망은 잔차 학습으로 구성된 합성곱 신경망과 기존의 합성곱 신경망 대비 특징맵의 표현 능력 향상을 위해 합성곱 블록 주의 모듈로 구성한다. 추출된 특징맵은 순환 신경망에 연결되고, 최종적으로 음향 사건 종류와 시간정보를 추출하는 완전연결층으로 연결되는 구조를 활용한다. 제안된 모델 훈련을 위해 라벨링되지 않는 데이터 활용이 가능한 평균 교사 모델을 기반으로 훈련하였다. 제안된 모델의 성능평가를 위해 DCASE 2020 챌린지 Task 4 데이터 셋을 활용하였으며, 성능 평가 결과 46.8%의 이벤트 단위의 F1-score를 얻을 수 있었다.

• Journal of Digital Policy
• /
• v.3 no.3
• /
• pp.9-14
• /
• 2024

In this paper, proposes a method using a multi block structure composed of residual blocks with adaptive weights to improve the quality of results in single image super resolution. In the process of generating super resolution images using deep learning, the most critical factor for enhancing quality is feature extraction and application. While extracting various features is essential for restoring fine details that have been lost due to low resolution, issues such as increased network depth and complexity pose challenges in practical implementation. Therefore, the feature extraction process was structured efficiently, and the application process was improved to enhance quality. To achieve this, a multi block structure was designed after the initial feature extraction, with nested residual blocks inside each block, where adaptive weights were applied. Additionally, for final high resolution reconstruction, a multi kernel image reconstruction process was employed, further improving the quality of the results. The performance of the proposed method was evaluated by calculating PSNR and SSIM values compared to the original image, and its superiority was demonstrated through comparisons with existing algorithms.

• Journal of Broadcast Engineering
• /
• v.12 no.6
• /
• pp.596-610
• /
• 2007

In order to reduce the complexity of SVC encoding, we introduce a fast mode decision method in the enhancement layers of spatial scalability by selectively performing the inter-layer residual prediction of SVC. The Inter-layer residual prediction coding in Scalable Video Coding has a large advantage of enhancing the coding efficiency since it utilizes the correlation between two residuals from a lower spatial layer and its next higher spatial layer. However, this entails the dramatical increase in the complexity of SVC encoders. The proposed method is to analyze the characteristics of integer transform coefficients for the subtracted signal for two residuals from lower and upper spatial layers. Then it selectively performs the inter-layer residual prediction coding and rate-distortion optimizations in the upper spatial enhancement layer if the SAD values of residuals exceed adaptive threshold values. Therefore, by classifying the residuals according to the properties of integer-transform coefficients only with SAD of residuals between two layers, the SVC encoder can perform the inter-layer residual coding selectively, thus significantly reducing the total required encoding time. The proposed method results in reduction of the total encoding time with 51.5% in average while maintaining the RD performance with negligible amounts of quality degradation.

• Journal of Broadcast Engineering
• /
• v.17 no.5
• /
• pp.734-741
• /
• 2012

A new lossless intra coding method based on residual transform is applied to the next generation video coding standard HEVC (High Efficiency Video Coding). HEVC includes a multi-directional spatial prediction method to reduce spatial redundancy by using neighboring samples as a prediction for the samples in a block of data to be encoded. In the new lossless intra coding method, the spatial prediction is performed as samplewise DPCM (Difference Pulse Code Modulation) but is implemented as block-based manner by using residual transform and secondary residual transform on the HEVC standard. Experimental results show that the new lossless intra coding method reduces the bit rate by approximately 6.45% in comparison with the lossless intra coding method previously included in the HEVC standard.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.06a
• /
• pp.141-144
• /
• 2018

비디오 압축에서, 변환은 데이터를 공간 영역에서 주파수 영역으로 변환 함으로써 에너지 압축에서 중요한 역할을 수행한다. HEVC(High Efficiency Video Coding)에서는 DCT-II(Discrete Cosine Transform type-II)를 사용하여 잔차신호 변환을 수행한다. DCT-II는 픽셀간 상관도가 높은 신호일수록 높은 에너지 집중도를 보이지만, 픽셀간 상관도가 비교적 낮은 블록일수록 낮은 에너지 집중도를 보인다. 본 논문에서는 DST-VII(Discrete Sine Transform type-VII) 및 잔차신호 플리핑을 사용하여 다양한 변환 방법으로 영상을 부호화 및 복호화 하는 알고리즘에 대해 제안한다. 다양한 변환 방법은 부호화기에서 블록단위로 1 가지를 선택하여 비트스트림으로 선택된 방법에 대한 정보를 전송한다. 제안된 방법은 HEVC 대비 약 2.47%의 BD-rate 감소를 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.11a
• /
• pp.53-56
• /
• 2016

본 논문에서는 HEVC 부호화시 코딩 트리 블록의 분할 구조를 고속 결정하는 방법을 제안한다. 코딩 트리블록은 다양한 크기의 코딩 블록으로 구성되어 부호화 효율을 향상시키지만, 구성되는 코딩 블록을 결정하기 위한 과정에서 많은 계산량을 필요로 하게 되어 부호화 시간을 증가시킨다. 제안하는 방법에서는 부호화 과정에서 복원된 잔차신호와 코딩 트리 블록의 분할 구조의 상관성을 이용하여 코딩 트리 블록의 분할 구조를 고속으로 결정하는 방법을 제시한다. 실험 결과를 통해 제안된 방법이 HM16.0 에 비해 random-access configuration 에서 50.98%, low-delay configuration 에서 43.77%의 부호화 시간을 감소시키는 것을 확인하였다. 이때, $BD-rate_{YUV}$ 증가는 각각 2.42%와 2.35%로 부호화 효율에는 미치는 영향은 낮았다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.06a
• /
• pp.272-273
• /
• 2019

VVC(Versatile Video Coding)는 YUV 입력 영상에 대하여 Luma 성분과 Chroma 성분에 대하여 각각 다른 최적의 방법으로 블록분할 후 해당 블록에 대해서 화면 내 예측 또는 화면 간 예측을 수행하고, 예측영상과 원본영상의 차이를 변환, 양자화하여 압축한다. 이 과정에서 복원영상에는 블록화 노이즈, 링잉 노이즈, 블러링 노이즈 발생한다. 본 논문에서는 인코더에서 원본영상과 복원영상의 잔차신호에 대한 MAE(Mean Absolute Error)를 추가정보로 전송하여 이 추가정보와 복원영상을 이용하여 Deep Learning 기반의 신경망 네트워크로 영상의 품질을 높이는 방법을 제안한다. 복원영상의 노이즈를 감소시키기 위하여 영상을 $32{\times}32$블록의 임의로 분할하고, DenseNet기반의 UNet 구조로 네트워크를 구성하였다.

• Journal of Broadcast Engineering
• /
• v.19 no.3
• /
• pp.307-315
• /
• 2014

A new modified lossless intra-coding method based on a cross residual transform is applied to HEVC(High Efficiency Video Coding). The HEVC standard including a multi-directional spatial prediction method to reduce spatial redundancy encodes the pixels in a PU (Prediction Unit) by using neighboring pixels. In the new modified lossless intra-coding method, the spatial prediction is performed by pixel-based DPCM but is implemented by block-based manner by using cross residual transform on the HEVC standard. The experimental results show that the new lossless intra-coding method reduces the bit rate of approximately 8.4% in comparison with the lossless-intra coding method in the HEVC standard and the proposed method results in slightly better compression ratio than the JPEG2000 lossless coding.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.11a
• /
• pp.252-253
• /
• 2010

H.264/AVC는 P 슬라이스에 2개의 인트라 모드, 4개의 인터 모드 그리고 SKIP모드, 총 7개의 모드를 허용한다. 다양한 블록 모드들을 효율적으로 이용하기 위하여 RDO를 통하여 최적의 모드를 결정한다. 그러나 SKIP 모드의 RD 점과 다른 모드들의 RD점 사이의 간격이 넓은 문제점이 있다. 이러한 문제점은 부호화 성능에 영향을 미친다. 본 논문에서는 SKIP 모드와 4개의 인터 모드 사이의 RD 성능의 중간 성격을 지니는 새로운 인터 모드를 제안한다. 제안하는 방법은 inter16x16의 움직임 정보와 inter16x16의 움직임 정보를 이용하여 찾은 예측 블록에 대한 잔차 블록의 평균 에너지만을 보내준다. 실험 결과 제안하는 방법은 H.264/AVC의 참조 소프트웨어인 JM 17.0에 비하여 WQVGA 영상에서 평균 0.71%의 비트 감소를 나타내었다.