• 한국음향학회지
• /
• 제40권2호
• /
• pp.176-182
• /
• 2021

본 논문은 다양한 손실 함수에 따른 Deep Nerual Network(DNN) 기반 음성 향상 모델의 성능을 비교 평가한다. 베이스라인 모델로는 음성의 위상 정보를 고려할 수 있는 복소 네트워크를 사용하였다. 손실 함수는 두 가지 유형의 기본 손실 함수, Mean Squared Error(MSE)와 Scale-Invariant Source-to-Noise Ratio(SI-SNR)를 사용하였으며 두 가지 유형의 지각 기반 손실 함수 Perceptual Metric for Speech Quality Evaluation(PMSQE)과 Log Mel Spectra(LMS)를 사용한다. 성능은 각 손실 함수의 다양한 조합을 사용하여 얻은 출력을 객관적인 평가와 청취 테스트를 통해 측정하였다. 실험 결과, 지각기반 손실 함수를 MSE 또는 SI-SNR과 결합하였을 때 전반적으로 성능이 향상되며, 지각기반 손실함수를 사용하면 객관적 지표에서 약세를 보이는 경우라도 청취 테스트에서 우수한 성능을 보임을 확인하였다.

• 방송공학회논문지
• /
• 제19권4호
• /
• pp.468-477
• /
• 2014

본 논문은 FCS(foveated contrast sensitivity)를 이용한 인지품질 기반 비디오 코딩 방법을 제안한다. CS(contrast sensitivity)를 이용한 기존의 인지품질 기반 비디오 코딩 방법은 공간주파수에 따라 시각적 인지능력이 달라지는 인간시각체계(HVS, human visual system)의 특징을 이용하여 비디오 압축 시 인지품질의 손상을 최소화하며, FM(foveated masking)을 이용한 방법에서는 HVS의 중심시(central vision) 와 주변시(peripheral vision)의 차를 이용한다. 본 연구에서는, 정신물리학 실험을 통하여 기존의 DCT(discrete cosine transform)기반 JND(Just-noticeable difference) 모델과 FM이 서로 의존성을 갖고 동시에 고려된 새로운 FCS 모델을 제안하였고, 이를 HM10.0 부호화기에 적용하여 인지품질기반 부호화를 수행하였다. 제안된 방법으로 부호화된 영상은 인지품질 관점에서 동일한 화질을 유지하면서 평균 10%의 비트율 감소를 보였다.

• 한국통신학회논문지
• /
• 제36권11C호
• /
• pp.655-661
• /
• 2011

다양한 네트워크 환경에서 적응적인 서비스 품질을 제공할 수 있는 H.264 SVC 전송에 대한 연구가 활발하다. 본 논문은 H.264 SVC의 무기준법 객관적 화질 평가 방법으로서, H.264 SVC의 계층성을 이용한 품질 평가 지표를 제안한다. 제안하는 지표는 패킷 손실의 위치에 따라 움직임 벡터, 계층적 예측 구조에 의한 에러 전파 패턴, 양자화 파라미터, 영향을 받은 영상프레임 수 등 에러를 반영한 인지적 화질 평가를 예측한다. 제안하는 품질평가 지표는 사람의 인지적인 영상 품질을 반영한 객관적 지표이며 이 지표를 주관적 화질평가 결과인 DMOS와의 상관관계를 통해 성능을 검증하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권9호
• /
• pp.3823-3840
• /
• 2020

Recently, auto-encoder has emerged as the most popular method in convolutional neural network (CNN) based image compression and has achieved impressive performance. In the traditional auto-encoder based image compression model, the encoder simply sends the features of last layer to the decoder, which cannot allocate bits over different spatial regions in an efficient way. Besides, these methods do not fully exploit the contextual information under different receptive fields for better reconstruction performance. In this paper, to solve these issues, a novel auto-encoder model is designed for image compression, which can effectively transmit the hierarchical features of the encoder to the decoder. Specifically, we first propose an adaptive bit-allocation strategy, which can adaptively select an importance channel. Then, we conduct the multiply operation on the generated importance mask and the features of the last layer in our proposed encoder to achieve efficient bit allocation. Moreover, we present an additional novel perceptual loss function for more accurate image details. Extensive experiments demonstrated that the proposed model can achieve significant superiority compared with JPEG and JPEG2000 both in both subjective and objective quality. Besides, our model shows better performance than the state-of-the-art convolutional neural network (CNN)-based image compression methods in terms of PSNR.

• 한국ITS학회 논문지
• /
• 제10권4호
• /
• pp.71-77
• /
• 2011

본 논문에서는 고품질 모바일 VoIP 음성통신에 대한 객관적인 QoS를 제공하는 대화음질 측정시스템을 구현하였다. 대화음질 측정을 위해서 VoIP로 연결된 두 대의 스마트폰에 에코 및 잡음 제거, 음성 인코딩 및 디코딩, RTP (Real-TimeProtocol)을 적용한 패킷 생성, 지터버퍼 콘트롤, LC (Loss Concealment)를 포함한 POS (Play-out Schedule)로 구성된 VoIP음성 통화시스템을 구현하였다. 대화음질 측정 시스템은 VoIP로 연결된 두 스마트폰의 마이크, 그리고 스피커와 연결되어 각 화자별로 음성신호를 녹음한 후에, 녹음된 음성신호를 이용하여 CE (Conversational Efficiency), CS (Conversational Symmetry) 및 PESQ (Perceptual Evaluation of Speech Quality)를 측정하고, CE-CS-PESQ에 대한 상관관계를 측정한다. 본 논문에서는 다양한 SNR, IP 네트워크망 변동에 따른 지연, 손실 변화에 따른 CE, CS, PESQ를 측정하여 대화음질 측정시스템을 검증하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제8권10호
• /
• pp.403-410
• /
• 2019

눈이 내리는 영상에서 눈송이들에 의하여 영상의 질이 저하되고 영상 내에 존재하는 객체들을 명확히 탐지하기 위해서는 눈송이를 제거해야할 필요성이 있다. 이 연구에서는 지각 Generative Adversarial Network에 기반하여 단일 영상으로부터 눈송이를 제거하는 방법을 제시한다. 잔류 U-Net을 눈송이가 제거된 영상을 생성하는 생성기로 설계하였다. 다양한 크기의 눈송이를 처리하기 위하여 다양한 필터 커널의 인셉션 모듈을 설계하고 입력한 눈이 내리는 영상의 다양한 해상도 특징을 추출하기 위하여 적용되었다. 눈송이 제거 영상의 품질을 높이기 위해서 대립손실을 제외하고는, 지각적 손실과 총 변동 손실 함수를 적용하여 제설 이미지와의 유사도를 찾아갈 수 있도록 하였다. 합성 강설 이미지와 실제 강설 이미지를 대상으로 제안 네크워크의 제설 기능을 실험하였다. 실험 결과 제안 알고리즘은 합성 이미지와 강설 이미지 모든 분야에서 육안으로 관찰해본 결과 화질이 우수함을 보여주었고, 객관적 평가를 위하여 신호강도를 나타내는 PSNR과 구조변화를 측정하는 SSIM 인덱스를 비교하였으며, 제안 알고리즘이 지수 상으로도 가장 우수한 성능을 보여주었다.

• 한국음향학회지
• /
• 제34권5호
• /
• pp.403-409
• /
• 2015

본 논문에서는 G.711 패킷 손실 은닉 알고리즘의 성능향상을 위해 적응적 신호 크기 예측을 사용하는 패킷 손실 알고리즘을 제안한다. 기존의 방법은 연속 손실이 발생하였을 때 20 %의 감쇠인자를 가지고 이득조절을 수행하였다. 그러나 이 방법은 신호의 변화를 고려하지 않기 때문에 신호가 왜곡되는 경우가 발생한다. 따라서 Least Mean Square(LMS) 예측기를 사용하여 이전과 이후 프레임의 정보를 통한 적응적 신호 크기 예측으로 이득을 조절하는 것을 제안한다. 제안된 알고리즘의 성능 평가는 Perceptual Evaluation of Speech Quality(PESQ) 평가를 통하여 나타내었다.

• 한국음향학회지
• /
• 제19권8호
• /
• pp.12-21
• /
• 2000

본 논문에서는 심리음향 (psychoacoustics)을 이용한 다채널 동적 음향 압축 알고리즘을 통해 감음신경성 난청 (sensorinural hearing loss)을 보정하여 정상적인 지각 환경을 제공하는 알고리즘을 제안한다. 제안된 알고리즘은 라우드니스 조정 함수 (loudness scaling function)를 통해 난청자에게 적합한 라우드니스 레벨을 보상 시켜 주고, 난청자가 인식하게 되는 신호에 대한 마스킹 특성을 해석하여, 지각 영역 (perceptual domain)에서 각각의 주파수 성분에 대한 음압 레벨과 마스킹 임계치 (masking threshold) 사이의 거리로 정의되어지는 SMR(signal-to-masking ratio)을 통해 주파수 대비 (spectral contrast)를 복원 시켜 줌으로써 정상적인 지각 환경을 제공하는 것이다.

• 한국정보전자통신기술학회논문지
• /
• 제14권4호
• /
• pp.247-256
• /
• 2021

본 논문에서는 피치 하모닉 움직임 예측과 적응적 신호 크기 예측을 이용한 패킷 손실 알고리즘을 제안한다. 스펙트럼 움직임 예측 방법은 사용 가능한 이전 패킷의 스펙트럼 상의 움직임을 일정한 부대역으로 나누어 손실된 신호의 움직임을 예측하여 복원한다. 제안하는 알고리즘에서는 음성신호를 유성음과 무성음으로 구분하여 유성음의 경우 피치 주파수를 활용하여 피치 하모닉으로 나누어 손실된 신호의 피치 하모닉 움직임을 예측하여 복원하고 무성음의 경우 스펙트럼 움직임 예측 방법을 사용하여 신호를 복원한다. 음성 프레임의 연속 손실이 발생한 경우 LMS(Least Mean Square) 예측기를 사용하여 이전 프레임의 이득 정보를 활용하여 신호 크기를 예측하여 출력 신호의 이득을 조절하는 방법을 제안한다. 객관적 평가방법인 PESQ (Perceptual Evaluation of Speech Quality) 시험을 통해 제안된 알고리즘의 성능을 평가하였고 기존의 방법보다 MOS 0.1의 성능 개선을 보였다.

• Nuclear Engineering and Technology
• /
• 제56권2호
• /
• pp.715-727
• /
• 2024

During fast neutron imaging, besides the dark current noise and readout noise of the CCD camera, the main noise in fast neutron imaging comes from high-energy gamma rays generated by neutron nuclear reactions in and around the experimental setup. These high-energy gamma rays result in the presence of high-density gamma white spots (GWS) in the fast neutron image. Due to the microscopic quantum characteristics of the neutron beam itself and environmental scattering effects, fast neutron images typically exhibit a mixture of Gaussian noise. Existing denoising methods in neutron images are difficult to handle when dealing with a mixture of GWS and Gaussian noise. Herein we put forward a deep learning approach based on the Swin Transformer UNet (SUNet) model to remove high-density GWS-Gaussian mixture noise from fast neutron images. The improved denoising model utilizes a customized loss function for training, which combines perceptual loss and mean squared error loss to avoid grid-like artifacts caused by using a single perceptual loss. To address the high cost of acquiring real fast neutron images, this study introduces Monte Carlo method to simulate noise data with GWS characteristics by computing the interaction between gamma rays and sensors based on the principle of GWS generation. Ultimately, the experimental scenarios involving simulated neutron noise images and real fast neutron images demonstrate that the proposed method not only improves the quality and signal-to-noise ratio of fast neutron images but also preserves the details of the original images during denoising.