• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.150-157
• /
• 2009

본 논문에서는 다시점 방송 서비스(multi-view broadcasting service)를 위한 사용자 위치추적 기반 다채널 오디오 패닝 시스템을 제안한다. 다시점 방송이란 각기 다른 시점에 해당하는 카메라들을 이용하여 촬영한 영상을 렌더링 해주는 방송 서비스이며 다채널 오디오 패닝 기법은 이러한 다시점 방송의 실감효과를 증대시키기 위한 오디오 렌더링에 필요한 기술이다. 이런 실감 오디오 기술을 다시점 방송 서비스에 적용하기 위해서 사용자의 시점정보를 얻을 수 있는 사용자 추적 기술 역시 필요하다. 이를 위해서 본 논문에서 제안한 기술은 크게 두 가지로 나눌 수 있다. 첫째로, 초음파 위성 및 수신기를 이용하는 사용자 추적 기술을 제안한다. 제안한 사용자 추적 기술을 이용해 약 10 mm 근방의 높은 해상도와 약 0.15초의 빠른 간격으로 사용자의 위치정보를 얻을 수 있었다. 둘째로, 공간 파라메터 기반 다채널 오디오 패닝 기술을 제안한다. 제안한 오디오 패닝 기법은 MPEG Surround로 압축된 오디오에 대해 MPEG Surround의 공간 파라메터를 이용하여 복호화 시 패닝된 오디오를 얻는 방법이다. 제안된 방법의 성능을 평가하기위해 음질 측면과 음상 정위 측면에서 성능을 평가하였다. 음질 측정은 MUSHRA 방법으로 이루어졌으며, 제안된 방식은 약 90점에 해당하는 MUSHRA점수로 평가되었다. 또한, 음상 정위 성능은 더미헤드를 이용하여 각 패닝 오디오에 대한 각도별 주파수응답을 측정하여 방사패턴을 분석하였다. 그 결과 본 논문에서 제안된 방식은 기존 파라메터 기반 오디오 패닝 방식에 비해 향상된 음질을 보임과 동시에 음상이 올바른 위치에 정위됨을 보일 수 있었다. 마지막으로 제안된 사용자 추적 기법 및 오디오 패닝 기법을 다시점 영상 재생 시스템과 결합시킴으로써, 사용자 추적 기반 다시점 방송 시스템의 프로토타입을 구현하였다.

• 한국음향학회지
• /
• 제43권5호
• /
• pp.529-535
• /
• 2024

본 논문은 미디어 컨텐츠 제작을 위한 자동 오디오 패닝 기술 구현에 관한 연구 내용을 다룬다. 이전까지, 오디오 오브젝트를 지속적으로 추적하는 것은 사람의 수동 작업에 의존하였다. 이머시브(몰입형) 오디오의 시대가 도래함으로써, 자동 오디오 패닝 시스템의 필요성은 점차 부각되었지만, 현재까지 현업에 적용한 연구까지는 진행되지 않고 있다. 이에 본 연구팀은 시청각 조화를 고려한 깊이 정보 기반 객체 추적을 적용한 자동 오디오 패닝 시스템을 제안한다. 시스템은 먼저 2차원의 좌표를 기반으로 깊이 정보를 계산하여 이를 반영한 3차원의 Top-View 시점 변환을 모델링한다. 또한, 실제 무대 공간의 이미지를 입력 값으로 받아, 무대 바닥의 가로 및 깊이를 예측하는 모델을 적용한다. 무대 크기를 예측한 값이 시점 변환에 적용되기에 별도의 깊이 데이터 학습이 추가적으로 요구되지 않는다. 본 연구에서 제안하는 시스템 유효성을 검증하기 위해 Unity 기반의 샘플 비디오를 사용하여 파일럿 테스트를 진행했다. 본 시스템은 많은 오디오 엔지니어들에게 자동화된 오디오 패닝 기능을 제공함으로써 오디오 프로덕션의 작업 효율 개선에 도움을 줄 것으로 예상된다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2003년도 정기총회 및 학술대회
• /
• pp.237-240
• /
• 2003

실제공간에서 음원이 존재하는 것처럼 음향을 재현하려 연 스테레오만으로는 완벽한 재현이 어렵다. 본 논문에서는 4채널 오디오 출력을 이용해서 가상환경의 음원이 실제 공간에 존재하는 것처럼 재생하는 방법을 기술한다. 잔향 임펄스 응답을 이용해서 공간감을 구현하였고, 음원과 청자의 거리에 따라 감을 조절하였으며, 4채널에 균일 파워 패닝 기법을 사용해서 방향감을 구현하였다. PC에서 입체음향이 되도록 구현하였으며, 실시간으로 음원과 청자의 위치를 변화시킬 수 있도록 하였다. 본 논문에서는 공간감, 음량감과 방향감을 고려하는 4채널 오디오 출력을 이용한 실시간 입체음향 구현에 대해 기술한다.

• 방송공학회논문지
• /
• 제17권6호
• /
• pp.924-932
• /
• 2012

스테레오 업믹스(Upmix)에서 음원을 주성분(Primary)과 주변성분(Ambient)으로 분리하는 것은 주된 전처리 과정이며 주성분 분석법(Principal Component Analysis - PCA)을 이용한 연구가 진행되고 있다. 그러나 주성분 분석법은 분리 성능이 스테레오 음원이 가지는 주성분과 주변성분의 파워비(Primary Ambient Power Ratio - PAR Ratio) 및 주성분의 패닝 각도에 영향을 받는 다는 단점이 있다. 이전 연구에 따르면 PAR에 따른 단점을 극복하기 위한 변형된 주성분 분석법(Modified PCA) 방법이 제안되었으나 여전히 패닝 각도에 대한 단점은 극복하지 못하였다. 본 논문에서는 PAR 및 패닝 각도에 영향을 받지 않는 새로운 주성분 분석법 기반의 알고리즘을 제안하였다. 제안된 알고리즘은 스테레오 음원의 파워를 보존하는 기준을 두고 고유치의 비를 이용한 적절한 스케일 값을 통해 문제를 해결하였다. 제안된 알고리즘은 실험결과 PAR 및 주성분의 패닝 각도에 영향을 받지 않고 정확한 분리 성능을 보여줌을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.160-163
• /
• 2012

업믹스(Upmix) 기술은 홈시어터와 같은 다채널 스피커 재생 환경에서 콘텐츠의 대부분을 차지하는 스테레오 음원을 다채널 환경에 재생하기 위한 채널 포맷 변환 기술을 말한다. 업믹스를 위한 전처리 단계로서 특정 방향으로 패닝된 주(primary)성분과 잔향 및 배경음과 같은 Ambient 성분을 분리하는 과정이 필요하다. Primary와 Ambient를 분리하기 위한 방법으로 채널 간의 상관도, 적응 필터 및 주성분 분석법(principal component analysis, PCA)이 널리 이용되고 있다. 이에 본 논문에서는 비교적 정확하게 Primary와 Ambient를 분리한다고 알려진 주성분 분석법을 이용하여 신호를 분리해 내고 이 때 주성분 분석법이 가지는 문제점을 해결한 향상된 Primary-Ambient 분리 알고리즘을 제안하였다. 제안된 알고리즘은 분리 성능이 Primary 성분이 패닝된 각도에 영향을 받지 않으며 또한 Primary 성분에 섞인 잔여 Ambient를 제거함으로써 기존의 주성분 분석법 보다 더 정확하게 Primary와 Ambient를 분리 할 수 있고 상관성이 없는 Ambient 특성을 좀 더 정확하게 반영한다.

• 한국음향학회지
• /
• 제36권5호
• /
• pp.338-344
• /
• 2017

본 논문에서는 머리전달함수 보간 알고리즘을 제안하며, 특히 작은 크기의 측정 데이터를 다루는 경우를 고려한다. 제안하는 알고리즘은 머리전달함수의 음향학적 모델링에 기초하며, 모델링 계수를 추정함으로써 머리전달함수를 보간한다. 이 때 측정 위치의 개수가 부족할 경우 모델링 계수를 추정하는 것은 매우 어려우며, 따라서 본 알고리즘은 벡터-기반 크기 패닝 기법을 이용하여 데이터를 확장함으로써 이러한 문제를 해결하려고 한다. 본 알고리즘은 벡터-기반 크기 패닝 기법 기반의 데이터 확장 단계와, 최소자승법 기반의 모델링 계수 추정 단계의 두 단계로 이루어져 있다. 제안하는 알고리즘의 성능을 확인하기 위하여 CIPIC(Center for Image Processing and Integrated Computing) 머리전달함수 데이터베이스의 측정 데이터 중 일부를 이용한 시뮬레이션을 진행하였으며, 시뮬레이션 결과 약 1.5 dB ~ 4 dB의 최소 자승 오차가 감소됨을 확인할 수 있었다.

• 대한전자공학회논문지SP
• /
• 제47권5호
• /
• pp.34-44
• /
• 2010

본 논문에서는 다채널 스피커를 사용하는 서로 다른 포맷의 채널 환경에서 입체 음향 신호의 공간 정보를 효과적인 유지할 수 있는 다채널 포맷 변환 알고리즘을 제안한다. 이를 위하여 다채널 오디오 신호에 대한 공간 정보 분석 및 음원 분리 기술과, 다채널 신호의 재합성 및 공간 정보 재현 기술을 적용하였다. 입체 음향 신호의 공간 정보를 유지하기 위하여 음원의 방향감을 생성하는 패닝 게인 정보를 추정하고, 이를 이용하여 방향성을 가지는 음원과 각 채널의 잔향을 분리하는 음원 분리 알고리즘을 제안하였다. 또한 변환하고자 하는 다채널 포맷에서 음원의 방향성을 유지하고 입체 음향 정보를 충실히 재현하기 위하여, 채널 포맷에 따른 후처리 기술을 적용한 다채널 재합성 알고리즘을 제안하였다. 기존의 다채널 포맷 변환 기술에서는 음원 분리 및 재합성 과정에서 음원의 에너지 비율 및 방향 정보를 유지하지 못하는 문제점이 발견되었으나, 제안된 방법을 사용함으로써 입체 음향의 공간적 특성을 다채널 변환 과정에서 강건하게 유지할 수 있었다.