사용자가 원하는 3D 사운드 혹은 소리의 공간감을 원하는 대로 재현할 수 있는 오디오 시스템은 오랜 기간 동안 인류가 가지고 싶었던 꿈의 기계였다. 그러나 과연 개인 혹은 사용자가 원하는 3D 사운드라는 것이 무엇이며 어떻게 정의하여야 하는지는 명확하지 않다. 이것은 매우 주관적인 개념일 뿐만 아니라 개인에 따라 다를 수 있으며, 그 평가에 대한 객관적인 방법 또한 존재하지 않는다. 관련된 연구를 살펴보면, 원하는 소리의 파동 전파 자체를 시공간 상에서 물리적으로 재현하는 WFS(Wave Field Synthesis)나 Ambisonics, 또는 머리전달함수(HRTF: Head Related Transfer Function)를 기반으로 한 많은 연구들이 있다. 이렇게 재현된 음장(sound field)을 보면 이들이 인지되고 평가되는 등의 객관화를 위하여는 청취 환경에 따라 그 특성이 바뀌고 동일한 환경에서도 청취자에 따라 다르게 인지되는 근본적인 문제점을 가지고 있다. 음장 재현 방법의 이러한 근본적인 문제는 놀랍게도 과거의 스테레오 시스템에서 볼 수 있는 밸런스 노브(balance knob)로부터 그 해결의 실마리를 찾을 수 있다. 밸런스 노브는 보편적인 최적의 소리를 찾는 대신에 청취자가 원하는 음향 효과를 얻을 때까지 직접적으로 소리를 청취하고, 스스로 조절하여 평가할 수 있는 매개체의 역할을 수행한다. 만일 밸런스 노브와 같이 청취자가 원하는 3D 사운드를 스스로 평가하고 조절하기 위한 방법을 마련할 수 있다면? 즉, 청취자가 시공간적으로 원하는 3D 사운드를 실시간으로 청취하고 변화시킬 수 있는 인터페이스를 구현할 수 있다면? 과연 그러한 것이 어떻게 가능할 수 있는지 체계적인 검토가 이루어질 수 있다면 매우 좋을 것이다. 본 고는 이러한 것을 가능케 할 수 있는 즉, 청취자가 자유 자재로 원하는 음장을 형성할 수 있는 렌더링 기법 및 즉각적인 피드백이 가능한 인터페이스를 소개하고 있다. 인터페이스는 현재까지 오디오 시스템에서 주로 사용되는 주파수 이퀄라이져(frequency equalizer)와 매우 유사한 특징이 있다. 이러한 점을 감안하여 "Spatial Equalizer$^{(R)}$"라는 이름을 붙여 보았다. Spatial Equalizer$^{(R)}$는 공간 상에 하나의 점 또는 다수의 점으로 표시되는 가상 음원을 사용자가 조종하여 원 소리의 공간감을 제어할 수 있도록 구성되어 있다. 공간 상에 다수의 점 음원들의 위치를 변화시키거나 크기를 변화시킴으로써 청취자가 원하는 공간감을 구현할 수 있도록 하고 있다. 중요한 것은 종전의 이퀄라이져와 같이 Spatial Equalizer$^{(R)}$에 의해 형성되는 음장이 어떤 객관적인 척도에 의해서 평가되는 대신 사용자에 의해 직접 주관적으로 평가되고, 선택된다는 점이다.

본 고에서는 ITU-T와 3GPP를 중심으로 음성통신 서비스를 위해 표준으로 채택된 코덱의 특징과 현재 표준화가 진행중인 3GPP EVS(Enhanced Voice Service) 코덱 기술의 표준화 동향에 대해 살펴본다. ITU-T에서는 2000년 중반부터 기존의 협대역(전화선 대역) 보다 넓은 주파수 대역의 신호를 코딩할 수 있는 광대역과 슈퍼와이드밴드 코덱에 대한 표준화가 활발히 진행되었다. 3GPP에서는 2010년부터 4세대 이동 통신에서 고품질의 대화형 서비스를 제공하기 위해 음성뿐만 아니라 혼합컨텐츠와 오디오 신호에 대해서도 우수한 품질을 제공할 수 있는 코덱 기술에 대한 표준화를 진행하고 있다.

오디오와 음성 압축 기술적 근간은 서로 다르지만, 최근의 모바일 멀티미디어 기기 시장의 컨버전스 현상에 따라 압축하고자 하는 신호가 혼용되고 있으며, 비슷한 목표 전송률과 음질로 수렴하고 있다. 현재는 동일 기기에서 서로 다른 압축 기술을 적용하고 있으나, 음성과 음악이 동시에 서비스 되는 멀티미디어 기기에서는 단일 압축 방식으로 처리하고자 하는 이슈가 부각되고 있다. 특히, 스마트 폰 및 음악 콘텐츠 포탈 서비스의 대중화를 고려할 때, 음성 및 음악 신호 모두를 효율적으로 압축하는 음악 및 음성 신호의 융합 압축 기술이 더욱 필요해 보인다. 본 고에서는 MPEG 오디오 그룹에서 가장 최근 진행한 Unified Speech and Audio Coding(USAC)의 탄생 배경 및 표준화 현황을 소개한다. USAC는 64kbps 이하에서 기술적으로 최고 성능을 지닌 AMR-WB+ 및 HE-AAC v2보다도 우월한 음질을 보이며, 높은 비트율에서도 동등한 음질을 보장한다. 이런 우수한 음질에 기여한 USAC의 스위칭 구조와 더불어 기술적으로 향상된 주요 모듈인 파라미터 기반 스테레오 및 고주파 압축, 그리고 엔트로피 코딩 방식에 대해서 살펴 본다. 향후, 다양한 오디오 신호를 효율적으로 압축하는 USAC는 디지털 라디오, 모바일 TV, 그리고 오디오 북과 같은 사용자 시나리오에서 사용될 확률이 높아 보인다. 또한, USAC는 배경 잡음이나 배경 음악이 있는 경우에도 성능이 우수하기 때문에 YouTube 및 podcast 등과 같이 사용자가 콘텐츠를 생성할 때도 유용하게 사용 될 수 있다.

인터넷 환경의 대중화와 디지털 음원의 기하급수적인 증가에 따라, 음악을 시그널 레벨에서 직접 분석하여 분류하거나 의미정보를 추출하는 음악분석 및 검색 기술의 상용화에 대한 요구가 늘어나고 있다. Music Information Retrieval Evaluation eXchange(MIREX)는 음악 검색(Music Information Retrieval) 시스템과 알고리즘들의 평가를 위해 매년 개최되는 평가 대회이다. MIREX는 매년 정기적으로 대회 및 회의를 개최하면서 음악 분석 기술에 대한 관심도와 최신 기술동향 등을 보여주고 있다. 따라서, 음악 기술의 MIREX의 배경, 구성 및 현황 등을 살펴보면서 전 세계 음악분석 기술의 현황을 파악해 볼 수 있다. MIREX에 대한 소개와 MIREX에서 운영하는 task들의 현황을 설명하고, 이를 통하여 음악 분석 기술의 동향과 전망을 짚어본다.

다성 음악 신호의 주요 멜로디 검출 기술은 프레임 단위로 다중 피치를 검색하고 멜로디 피치를 선택하여 최종 멜로디를 검출한다. 그러나 다중 피치 검색의 한계와 피치 검색에서의 더블링(doubling)과 하빙(halving) 등으로 인하여 멜로디 피치 검출의 정확도가 저하되는 문제점을 가진다. 따라서 다성 음악의 주요 멜로디 검출 과정은 프레임 사이의 멜로디 피치를 분석하여 추가적으로 멜로디 피치를 보정하는 과정이 필요하다. 본 고에서는 다성 음악 신호에서 프레임 단위로 검출된 멜로디 피치를 보정하여 주요 멜로디 검출의 정확도를 추가로 향상시키는 기술들을 소개한다. 다양한 기술들을 접근 방식에 따라 분류하여 설명하고, 대표적인 기술의 검출 정확도 향상 성능을 간단히 정리한다.