• 방송공학회논문지
• /
• 제19권2호
• /
• pp.148-157
• /
• 2014

양안식 3D 비디오의 효율적인 압축을 위해 다양한 기술들이 연구되었으며, 그 중 좌우영상으로 상이한 해상도의 영상을 사용하는 방식은 인간의 시각 시스템이 혼합 해상도의 양안식 영상을 높은 쪽 영상의 품질에 가깝게 인지하는 특성을 이용한 대표적인 비트레이트 절감 방식이다. 그러나 혼합 해상도 양안식 영상에서 좌우안 영상 해상도 차이가 일정 범위 이상일 경우 3D 영상의 품질 저하가 발생한다. 이에 다양한 연구에서 혼합 해상도 양안식 영상의 좌우해상도 차이에 따른 화질 저하 정도를 측정하려는 시도가 이루어졌으나, 기존 연구에서는 시청거리를 고려하지 않고 단순 좌우 영상의 크기만을 고려하여 실험하였으며 이에 각 연구별로 상이한 실험 결과가 도출되었다. 본 연구에서는 인간의 시각 시스템을 고려하여 최적 시청거리를 계산하고, 이에 기반하여 좌우영상 비율 별 주관적 화질평가를 수행하였다. 또한 실험 결과 분석을 통해 혼합 해상도 영상 기반의 고정 및 이동 융합형 3DTV 기술이 고품질 3D 서비스를 제공할 수 있음을 보인다.

• 방송공학회논문지
• /
• 제22권4호
• /
• pp.484-495
• /
• 2017

최근 디스플레이 기기의 발전과 기가 네트워크 등의 전송 대역폭 확대로 인해 대형 파노라마 영상, 4K Ultra High-Definition 방송, Ultra-Wide Viewing 영상 등 2K 이상의 초고해상도 영상의 수요가 폭발적으로 증가하고 있다. 이러한 초고해상도 영상은 데이터양이 매우 많기 때문에 부호화 효율이 가장 높은 High Efficiency Video Coding(HEVC) 비디오 부호화 표준을 사용하는 추세이다. HEVC는 가장 최신의 비디오 부호화 표준으로 다양한 부호화 툴을 이용하여 높은 부호화 효율을 제공하지만 복잡도 또한 이전 부호화 표준과 비교하여 매우 높다. 특히 초고해상도 영상을 HEVC 복호기로 실시간 복호화 하는 것은 매우 높은 복잡도를 요구한다. 따라서 본 논문에서는 고해상도 및 초고해상도 영상에 대한 HEVC 복호기의 복호화 속도를 개선시키고자 HEVC에서 지원하는 슬라이스(Slice)와 타일(Tile) 부호화 툴을 사용하여 각 슬라이스 혹은 타일을 동시에 처리하며 디블록킹 필터 과정에서도 소정의 블록 크기만큼 동시에 처리하는 데이터-레벨 병렬 처리 방법을 소개한다. 이는 독립 복호화가 가능한 타일, 슬라이스, 혹은 디블록킹 필터에서 동일 연산을 다중 스레드에 분배하는 방법으로 복호화 속도를 향상 시킬 수 있다. 실험에서 제안 방법이 HEVC 참조 소프트웨어 대비 4K 영상에 대해 최대 2.0배의 복호화 속도 개선을 얻을 수 있음을 보인다.

• 방송공학회논문지
• /
• 제9권1호
• /
• pp.83-90
• /
• 2004

DVB-MHP에서는 NPT(normal play time)를 스트림 이벤트의 시각으로 쓰기를 권하고 있다. NPT는 특정 이벤트(프로그램) 내부의 국지시간이다. 현재 상용으로 나와 있는 전송 스트림(TS) 생성기와 TV 미들웨어는 아직 NPT를 지원하지 못하고 있다. 특히 전송 스트림 생성기가 셋톱박스에서 NPT를 재구성하는데 필요한 NPT참조서술자를 생성하지 않고 있다. 이로 인해 PP가 연동형 애플리케이션(Xlet)의 아이디어를 실험하는 것이 불가능하다. 이에 우리는 TS에 NPT 참조서술자를 삽입하는 스트림 생성기와 NPT를 근사적으로 재구성하는 MyGetNPT API를 구현하였는데, 본 논문은 그 방법을 기술한다 NPT 재구성 API를 구현하기 위해서는 STC(system time clock) 값을 알 필요가 있으나, Xlet에서는 STC를 읽을 수 없다. 따라서 본 연구에서는 TS를 통해 전송되는 PCR (program clock reference) 과 Java 시스템 타임을 이용하여 STC를 근사적으로 계산하는 방법을 제안한다. 이 방법에서 전송 스트림 생성기는 이미 존재하는 TS로부터 PCR 들을 추출한 후, 이를 TS의 null 패킷에 Xlet에서 읽을 수 있는 MPEG 섹션의 형태로 삽입한다. 이때, PCR이 TS 내의 원래 위치에서 이동하여 다른 위치에 삽입되므로, PCR 값은 TS내의 원래 위치와 새로운 위치간의 시간 차이를 고려하여 수정한다. 구현한 TS 생성기와 MyGetNPT API를 이용하여 그래픽 이미지의 디스플레이가 목적인 스트림 이벤트를 가진 연동형 애플리케이션을 구현하여 실험을 하였다. 그 결과 그래픽 이미지들이 원래 의도된 시점으로부터 240ms 이내에 비디오와 동기화 되는 것을 확인하였다. 이 시간은 기존의 연구에서 발견된 그래픽 이미지와 비디오간의 동기화 오차 허용한계이다.

• 방송공학회논문지
• /
• 제14권5호
• /
• pp.551-560
• /
• 2009

본 논문에서는 MPEG 3차원 비디오 표준 깊이정보 맵에 대한 효율적인 무손실 압축 방법을 제안한다. 일반적으로 깊이정보 맵을 부호화할 때 자연영상에 적용되는 H.264 등의 동영상 부호화 방법을 그대로 사용하고 있는데, 이러한 부호화 방법은 깊이정보 맵의 영상특성을 고려하지 않은 방법이다. 본 논문에서는 깊이정보 맵의 무손실 압축 방법으로 MPEG-4 Part-2 Visual의 이진 형상 부호화를 이용한 비트평면 부호화 방법을 제안하였다. 실험결과로서 제안하는 방법이 28.91:1의 압축률을 실현하였고, 화면 내 예측만을 수행한 경우에 JPEG-LS보다 24.84%, JPEG-2000보다 39.35%, H.264 (CAVLC 적용)보다 30.30% 그리고 H.264 (CABAC 적용)보다 16.65% 정도의 비트량 절감을 실현하였고, 또한 화면 내 예측뿐만 아니라 화면 간 예측을 모두 수행한 경우에 H.264 (CAVLC 적용)보다 36.22% 그리고 H.264 (CABAC 적용)보다 23.71% 정도의 비트량 절감을 실현할 수 있었다.

• 방송공학회논문지
• /
• 제19권6호
• /
• pp.798-809
• /
• 2014

본 논문에서는 블랙박스 혹은 운전석에 장착된 카메라로부터 얻어진 차량 영상에 대한 영역별 수직 투영 히스토그램 매칭 및 선형 회귀분석 모델을 활용한 강건한 차량 운행 동영상의 안정화 기법을 제안한다. 동영상 안정화 기법은 영상의 흔들림 보정 뿐 아니라 동영상 내 강건한 특징점 추적 및 매칭을 위한 이전의 전처리 과정으로 활용된다. 일반적으로 촬영 과정에서 많은 떨림이 포함될 수 있는 야외 CCTV 영상이나 손으로 들고 촬영된 동영상에 대한 흔들림 보정 등에 적용되고 있으나 영상 내 특징점이 지속적으로 변하고 영상의 변화 정도가 매우 심한 차량 운행 동영상에서는 적용된 사례가 드물다. 본 연구에서는 일반적인 비디오 안정화 기술이 적용되기 어려운 차량 운행 동영상에 대하여 흔들림 보정을 위한 동영상 안정화 기법을 제안한다. 제안된 기법은 입력 영상에 대한 영역별 수직 투영 히스토그램 매칭을 수행하고 선형 회귀모델을 통해 영상에 나타나는 수직 및 회전 이동 변환을 선형 근사하여 시간 영역상에서의 입력 영상에 대한 안정화를 수행한다. 제안 방법의 검증을 위해 블랙박스로 촬영된 동영상에 동영상 안정화 기술을 적용하였으며, 운행 중 불규칙한 노면으로 인한 영상의 흔들림이 효과적으로 제거되는 것을 확인할 수 있었다.

• 방송공학회논문지
• /
• 제17권2호
• /
• pp.305-315
• /
• 2012

두 카메라 혹은 다수의 카메라에서의 컬러 보정은 이후 알고리즘의 성능 향상 및 양안식 3D 카메라에서 매우 중요한 기술이다. 최근 컬러 보정 방법들이 다수 제안되었지만 이 방법들의 결과에 대한 정확한 측정 방법이 많지 않으며 기존의 측정 방법은 두 영상이 카메라의 위치에 따른 서로 다른 장면을 가지고 있을 경우 적합하지 않을 수 있다. 본 논문에서는 컬러 보정을 위한 컬러 간의 차이 측정 기법을 제안한다. 이 기법은 대상이 되는 두 영상의 장면이 일치하지 않는 경우를 고려하여 대응점 검색을 통해 두 장면간의 같은 컬러를 가져야 하는 대응점을 찾고 이 대응점 주위의 영역으로부터 통계치를 계산하여 컬러의 차이를 계산한다. 이 경우 두 영상의 위치 변화를 하나의 기하학적 변환으로 설명하는 기존 방법에서 생길 수 있는 대응점간의 불일치를 고려할 수 있다. 또한 대응점들이 영상의 모든 영역을 포함하지 않을 수 있기 때문에 전체 영상의 통계치를 계산하여 컬러의 차이를 측정한다. 최종적인 컬러의 차이는 대응점 기반과 전체 영상 기반의 컬러 차이의 가중치의 합으로 결정되며 이 가중치는 대응점 기반의 컬러 비교가 영상 내의 얼마만큼의 영역을 포함하는지에 따라서 결정된다.

• 방송공학회논문지
• /
• 제17권2호
• /
• pp.325-343
• /
• 2012

본 논문에서는 참조 프레임 혹은 시간적으로 이전에 부호화한 프레임을 통해 현재 프레임의 LCU 분할구조를 예측하여 부호화하는 방법을 제안한다. HEVC에서는 CU로 부호화 및 복호화를 수행하는데, CU의 기본이 되는 LCU 단위로 영상의 특성에 따라 분할구조를 결정하여 영상을 적응적으로 부호화한다. 이 때, 현재 부호화하려는 LCU의 분할구조와 참조 프레임 및 시간적으로 이전에 부호화한 프레임 내의 동일한 위치에 대응되는 LCU(Co-located LCU)의 분할구조는 매우 유사한 특성이 있다. 따라서 본 논문에서는 인코더의 복잡도를 낮추기 위하여 현재 LCU의 분할구조를 결정할 때, Co-located LCU의 복잡성을 통해 현재 부호화하는 LCU의 분할구조 정보를 예측하고 분할구조에 포함될 확률이 높은 CU만 부호화하는 방법을 제안한다. 제안 방법의 시뮬레이션 결과로서, 인코더만을 변경하여 인코더 복잡도를 낮추는 방법이 기존 대비 인코더 복잡도가 평균 21.3% 감소하였고, 디코더 복잡도는 거의 비슷했으며, BD-Bitrate는 최대 0.6% 증가하였다. 또한 인코더에서 분할구조를 결정할 때 LCU의 분할 정보를 예측하여 부호화하고, CU 분할 정보를 부호화 및 복호화하는 과정을 변경하는 방법을 통해 BD-Bitrate를 감소시키는 방법을 제안하였다. 제안 방법의 시뮬레이션 결과는 인코더 복잡도가 평균 22% 감소하였고, 디코더 복잡도는 거의 비슷했으며, BD-Bitrate는 최대 0.3% 정도만 증가하여 제안하는 방법의 우수함을 확인할 수 있었다.

• 방송공학회논문지
• /
• 제18권1호
• /
• pp.66-76
• /
• 2013

최근 다양한 환경에서 사용할 수 있는 3D 디스플레이가 활발하게 보급되었으나, 3D 컨텐츠의 보급은 그에 미치지 못하고 있다. 3D 콘텐츠의 확산을 저지하는 원인으로 주로 언급되는 것은 시각 피로이지만, 그에 못지않게 영상 왜곡의 영향 역시 크다. 신윤호, 이형철, 김신우 (2012)는 앞선 연구에서 단순한 자극에 대한 크기 지각 왜곡 효과를 측정하고 화면 시차와 크기 지각 사이에 선형적 관계가 존재함을 보고하였다. 본 연구에서는 이에 더하여 정사각형, 자유 선, 입방체 등 다양한 자극 특성이 자극 크기 지각에 미치는 영향을 크기 맞추기 과제를 사용하여 측정하였다. 그 결과 앞선 연구의 결과와 마찬가지로 화면 시차에 따라 지각된 크기가 선형적으로 변화하는 것을 확인하였으며, 이러한 선형성은 대상의 종류와 무관하게 일관되게 관찰되었다. 화면시차와 크기지각의 관계를 시각도(visual angle)에 의한 크기변화 예측함수로 제시하였다. 이 함수를 사용하면 영상제작에서 특정 화면시차의 자극이 시청자에게 어떤 크기로 지각될 지를 미리 예측할 수 있어 매우 유용할 것으로 기대한다.

• 방송공학회논문지
• /
• 제18권1호
• /
• pp.21-30
• /
• 2013

알려져 있지 않은 광원에 의한 색 변화는 대부분의 영상처리에서 중요한 문제이다. 색상 변화를 보상하기 위해서는 광원의 색상을 추정해야 한다. 이 때 광원에 의한 색 분포의 가정을 사용하게 되는데 이 가정을 만족하지 않는 화소를 사용하게 되면 정확한 추정이 이루어지지 않을 수 있다. 흔하게 사용되는 색 분포의 가정은 장면에서 표면 반사율의 평균은 무채색을 갖는다는 Grey-world 가정이다. 우리는 광원의 내재적인 특징을 바탕으로 카메라 응답 함수의 특성과 함께 화소의 값과 색도가 Grey-world 가정에 어떤 영향을 미치는지 분석하고 광원의 색상을 추정하기 위한 중요한 화소를 검출하기 위하여 가정을 잘 만족하는 화소에 가중치를 주는 방법과 가중치가 적용된 화소에 대해서 기존의 max-RGB 방법을 변형하여 각 채널의 행 방향과 열 방향으로 최대로 가중된 화소를 검출하는 방법을 제안한다. 제안한 방법은 다양한 실제 장면들에 대한 검증을 통해 기존의 다른 방법들에 비해서 정확하게 광원의 색을 추정함을 보였다.

• 방송공학회논문지
• /
• 제23권5호
• /
• pp.682-692
• /
• 2018

본 논문에서는 MMT(MPEG Media Transport) 프로토콜 기반의 대용량 멀티미디어 전송에서 다중쓰레드를 활용한 ARQ 패킷 오류 제어 기법을 제안한다. 송신 측에서는 영상을 구성하는 각 프레임을 MMT 프로토콜을 기반으로 패킷 단위로 잘라 패킷의 헤더(Header)에는 패킷이 포함된 프레임의 순서, 표현 시간 정보 등을 저장하고 페이로드(Payload)에는 프레임을 구성하는 직접적인 정보를 저장하여 IP(Internet Protocol) 망으로 전송한다. 수신 측에서는 수신한 패킷의 오류 발생 여부를 판단하여 오류가 발생한 경우 재전송을 통해 오류를 제어하고 수신한 패킷의 헤더에 저장된 정보에 따라 패킷을 프레임으로 재구성한다. 이때 다중쓰레드 기반의 전송 방식을 설계 및 적용하여 각 쓰레드가 하나의 프레임을 맡아 패킷화(packetization)하고 전송함으로써 대용량 멀티미디어의 전송 효율을 높인다. 또한 오류가 발생한 패킷을 재전송 할 경우 단일쓰레드를 사용할 때 나타날 수 있는 문제점을 해결함으로써 다중쓰레드 전송 방식의 효율성을 검증한다.