• 한국정보통신학회논문지
• /
• 제17권2호
• /
• pp.438-446
• /
• 2013

본 논문에서는 컬러 영상에서 추정된 움직임 벡터를 이용하여 움직이는 객체와 움직이지 않는 객체로 영상을 분리하여 깊이 영상의 시간적 일관성을 보상하는 기법을 제안한다. 제안하는 기법에서는 광류(optical flow) 추정 기법을 이용하여 연속되는 컬러 영상의 움직임 벡터를 추정하고 초기 움직임 객체 영역을 생성한다. 이를 바탕으로 그랩컷(grabcut) 기법을 통해 움직임이 있는 객체와 움직임이 없는 객체 영역을 분리한다. 그리고 움직임이 없는 객체 영역의 깊이 값을 이전 프레임의 깊이 지도와 정합 창 기반 절대평균오차(sum of absolute differences)를 통해 비교하여 일정 임계값보다 클 경우 이전 프레임의 깊이 값으로 현재 프레임의 깊이 값을 대체함으로써 시간적 상관성을 보상한다. 움직임이 있는 객체 영역의 경우 시간 축으로 확장된 결합형 양방향 필터링을 수행하여 시간적 상관성을 보상한다. 제안하는 기법으로 보상된 깊이 지도를 이용하여 가상 시점을 합성할 시 화질 향상 뿐 아니라 최근 표준화가 진행 중인 HEVC에서도 부호화 효율 또한 증가한다는 것을 실험을 통하여 확인하였다.

• 한국통신학회논문지
• /
• 제28권3C호
• /
• pp.307-314
• /
• 2003

일반적으로 화자와 같이 중요하게 인식되는 객체를 시퀸스 전체에서 높은 우선순위를 부여한다. 그러나 다중 객체 동영상 부호화에서 각 객체의 중요도는 시퀸스 전체에서 일관적이지 않고 프레임마다 변화되므로 시변적으로 중요도를 변화시킬 필요가 있다. 따라서 본 논문에서는 독립적 율제어 알고리즘과 정적 파라미터들인 객체 중요도 또는 우선 순위와 목표 PSNR, 가중치 왜곡에 따라 각 객체에 QP를 할당하는 포괄적 율제어 알고리즘을 설명하고 정적 파라미터 중 우선 순위는 카메라 인터페이스를 통해 인간의 시각적 관심도 또는 중요도에 따라 동적 파라미터로 적용하며 목표 PSNR 및 가중치 왜곡은 객체의 크기, 움직임, 왜곡의 세 변수를 기준으로 비율적으로 나타내어 가중치 왜곡 제어와 우선 순위 기반 제어 알고리즘에 적용하여 비트율 분배의 효율을 높이고 있다. 결과로서 중요도가 적은 객체에 대해서는 매우 적은 비트를 할당받게 하며 시각적 중요도가 높은 객체에 대해서는 많은 비트를 할당받게 한다. 또한 화질이 적정 수준으로 안정되는 안정화 시간도 15 프레임 이내로 줄어드는 효과를 보였다 PSNR의 측면에서도 다른 기법에 비해 평균레벨에서 2㏈ 이상 높아지는 결과를 얻어서 인간과 결합한 내용기반 부호기가 다중객체 통영상 부호기에 효과적으로 사용될 수 있음을 제시하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (3)
• /
• pp.361-363
• /
• 2004

WMV(Winoow Media Video)는 ASF(Advanced Streaming Format)파일 포맷을 기반으로 하는 마이크로 소프트사의 대표적인 스트리밍 파일 포맷이다. WMV 파일 포맷은 MPEG-4를 기반으로 내용 기반 부호화를 통해 영상을 객체 단위로 나누어 처리하므로 사용자의 의도에 따라 다양한 조작과 디스플레이가 가능하다. 또한 영상 데이터를 패킷에 붙여 네트워크를 통해 스트리밍 서비스도 가능하다. 따라서 본 논문에서는 WMV파일 포맷 분석을 통해 영상의 가장 중요한 Hey-Frame을 추출과 데이터 헤더 부분을 제외한 실제 영상 스트림의 시작 위치를 찾는 알고리즘을 설계 및 구현하였다. 이로써 실제 스트리ald 서비스외에도 다양한 멀티디미어 서비스에 적용 가능한 방법을 마련하였다.

• 방송공학회논문지
• /
• 제2권2호
• /
• pp.86-93
• /
• 1997

현재 급속히 성장하고 있는 다양한 멀티미디어 응용 분야들은 기존의 MPEG-1 및 MPEG-2에서는 제공할 수 없는 객체 기반의 영상 표현 및 조작 등의 새로운 기능들을 요구하고 있다. 이러한 기능들을 수용하기 위해 표준화가 진행 중인 MPEG-4 비디오는 하나의 영상을 여러개의 객체들로 분할한 뒤 각각의 영상 객체들을 독립적으로 부호화 함으로써 각 객체에 대한 사용자의 용이한 조작을 허용한다. 반면에 MPEG-4 비디오의 복잡하고 융통성 있는 구조는 VLSI 기술을 이용한 전용 하드웨어의 구현을 매우 어렵게 하며, 프로그램이 가능한 범용 DSP로 구현할 경우에도 높은 압축율을 제공하기 위해 요구되는 많은 계산량으로 인해 성능면에서 큰 제약을 받는다. 본 논문에서는 많은 계산량을 요구하는 동시에 융통성 있는 구조를 갖는 MPEG-4 비디오 코덱을 구현하기 위한 방법으로 프로그램이 가능한 고성능 DSP와 많은 계산량이 요구되는 움직임추정 및 보상을 수행하기 위한 전용 칩으로 구성된 하드웨어 아키텍쳐를 제안한다.

• 전자통신동향분석
• /
• 제37권4호
• /
• pp.70-80
• /
• 2022

With the rapid growth in media service platforms providing broadcast programs or content services, content production has become more important and competitive. As a strategy to meet the diverse needs of global consumers for a variety of content and to retain them as long-term repeat customers, global over-the-top service providers are increasing not only the number of content productions but also their production efficiency. Moreover, a considerable amount of scene composition in the flow of content production work appears to be combined with rendering technology from a game engine and converted to object-based computer programming, thereby enhancing the creativity, diversity, quality, and efficiency of content production. This study examines the latest technology trends in content production such as virtual studio technology, which has emerged as the center of content production, the use cases in various fields of artificial intelligence, and the metadata standards for content search or scene composition. This study also examines the possibility of using object-based computer programming as one of the future candidate technologies for content production.

• 방송공학회논문지
• /
• 제20권3호
• /
• pp.449-463
• /
• 2015

동영상에서의 객체 추적은 보안, 색인 및 검색, 감시, 통신, 압축 등 다양한 분야에서 중요하다. 본 논문은 HEVC 비트스트림 상에서의 객체 추적 방법을 제안한다. 복호화를 수행하지 않고, 비트스트림 상에 존재하는 움직임 벡터(MV : Motion Vector)와 부호화 크기 정보를 Spatio-Temporal Markov Random Fields (ST-MRF) 모델에 적용해 객체 움직임의 공간적 및 시간적 특성을 반영한다. 변환계수를 특징점으로 활용하는 객체형태 조정 알고리즘을 적용해 ST-MRF 모델 기반 객체 추적방법에서 나타나는 과분할에 의한 오차전파 문제를 해결한다. 제안하는 방법의 추적성능은 정확도 86.4%, 재현율 79.8%, F-measure 81.1%로 기존방법 대비 평균 F-measure는 약 0.2% 향상하지만 기존방법에서 과분할 및 오차전파가 두드러지는 영상에 대해서는 최대 9% 정도의 성능향상을 보인다. 전체 수행시간은 프레임 당 평균 5.4ms이며 실시간 추적이 가능하다.

• 한국통신학회논문지
• /
• 제37A권9호
• /
• pp.786-791
• /
• 2012

본 논문에서는 3차원 합성영상의 화질 개선을 위하여 깊이영상의 경계를 개선하는 방법을 제안한다. 깊이영상을 부호화할 때 객체의 경계부근에서 왜곡이 발생하게 되는데, 이러한 왜곡은 합성영상의 화질을 떨어뜨리는 원인이 된다. 본 논문에서 제안하는 방법은 경계 주변만을 필터링하기 위해 에지 맵을 추출하고, 이를 이용하여 객체의 경계를 포함하는 매크로블록에만 제안하는 방법을 적용한다. 여기서 경계주변의 참조 화소의 빈도, 유사성, 거리 등 세 가지 요소를 고려하는 윈도우-기반의 경계 선명화 필터를 적용하여 중앙의 대상 화소를 최적의 화소값으로 대체한다. 제안한 방법은 다시점 비디오 부호화의 참조 소프트웨어인 JMVC 8.3에 디블록킹 필터의 후처리로 구현했다. 기존 방법들과 비교하여 평균 0.49 dB의 화질 개선과 16.58%의 비트율 감소가 있었고, 주관적으로도 개선된 부분을 확인하였다.

• 대한전자공학회논문지SP
• /
• 제45권2호
• /
• pp.37-48
• /
• 2008

일반적으로 움직임 벡터는 한 카메라에서 촬영된 영상 속에서의 객체의 움직임 정보를 나타내고, 변이 벡터는 서로 다른 카메라에서 촬영된 영상 간 객체의 위치 차이를 나타낸다. 기존의 H.264/AVC에서는 단일 시점 영상을 위한 비디오 부호화 기술이기 때문에 변이 벡터를 고려하지 않는다. 하지만, 다시점 비디오 부호화 기술은 H.264/AVC를 기반으로 하여 시점 간 예측구조를 지원하기 때문에, 다른 시점에서의 영상을 참조할 때는 움직임 벡터 대신 변이 벡터가 고려된다. 따라서, 본 논문에서는 다시점 비디오 부호화 기술을 위해 전역 변이 벡터 대체 방법과 확장된 주변 블록 예측 방법을 이용하여 개선된 움직임/변이 벡터 예측 방법을 제안한다. 제안하는 방법을 통해서 움직임 벡터 탐색 범위를 ${\pm}16$으로 설정하고, 전역 변이 벡터 탐색 범위를 ${\pm}32$으로 설정한 경우 평균 1.07%의 BD (Bjontegaard delta)-비트율 감소를 얻었으며, 전역 변이 벡터 탐색 범위를 ${\pm}64$로 설정한 경우 평균 1.32%의 BD-비트율 감소를 얻을 수가 있었다.

• 대한전자공학회논문지SP
• /
• 제39권1호
• /
• pp.17-31
• /
• 2002

멀티미디어 표준안으로 제안된 MPEG-4는 객체기반 부호화 방식으로서, 객체를 효율적으로 분할하는 것은 MPEG-4에 있어 중요한 관건이다. 지금까지 이 분야에 대한 연구는 주로 rigid object를 대상으로 하였으나, 본 논문에서는 non-rigid object, 특히 구름이나 연기와 같은 non-rigid object를 대상으로 하여 효율적인 영역 분할 방식을 연구하였다. Non-rigid object는 모양이나 크기가 일정치 않으며 시간에 따라 형태도 변형되므로 정확히 분할해내는 것은 쉽지 않다. 따라서 본 논문에서는 이를 효율적으로 극복하기 위해 정지 영상에서는 watershed 알고리즘을 사용하여 non-rigid object를 분할해 주었다. 그리고 동영상에서는 intra-frame segmentation과 inter-frame segmentation을 통해 연속되는 프레임 내 관심 있는 객체의 경계선을 자동으로 추출해 주었다. 이 때 영상 내 경계 정보와 영역 정보 각각에 가중치를 두어 원하는 객체를 보다 정확히 추출해 주었다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2000년도 추계종합학술대회 논문집(4)
• /
• pp.53-56
• /
• 2000

In progressive image coding, if object region that have main contents in image are transmitted prior to the remained region, this method will be very useful. In this paper, the progressive image coding based on SPIHT using object region transmission method by priority is proposed. First, an original image is transformed by wavelet. Median filtering is used about wavelet transformed coefficient region for extracting object region. This extracted object region encoded by SPIHT. Then encoded object region are transmitted in advance of the remained region. This method is good to a conventional progressive image coding about entire original image. Experimental results show that the proposed method can be very effectively used for image coding applications such as internet retrieval and database searching system.