• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2010년도 추계학술발표대회
• /
• pp.716-719
• /
• 2010

비디오 클립은 최근 온라인 상에서 흔히 볼 수 있는 짧은 동영상으로 이러한 동영상 클립의 대규모 유입으로 유사한 비디오 클립을 검색하는 동영상 검색 엔진의 필요성이 크게 증가하였다. BCS은 최초의 단일 비디오 클립 표현 모델로 비디오 클립을 주성분 분석을 통해 얻어진 좌표축들을 그 위로 사상된 데이터들로 제한한 것들로 이루어진 좌표계로 요약한다. 그러나 BCS 은 영상의 순서를 무시한 벡터로 표현되므로 세밀한 유사도 구별이 불가능하다. 본 논문에서는 유사한 동영상에 대한 사람의 판단은 서로 유사한 일부분이 많이 존재하는 것을 기반으로 하는 점에 착안하여 하나의 동영상 클립을 샷 단위로 나누어 여러 개의 BCS 으로 나타낸 다음, 이들간의 유사도 측정을 통해 검색의 성능을 높이고자 하였다. 실험 결과 만족할 만한 정확도로 유사한 동영상 클립을 검색해 내는 것을 확인할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1236-1238
• /
• 2022

JVET 은 최신 비디오 부호화 표준인 VVC(Versatile Video Coding) 표준화를 완료한 후, VVC 보다 더 높은 압축 성능을 가지는 새로운 표준기술 탐색을 진행하고 있으며, 이를 위하여 참조 소프트웨어 ECM(Enhanced Compression Model)을 개발하고 있다. 현재 ECM4.0 에는 다양한 후보 구성 및 예측 성능 개선 기법을 추가하여 기존 VVC 의 GPM(Geometric Partitioning Mode)을 확장한 GPM-MMVD(GPM with merge MV differences), GPM-TM(GPM with template matching) 등을 채택하고 있다. 본 논문에서는 ECM 에 채택된 확장된 GPM 기술들의 각 기술 별 선택 빈도를 분석하고 이를 바탕으로 보다 효율적인 GPM 확장 모드 시그널링 방식을 제안한다. 또한 후보 탐색 알고리즘을 간소화한 복잡도 감소 기법을 제시한다. 실험결과 제안하는 시그널링 기법은 ECM4.0 대비 Y와 Cb, Cr 에서 각각 0.02%, 0.16%, 0.09% BD-rate 부호화 성능 향상을 보였고 GPM 인덱스 탐색 간소화 기법은 ECM4.0 대비 Y 와 Cr 에서 각각 0.02%, 0.18% BD-rate 부호화 성능 향상을 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1239-1240
• /
• 2022

JVET 은 VVC(Versatile Video Coding) 표준화 완료 이후 보다 높은 압축 성능을 갖는 차세대 비디오 코덱의 표준 기술을 탐색하고 있으며 ECM(Enhanced Compression Model) 참조 소프트웨어를 통해 제안된 알고리즘의 성능을 검증하고 있다. 현재 ECM 에서는 정해진 순서에 의해 병합(Merge) 후보를 구성하고 템플릿 매칭(template matching)을 통하여 후보들의 순서를 재배열하는 ARMC(Adaptive Reordering of Merge Candidate) 기법을 채택하고 있다. 본 논문은 ARMC 의 병합 후보의 선택 빈도 분석을 바탕으로 정규 병합(regular merge) 후보 수를 확장하여 구성하고, 실제 탐색에 사용되는 최종 후보의 수를 제한하는 효율적인 ARMC 후보 구성 기법을 제안한다. 실험결과 ECM 4.0 대비 Cb 와 Cr 에서 0.12%, 0.19% 비디오 부호화 성능을 확인하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제29권1_2호
• /
• pp.98-113
• /
• 2002

본 논문에서는 블록 정합 알고리즘(BMA: block matching algorithm)인 다단계 연속 제거 알고리즘(MSEA: multi-level successive elimination algorithm)[1]의 연산량을 줄이기 위하여 네 가지 방안을 제안하였다. 첫 번째 제안 방안은 MSEA에서 서브 블록(sub block)의 합 놈(sum norm)에 대한 절대 오차의 합(SAD: sum of absolute difference)을 계산할 때 부분 왜곡 제거(PDE: partial distortion elimination) 기법을 적용하여 연산량을 감소시킨 알고리즘이다. 두 번째 제안 방안인 적응 SAD 계산 알고리즘은 SAD 계산 시 절대 오차가 큰 값에서부터 작은 값의 순으로 SAD를 계산하면 PDE가 빨리 발생하게 되어 연산량을 줄일 수 있는 성질을 이용한 알고리즘이다. 세 번째 제안 방안인 제거 레벨 추정 알고리즘은 탐색점의 제거 레벨을 추정하고 추정된 레벨에서부터 상위 레벨로 다단계 연속 제거 과정을 수행함으로 추정된 제거레벨보다 낮은 레벨들과 연관된 연산량을 감소시킨 알고리즘이다. 제안된 첫 번째, 두 번째, 세 번째 방안은 움직임 추정의 정확도가 전역 탐색 알고리즘(FSA: full search algorithm) 및 MSEA와 동일하면서 MSEA의 연산량을 효과적으로 감소시킨 알고리즘들이다. 네 번째 제안 방안인 나선형 다이아몬드 그물 탐색 알고리즘은 움직임 추정의 정확도가 거의 100%이면서 움직임 추정에 필요한 연산량을 획기적으로 감소시킨 고속 블록 정합 알고리즘이다. 위의 네 가지 제안 방안에 대한 성능을 평가하기 위하여 실험을 수행하였으며 실험에서 제안 방안들의 효율성을 확인하였다.

• 디지털융복합연구
• /
• 제10권10호
• /
• pp.283-288
• /
• 2012

현재 전 세계적으로 미래 수익 사업의 일환으로 각광받고 있는 분야 중 하나는 3D이다. 3D는 현실세계와 가상현실 세계의 차원을 함께 공존시켜주며 형태 및 질감 등을 느낄 수 있게 해주어 기존의 평면적인 2D에서 입체적인 3D로 변화하고 공존의 시대적 현실을 잘 보여주고 있기 때문이다. 3D에 대한 사람들의 관심은 3D아바타를 바탕으로 하는 영화를 통하여 확산되었다. 또한 현재 대기업들의 3D TV 시장으로의 시장 변화 역시 3D시장의 개척에서 도약의 시대로 한층 더 업그레이드 시키게 되었다. 또한 이와 동시에 세계의 현대인이라면 필수품이 되어가고 있는 스마트폰의 열풍 또한 새로운 핸드폰 시장과 IT 시장의 혁신을 이루었으며. 스마트 폰은 작은 컴퓨터라 불릴 정도로, 그 파급속도와 여파는 전화, 인터넷의 혁신만큼 많은 이슈를 남기고 있다. 스마트폰은 말 그대로 똑똑한 폰으로 여러 가지 기능을 할 수 있는 핸드폰이다. 현재 iPhone, Android. Windows Phone외에 다수의 스마트폰이 출시되어 있다. 위의 전체적인 향후의 전망과 비즈니스 서비스 모델을 위하여 스마트폰에 가상의 3D캐릭터를 카메라로 입력받아 3D 표정아바타를 사람의 얼굴에 합성할 수 있고 카메라로 사용자의 감성 표정을 인식하여 합성된 아바타를 실시간 다른 휴대전화 사용자에게 정합, 전송, 통신 할 수 있는 실시간 감성융합 영상통신 서비스 어플리케이션의 개발하고자 한다.

• 대한전자공학회논문지SP
• /
• 제47권6호
• /
• pp.117-126
• /
• 2010

빛은 촬영된 영상의 화질을 결정하는 중요 요소이다. 역광의 환경이나 빛을 정면으로 받는 환경에서 촬영된 영상의 경우, 빛의 조절이 어려워 특정 영역의 밝기만 왜곡될 수 있다. 이와 같은 경우 전체적인 보정으로는 영상의 질 향상이 어려우므로, 특정 영역의 밝기를 중점적으로 보정하는 기법이 필요하다. 제안 기법은 사용자의 입력을 이용하여 첫 프레임에서 밝기를 보정할 관심 영역을 선택하고 이를 중점적으로 보정하기 위한 밝기 대응 함수를 구한다. 대응 함수를 가중치에 따라 적용하고 이웃 픽셀과의 관계를 고려하는 에너지 함수를 정의하여 첫 프레임을 보정한다. 그리고 첫 프레임의 보정 결과를 이용하여 다음 프레임들을 순차적으로 보정한다. 각 픽셀의 밝기 변화량은 프레임간의 움직임 추정을 통해 다음 프레임의 대응 픽셀로 전달한다. 이때, 움직임 벡터의 신뢰도에 기반하여 밝기 변화량의 신뢰도를 정의하고, 이를 이용하여 이웃 픽셀과의 관계를 고려하는 밝기 보정을 위한 에너지 함수를 정의한다. 모의 실험 결과에서 볼 수 있듯이 제안 기법은 정의한 에너지를 최소화함으로써 기존 기법에 비해 자연스러운 역광 보정의 결과를 도출한다.

• 방송공학회논문지
• /
• 제16권2호
• /
• pp.274-292
• /
• 2011

본 논문에서는 실제 영상과는 다른 특성을 지니는 깊이정보 맵의 효율적인 부호화 방법을 제안한다. 깊이정보 맵은 객체 내부 혹은 배경 부분에서 상당히 완만한 특성을 지니지만, 객체 경계 부분에서는 아주 날카로운 에지 성분이 존재한다는 특징이 있다. 그리고 깊이정보 맵을 비트평면 단위로 분리하였을 때, 비트평면 간 완전일치/반전일치되는 특성이 객체 경계 부분에서 자주 발생한다는 특징이 있다. 그래서 본 논문에서는 객체 경계 부분에서 비트평면의 이진 영상간 일치여부를 적절하게 이용하기 위하여 깊이정보 맵을 비트평면 단위로 분리하여 비트평면 간 적응적 XOR 연산을 이용한 블록 기반 비트평면 부호화 방법을 제안한다. 또한 비트평면 단위 영상 부호화 방법과 DCT 기반 동영상 압축 방법(H.264/AVC)의 장점을 적절하게 이용하기 위하여 블록 단위 비트평면 부호화 방법과 기존의 블록 단위 동영상 부호화 방법을 적응적으로 선택하여 부호화하였다. 실험 결과 제안하는 방법이 H.264/AVC보다 BD-PSNR이 0.9 dB ~ 1.5 dB 향상되었고 BD-rate가 11.8 % ~ 20.8 % 감소되었다. 또한 제안하는 방법이 블록 기반 적응적 깊이정보 맵 부호화 방법보다 BD-PSNR이 0.5 dB ~ 0.8 dB 향상되었고 BD-rate가 7.7 % ~ 12.2 % 감소되어 제안하는 방법의 우수함을 확인할 수 있었다. 또한 복원된 깊이정보 맵을 이용하여 생성된 가상 영상 간의 비교에서 제안하는 방법이 DCT 기반 동영상 압축 방법보다 주관적 화질이 향상된 것을 확인할 수 있었으며, 블록 기반 적응적 깊이정보 맵 부호화 방법과 비교하여 주관적 화질이 비슷하다는 것을 확인 할 수 있었다.

• 대한전자공학회논문지SP
• /
• 제46권5호
• /
• pp.56-65
• /
• 2009

스테레오 영상은 단일 영상과는 달리 오른쪽과 왼쪽, 2개의 영상으로 구성되어 있기 때문에 단일 영상에 비하여 더욱 많은 데이터량을 가지게 된다. 따라서 이를 효율적으로 처리하기 위한 영상 압축 기술이 필요하게 되었고, 이를 위해 DPCM기반의 예측 부호화 압축 기술을 대부분의 비디오 압축 표준에서 사용한다. 예측 부호화 기술의 구현을 위해 움직임 추정 및 변이 추정이 필요한데 이를 수행하는 알고리즘으로 여러 가지 비디오 코딩 표준들에서 블록 정합 알고리즘을 사용한다. 블록 정합 알고리즘 중 완전탐색 알고리즘은 기준 블록을 탐색영역 안에 존재하는 모든 블록과 비교하여 최적의 블록을 찾아낸다. 이 알고리즘은 최적의 블록을 찾을 수 있어 효율은 좋으나 많은 연산량이 단점이 된다. 본 논문에서는 스테레오 영상에서 움직임 벡터 정보와 전 프레임의 변이벡터 정보를 이용하여 고속으로 현재 프레임의 변이 벡터를 추정할 수 있는 방안을 제시한다. 변이 벡터 추정시 전역 변이 벡터를 사용하여 탐색 영역을 줄이고, 전 프레임들 사이에서 구한 변이 벡터 정보를 재사용하면서 움직임 벡터 정보를 이용하여 탐색 위치를 제한함으로 연산량을 줄여 고속의 변이 벡터 추정을 가능하게 하였다. 실험결과 제안 알고리즘은 움직임이 많은 복잡 영상 보다는 움직임이 적은 단순 영상에서의 성능이 훨씬 뛰어났으며, 움직임이 적은 단순 영상에서의 변이 벡터 추정 시에 약간의 residual 증가는 있지만 빠른 처리 속도를 제공하여 고속의 변이 벡터 추정을 가능하게 함을 확인하였다.

• 전기전자학회논문지
• /
• 제24권2호
• /
• pp.529-535
• /
• 2020

4차 산업의 주요 기술로 실감형 360도 영상 콘텐츠가 주목받고 있다. 전 세계 실감형 360도 영상 콘텐츠의 시장 규모는 2018년 67억 달러에서 2020년 약 700억 달러까지 증가될 것이라고 전망하고 있다. 하지만 대부분 실감형 360도 영상 콘텐츠가 웹하드, 토렌트 등의 불법 유통망을 통해 유통되고 있어 불법복제로 인한 피해가 증가하고 있다. 이러한 불법 유통을 막기 위하여 기존 2D 영상은 불법저작물 필터링 기술을 사용하고 있다. 그러나 초고화질을 지원하고 두 대 이상의 카메라를 통해 촬영된 영상을 하나의 영상에 담는 실감형 360도 영상 콘텐츠의 특징 때문에 왜곡 영역이 존재하여 기존 2D 영상에 적용된 기술을 그대로 사용하기엔 다소 무리가 있다. 또한, 초고화질에 따른 특징점 데이터량 증가와 이에 따른 처리 속도 문제와 같은 기술적 한계가 존재한다. 본 논문에서는 이러한 문제를 해결하기 위하여 왜곡이 심한 영역을 제외한 객체 식별 영역을 선정하고, 식별 영역에서 딥 러닝 기술을 이용하여 객체를 인식하고 인식된 객체의 정보를 이용하여 특징 벡터를 추출하는 특징점 추출 및 식별 방법을 제안한다. 제안한 방법은 기존에 제안 되었던 스티칭 영역을 이용한 실감형 콘텐츠 특징점 추출방법과 비교하여 성능의 우수성을 보였다.

• 디지털융복합연구
• /
• 제15권11호
• /
• pp.441-446
• /
• 2017

이 논문은 본문에서 밝혔듯이, 상이한 미디어조합의 경계에 대한 길항(拮抗)의 문제를 다룬 것이 아니다. 상이한 미디어의 상호관계를 통해 생성된 새로운 미디어의 대한 역량과 강도를 분석하거나 양질의 새로운 미디어의 생성하기 위해 미디어들의 상호매체성관계를 연구하는 것이다. 디지털 기술의 발달을 통해 영화, 애니메이션과 같은 회화, 영상미디어들의 상호매체성 관계는 활발해졌다. 그리고 이 논문에서 살펴보았듯이 '회화(繪畵)와 영화', '영화, 애니메이션, 게임'의 혼합은 서로 경계를 허물고 상호 간 필연적 관계를 이루고 있었다. 이에 따라 이 논문에서는 이러한 미디어의 존재 이동과 상호관계를 들뢰즈(Deleuze)의 이론과 라예브스키(Rajewsky)의 상호매체성관계를 통해 살펴보았다. 들뢰즈의 이론은 존재의 관계로 미디어의 변이관계를 분석할 수 있었고, 미디어의 상호매체성관계는 라예브스키의 세 가지 분류의 틀의 '매체조합, 매체변환, 상호매체적관계'로 조합에서 변환, 그리고 변환되는 미디어의 과정을 살펴보았다.