• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.11a
• /
• pp.865-868
• /
• 2017

일반적으로 비디오로부터 캡션을 생성하는 작업은 입력 비디오로부터 특징을 추출해내는 과정과 추출한 특징을 이용하여 캡션을 생성해내는 과정을 포함한다. 본 논문에서는 효과적인 비디오 캡션 생성을 위한 심층 신경망 모델과 그 학습 방법을 소개한다. 본 논문에서는 입력 비디오를 표현하는 시각 특징 외에, 비디오를 효과적으로 표현하는 동적 의미 특징과 정적 의미 특징을 입력 특징으로 이용한다. 본 논문에서 입력 비디오의 시각 특징들은 C3D, ResNet과 같은 합성곱 신경망을 이용하여 추출하지만, 의미 특징은 본 논문에서 제안하는 의미 특징 추출 네트워크를 활용하여 추출한다. 그리고 이러한 특징들을 기반으로 비디오 캡션을 효과적으로 생성하기 위하여 선택적 주의집중 캡션 생성 네트워크를 제안한다. Youtube 동영상으로부터 수집된 MSVD 데이터 집합을 이용한 다양한 실험을 통해, 본 논문에서 제안한 모델의 성능과 효과를 확인할 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2008.11a
• /
• pp.113-116
• /
• 2008

본 논문에서는 다시점 비디오(multi-view video)에서 보다 다양한 시점을 제공하기 위한 가상 시점 비디오 생성 기법을 제안한다. 제안하는 가상 시점 비디오 생성 기법은 우선적으로 대칭적 신뢰 전파 기법(symmetric belief propagation)을 기반으로, 각 시점의 깊이 정보 및 폐색 영역(occlusion region)을 추출하기 위해서 에너지를 최소화한다. 추출된 깊이 정보 및 에너지를 이용하여 참조하는 시점 간의 가중치를 적용하여, 새로운 가상 시점의 비디오를 생성하고, 추출된 폐색 영역의 값을 이용하여, 가상 시점의 비디오를 보정하는 가상 시점 비디오 생성 기법을 제안한다. 또한 제안하는 알고리즘을 한정된 중간 시점 영상에서 임의의 가상 시점으로 확장하여, 임의의 두 시점 간의 자유로운 시점(free-view point)을 제공함을 확인한다. 실험을 통하여 제안하는 기법이 다시점 비디오에서 높은 화질의 가상 시점 비디오를 제공함을 확인한다.

• The KIPS Transactions:PartB
• /
• v.8B no.4
• /
• pp.411-418
• /
• 2001

비디오 하이라이트(highlights)는 원래의 비디오 보다 짧고 많은 양의 의미를 갖는다. 기존의 파노라마 형태의 추상화 기법은 여러 프레임을 하나의 프레임으로 모자이크하는 형태이었고, TV 드라마 하이라이트 방법은 카메라의 이동이나 특수효과에 의존하기 때문에 스포츠 비디오에 적용은 부적합하다. 이 논문에서는 축구 비디오를 대상으로 시각정보와 자막을 이용하는 새로운 비디오 하이라이트 생성 방법과 이벤트 기반 비디오 인덱싱 방법을 제안한다. 하이라이트 생성은 하이라이트 생성 규칙에 따라 자막에 의해 추출된 TIT을 중심으로 시각정보에 의해 추출된 샷을 합성하여 생성하였고, 인덱싱은 자막으로 추출된 샷은 주요소로, 시각정보에 의해 추출된 샷은 부가적 요소로 구성하였다. 실험에서는 샷 추출기법 중 대표적인 컬러히스토그램과 $\chi$$^2$히스토그램과의 성능을 비교하여 제안한 하이라이트 기법이 다른 방식보다 우수함을 증명하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10c
• /
• pp.520-522
• /
• 2001

본 논문에서 제시하는 시스템은 MPEG-4로 부호화된 비디오/오디오에 대해서 MPEG-4 파일 포맷에 맞는 MPEG-4 파일 생성 포맷터이다. 본 논문에서 설계하고 구현된 파일 포맷터는 전처리 부분, 부호화기 파일 포맷터로 구성된 저작도구의 모듈로서 존재한다. 따라서 본 논문에서는 저작도구에서 사용될 MPEG-4 파일 포맷터의 구조 및 기능에 대해서 선명하고, 포맷터의 세부 설계 사항을 기술한다. 본 논문에서 MPEG-4 파일 포맷터의 기능은 비디오/오디오 인코더로부터 출력되는 비디오/오디오 데이터를 MPEG-4 파일 포맷의 형식에 맞는 MPEG-4 파일을 생성하는 것이다. 생성된 파일은 비디오/오디오 각각에 대한 정보와 생성된 비디오/오디오를 처리할 디코더에 대한 정보를 제공한다. 표준 상의 MPEG-4 시스템에서의 동기화 정보를 파일 포맷상의 비디오/오디오 데이터에 제공하여 , 스트리밍 서비스을 제공하는 서버쪽에서의 동기화 과정과 먹싱을 배제할 수 있게 한다. 비디오/오디오 인코더로부터 생성되는 다양만 종류의 비디오/오디오 데이터를 효율적으로 포맷팅하여 다양한 범위의 응용에서 사용될 수 있게 하며, 차기에 계위화 부호화를 효율적으로 적용시키기 위해 파일 포맷팅을 수행하게 된다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2001.11a
• /
• pp.245-248
• /
• 2001

비디오 데이터에서 캡션은 비디오의 중요한 부분과 내용을 나타내는 가장 보편적이 방법이다. 본 논문에서는 축구 비디오에서 캡션이 갖는 특징을 분석하고 캡션에 의한 키 프레임을 추출하도록 하며, 비디오 요약 생성 규칙에 따라 요약된 비디오를 생성하도록 한다. 키 프레임 추출은 이벤트 발생에 따른 캡션의 등장과 캡션 내용의 변화를 추출하는 것으로 탬플리트 매칭과 지역적 차영상을 통하여 추출하며 샷의 재설정 통하여 중요한 이벤트를 포함한 요약된 비디오를 생성하도록 한다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2002.11b
• /
• pp.77-80
• /
• 2002

비디오 데이터에서 캡션은 비디오의 중요한 부분과 내용을 나타내는 가장 보편적인 방법이다. 본 논문에서는 축구 비디오에서 캡션이 갖는 특징을 분석하고 캡션에 의한 키 프레임을 추출하도록 하며, 비디오 요약 생성 규칙에 따라 요약된 비디오를 생성하도록 한다. 키 프레임 추출은 이벤트 발생에 따른 캡션의 등장과 캡션 내용의 변화를 추출하는 것으로 탬플리트 매칭과 지역적 차영상을 통하여 추출하며 샷의 재설정 통하여 중요한 이벤트를 포함한 요약된 비디오를 생성하도록 한다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2002.11a
• /
• pp.579-582
• /
• 2002

비디오 데이터에서 캡션은 비디오의 중요한 부분과 내용을 나타내는 가장 보편적인 방법이다. 본 논문에서는 축구 비디오에서 캡션이 갖는 특징을 분석하고 캡션에 의한 키 프레임을 추출하도록 하며, 비디오 요약 생성 규칙에 따라 요약된 비디오를 생성하도록 한다. 키 프레임 추출은 이벤트 발생에 따른 캡션의 등장과 캡션 내용의 변화를 추출하는 것으로 탬플리트 매칭과 지역적 차영상을 통하여 추출하며 샷의 재설정 통하여 중요한 이벤트를 포함한 요약된 비디오를 생성하도록 한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.212-214
• /
• 2020

본 논문에서는 비디오의 피처레벨 분석을 통해 비디오의 장면 구성 특징을 파악하고, 그에 적응적으로 대표 프레임을 선택하는 방법을 제안한다. 제안된 방법으로 생성된 캡셔닝 피처는 비디오를 잘 요약하고, 이를 통해 효과적인 캡셔닝을 수행할 수 있다. 기존 비디오 캡셔닝 연구에서는 비디오의 장면 구성을 고려하지 않고 단순 등간격으로 프레임 추출을 통하여 비디오 캡셔닝을 수행하였다. 이는 다양한 장면의 모임으로 이루어진 비디오의 특성을 고려하지 않은 방법으로, 경우에 따라 주요 장면을 놓치거나, 불필요하게 중복된 프레임을 선택하는 문제가 발생한다. 본 논문에서는 비디오의 피처레벨 분석을 통해 비디오의 구성 특징을 파악하고, 이를 고려해 적응적으로 주요 프레임을 추출하여 이와 같은 문제를 해결하여 비디오 캡셔닝 에서의 성능향상을 보인다. 제안 알고리즘을 이용하여 생성된 피처는 비디오를 잘 요약하여 비디오 캡셔닝 수행 시, MSVD 데이터 셋에서 4 개의 평가지표에 대해 약 0.78%의 성능향상을 보였고, MSR-VTT 데이터 셋에서 약 0.6%의 성능향상을 보였다.

• Journal of the Korea Computer Graphics Society
• /
• v.12 no.3
• /
• pp.27-33
• /
• 2006

뮤직 비디오란 주어진 음악과 비디오가 동기화 된 형태의 창작물을 뜻한다. 기존의 뮤직비디오 제작방식에서는 만들어진 음악을 위해 영상 촬영에 전문적인 촬영 기술을 요구하였다. 본 논문에선 보다 쉬운 뮤직비디오 생성을 위하여 비디오와 음악의 특성을 분석하여 자동적인 뮤직비디오 생성시스템을 소개한다. 두 개체의 연속성을 보장하는 비교를 위해 우리는 각각의 객체의 흐름을 분석하고, 흐름의 유사성을 기준으로 분할하는 기법을 제시한다. 분할된 영상과 음악의 특성 비교를 통한 최적화된 매칭기법을 비롯하여, 보다 다양한 조각 생성을 위한 다중 레벨(multi-level)분할 기반의 매칭 기법을 소개한다. 본 논문의 기술을 사용하여, 일반인이 홈비디오 등을 사용하여 손쉽게 뮤직 비디오를 제작할 수 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.06a
• /
• pp.94-96
• /
• 2006

뮤직 비디오란 주어진 음악과 비디오가 동기화 된 형태의 창작물을 뜻한다. 기존의 뮤직비디오 제작방식에서는 만들어진 음악을 위해 영상 촬영에 전문적인 촬영 기술을 요구하였다. 본 논문에선 보다 쉬운 뮤직비디오 생성을 위하여 비디오와 음악의 특성을 분석하여 자동적인 뮤직비디오 생성시스템을 소개한다. 두 개체의 연속성을 보장하는 비교를 위해 우리는 각각의 객체의 흐름을 분석하고, 흐름의 유사성을 기준으로 분할하는 기법을 제시한다. 분할된 영상과 음악의 특성 비교를 통한 최적화된 매칭기법 을 비롯하여 보다 다양한 조각 생성을 위한 다중 레벨(multi-level)분할 기반의 매칭 기법을 소개한다. 본 논문의 기술을 사용하여, 일반인이 홈비디오 등을 사용하여 손쉽게 뮤직비디오를 제작할 수 있다.