• 정보처리학회논문지D
• /
• 제10D권4호
• /
• pp.671-678
• /
• 2003

디지털 비디오는 대용량의 저장 공간을 필요로 하는 시간적으로 매우 긴 데이터이다. 따라서 사용자들은 대용량의 긴 비디오를 시청하기 전에 사전에 제작된 요약된 비디오를 시청하고 싶어 한다. 특히, 스포츠 비디오 분야에서는 하이라이트 비디오를 시청하고자 한다. 결과적으로 하이라이트 비디오는 사용자들이 비디오를 시청하고자 할 경우 그 비디오가 시청할 가치가 있는지를 결정하는데 사용된다. 본 논문에서는 자막의 구조적 특징을 이용하여 축구 비디오 하이라이트를 생성하는 방법을 제시한다. 자막의 구조적 특징은 자막이 갖는 시간적 특징과 공간적 특징으로서 이러한 구조적 특징을 이용하여 자막 프레임 구간과 자막 키 프레임을 추출한다. 그리고 하이라이트 비디오는 자막 키 프레임들에 대한 장면 재설정과 논리적 색인화 및 하이라이트 생성 규칙을 이용하여 생성한다. 마지막으로, 브라우저를 통한 사용자의 항목 선택에 의하여 하이라이트 비디오와 비디오 세그먼트에 대한 검색과 브라우징을 수행할 수 있다.

• 방송공학회논문지
• /
• 제25권4호
• /
• pp.620-628
• /
• 2020

하이라이트를 자동으로 예측 하는 문제는 영상을 사람이 직접 편집하는 시간과 비용 문제를 해결하기 위해 필요한 기술이다. 본 논문에서는 하이라이트 구간 내에서 하이라이트 판단 여부에 영향을 주는 특정 부분에 집중하기 위해 앙상블 모델을 제안한다. 우리의 모델은 하나의 단일 모델만으로는 충분히 학습하기 어려운 중요한 정보를 앙상블을 통해 더 많은 유용한 특징들을 얻을 수 있다. 앙상블을 이루는 단일모델들은 오디오와 이미지 정보를 결합하여 다양한 영상의 특징들을 추출한다. 직접 수집한 e스포츠 경기 영상과 야구 경기 영상을 통해 하이라이트 예측 성능이 개선됨을 확인한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권7_8호
• /
• pp.727-743
• /
• 2003

본 논문에서는 축구 동영상에서 스포츠 중계방송의 구조적 특성을 이용하여 자동적으로 하이라이트(Highlight)를 추출하는 새로운 방법을 제안하고 실험을 통하여 그 유용성을 증명한다. 일반적으로 스포츠 중계 방송에서는 중요한 이벤트(골, 반칙)가 발생하면, 그 장면을 다시 느린 속도의 리플레이(Replay) 화면으로 보여주고, 리플레이가 시작되고 끝날 때 Wipe와 같은 점진적인 화면 전환 기법을 사용하는 구조적 특성을 가지고 있다. 본 논문에서는 이러한 스포츠 중계방송의 구조적 특징을 이용하여 축구동 상의 중요한 이벤트만을 추출하여 하이라이트를 생성하는 방법을 제안한다. 이를 위해 본 논문에서는 비디오의 슬라이스 이미지(Slice Image)를 이용하여 Wipe효과 장면과 줌인/아웃 장면을 검출하고, 검출된 Wipe 효과 지점을 기준으로 하여 리플레이 장면을 검출한다. 이때 이런 기본 알고리즘에 새로이 Sub-Sampling방법과 Two-Pass 방법을 더하여 보다 빠르고 정확한 Wipe검출을 하였고, 비디오의 모션 정보 및 Wipe지점의 시간간격을 이용하여 보다 정화한 리플레이 장면을 검출하였으며, 샷의 녹색영역 비율을 측정하여 보다 정화한 줌인/아웃 장면을 검출하였다. 이렇게 최종적으로 검출된 리플레이 장면과 줌인/아웃 장면을 토대로 이벤트 샷(Shot)과 선수 샷으로 구성된 하이라이트 장면을 추출하게 된다. 이러한 방법은 자동적으로 축구 중계방송을 요약해줌으로써 축구와 관련된 웹서비스나 방송용 하이라이트 제작에 유용하게 사용될 수 있을 것이다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 춘계학술대회
• /
• pp.235-237
• /
• 2022

영상 콘텐츠는, 길이에 따라 롱폼 영상 콘텐츠와 숏폼 영상 콘텐츠로 구분된다. 롱폼 영상 콘텐츠는 15분 이상 길이로 생성되며, 편집 없이 촬영 영상의 모든 프레임들이 포함되도록 한다. 숏폼 영상 콘텐츠는 1분이상 15분 이내로, 촬영 영상의 프레임들로부터 일부 프레임만 짧은 길이로 편집할 수 있다. 최근 1인 방송 시장의 성장으로 인하여, 시청자들을 늘리기 위한 숏폼 영상 콘텐츠에 대한 수요가 확대되고 있다. 따라서, 숏폼 영상 콘텐츠를 편집하여 생성하는 콘텐츠 편집 기술에 대한 연구가 필요하다. 본 연구는 영상, 음성, 동작을 포착하여 주요 장면의 숏폼 동영상을 생성하는 기술을 연구한다. 주요 장면의 숏폼 동영상은 머신 러닝을 통해 미리 학습된 하이라이트 추출 모델을 이용한다. 하이라이트 영상을 자동으로 생성하는 영상 자동 편집 시스템 및 방법은 숏폼 영상 콘텐츠의 핵심 기술이다. 머신러닝 기반의 영상 자동 편집 방법 및 시스템 연구는 1인 크리에이터들의 영상 편집에 투입되는 노력과 비용시간을 감소시켜, 경쟁력있는 콘텐츠 활동을 할 수 있도록 기여할 것이다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (2)
• /
• pp.196-198
• /
• 2002

본 논문에서는 축구 동영상에서 스포츠 중계방송의 특성을 이용하여 자동적으로 하이라이트(Highlight)를 추출하는 새로운 방법을 제안하고 실험을 통하여 그 유용성을 증명한다. 일반적으로 스포츠 중계 방송에서는 중요한 이벤트(골, 반칙)가 발생하면 그 장면 을 다시 느린속도의 리플레이(Replay) 화면으로 보여주고, 리플레이가 시작되고 끝날 때 Wipe와 같은 점진적인 화면 전환 기법을 사용하는 특성을 가지고 있다. 본 논문에서는 이러한 스포츠 중계방송의 특징을 이용하여 Wipe검출, Replay검출 및 Zoom-In/Out 전환 검출을 이용하여 전체 축구 동영상에서 하이라이트만을 추출하는 방법을 제안한다.

• 방송공학회논문지
• /
• 제24권4호
• /
• pp.553-563
• /
• 2019

최근 개인방송 플랫폼을 통해 업로드 되는 콘텐츠가 증가함에 따라 시청자의 편의를 위해 하이라이트 영상을 제공하는 서비스에 대한 수요가 증가하고 있다. 이에 본 논문에서는 영상의 하이라이트 위치를 자동으로 예측하는 모델을 제안한다. 제안하는 모델은 채팅과 오디오 정보를 이용하며 양방향 LSTM을 사용해 영상의 흐름을 이해한다. 또한 콘텐츠의 종류에 따라 단기적 흐름과 함께 중장기적 흐름을 파악하는 다중 시구간 모델도 함께 제안한다. 제안한 모델은 개인방송 플랫폼을 통해 중계된 e스포츠와 야구경기 영상들을 이용하여 평가하였으며, 다중 시구간 정보를 활용하는 것이 하이라이트 예측에 유용함을 보였다.

• ETRI Journal
• /
• 제31권1호
• /
• pp.10-20
• /
• 2009

In this paper, a video broadcasting system between a home-server-type device and a mobile device is proposed. The home-server-type device can automatically extract semantic information from video contents, such as news, a soccer match, and a baseball game. The indexing results are utilized to convert the original video contents to a digested or arranged format. From the mobile device, a user can make recording requests to the home-server-type devices and can then watch and navigate recorded video contents in a digested form. The novelty of this study is the actual implementation of the proposed system by combining the actual IT environment that is available with indexing algorithms. The implementation of the system is demonstrated along with experimental results of the automatic video indexing algorithms. The overall performance of the developed system is compared with existing state-of-the-art personal video recording products.

• 한국음향학회지
• /
• 제28권2호
• /
• pp.112-118
• /
• 2009

본 논문은 모바일 단말기, Digital Video Recorder (DVR) 등에 적용할 수 있는 뮤직비디오 브라우징 시스템을 위한 실시간 중요 구간 검출 알고리즘을 제안한다. 입력된 뮤직비디오는 음악 신호와 영상 신호로 분리되어 음악 신호에서는 에너지기반의 음악 특징값 최고점기반의 구조분석을 통해 음악의 후렴 구간을 포함하는 음악 하이라이트 구간을 검출하고, SVM AdaBoost 학습방식에서 생성된 모델을 이용해 음악신호를 분위기별로 자동 분류한다. 음악신호로부터 검출된 음악 하이라이트 구간과 영상신호로부터 검출된 가수, 주인공의 얼굴이 나오는 영상장면을 결합하여 최종적으로 중요구간이 결정된다. 제안된 방식을 통해 사용자는 모바일 단말기나 DVR에 저장되어 있는 다양한 뮤직비디오들을 분위기별로 선택한 후에 뮤직비디오의 30초 내외의 중요구간을 빠르게 브라우징하여 자신이 원하는 뮤직비디오를 선택할 수 있게 된다. 제안된 알고리즘의 성능을 측정하기 위해 200개의 뮤직비디오를 정해진 수동 뮤직비디오 구간과 비교하여 MOS 테스트를 실행한 결과 제안된 방식에서 검출된 중요 구간이 수동으로 정해진 구간보다 사용자 만족도 측면에서 우수한 결과를 나타내었다.

• 방송공학회논문지
• /
• 제5권1호
• /
• pp.82-93
• /
• 2000

최근 디지털 비디오 데이터가 급격히 증가하고 대중화됨에 따라 이를 활용하기 위한 효율적인 접근 기법이 절실히 요구되고 있다. 비디오 요약(video summarization) 기법은 의미적으로 중요한 요점만으로 전체 비디오를 표현하는 것으로 비디오 내용에 대한 전반적인 개관(overview)을 제공할 뿐만 아니라 브라우징(browsing) 등의 유용한 접근 기능을 제공한다. 본 논문에서는 의미적으로 중요한 내용을 포함하는 비디오 주요구간(highlight segment) 검출을 통한 새로운 동적 요약(dynamic summarization) 기법과 생성된 요약 정보 표현을 위하여 MPEG-7에 제안한 요약 기술구조(DS : Description Scheme)에 대하여 기술한다. 본 논문의 기술구조는 다중 계층의 하이라이트(highlight), 계층적 브라우징, 사용자 주문형 요약 등의 기능을 통하여 비디오의 개관 및 효율적인 브라우징, 네비게이션(navigation)을 가능하게 한다. 또한, 제안하는 비디오 요약 기법 및 요약 기술구조의 실현 가능성 및 기능 구현을 확인하기 위하여 축구 비디오에 대한 적용 실례를 제시한다.

• 방송공학회논문지
• /
• 제25권2호
• /
• pp.143-150
• /
• 2020

최근 다양한 매체를 통해 폭발적인 양의 콘텐츠가 업로드 되고 있으며 그 가운데 게임과 스포츠 영상은 상당한 비율을 차지한다. 방송사에서는 시청자 편의를 위해 경기 영상 중 흥미를 끄는 장면을 모아 하이라이트 영상을 만들어 제공한다. 그러나 이는 시간과 비용이 많이 소요되는 문제가 있다. 본 논문에서는 게임과 스포츠 경기에서 자동으로 하이라이트를 예측하는 모델을 제안한다. 기존의 방법들이 이미지 정보만을 주로 이용하는데 반해 우리는 오디오와 이미지 정보를 함께 사용하며, 영상의 단기적 전후관계와 중장기적 흐름을 동시에 파악하는 방법을 제시한다. 또한 더 좋은 특징벡터를 찾아내기 위해 GAN을 결합한 모델을 설명한다. 제안하는 모델들은 e스포츠 경기 영상과 야구 경기 영상을 이용하여 평가한다.