• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.372-376
• /
• 2023

본 연구에서는 비디오 하이라이트 검출 및 장면 추출을 위한 경량화된 모델인 Visual Context Learner (VCL)을 제안한다. 기존 연구에서는 매개변수가 고정된 CLIP을 비롯한 여러 피쳐 추출기에 학습 가능한 DETR과 같은 트랜스포머를 이어붙여서 학습을 한다. 하지만 본 연구는 경량화된 구조로 하이라이트 검출 성능을 개선시킬 수 있음을 보인다. 그리고 해당 형태로 장면 추출도 가능함을 보이며 장면 추출의 추가 연구 가능성을 시사한다. VCL은 매개변수가 고정된 CLIP에 학습가능한 프롬프트와 MLP로 하이라이트 검출과 장면 추출을 진행한다. 총 2,141개의 학습가능한 매개변수를 사용하여 하이라이트 검출의 HIT@1(>=Very Good) 성능을 기존 CLIP보다 2.71% 개선된 성능과 최소한의 장면 추출 성능을 보인다.

• 정보처리학회논문지B
• /
• 제14B권1호
• /
• pp.1-4
• /
• 2007

본 논문에서는 축구 동영상으로부터 자동적으로 하이라이트 장면들을 검출하는 방법을 제안한다. 축구 동영상에서 하이라이트 장면들은 슈팅 장면들이나 골 장면들로 정의 될 수 있다. 우리는 축구 동영상에 대한 구조적 분석을 통해서 일반적으로 골 포스트(goal posts) 영역 주위에서 하이라이트 장면들이 나타나는 것과 하이라이트 장면 이후에는 TV 카메라가 축구 선수들이나 관중석을 확대해서 보여주는 것을 확인할 수 있었다. 본 논문에서 축구 동영상으로부터 하이라이트 장면들을 검출하기 위한 과정은 세 단계로 구성된다. 첫 번째 단계는 통계적인 문턱치(statistical threshold)를 이용한 그라운드(playing field) 영역을 추출한다. 두 번째 단계는 골 포스트를 찾기 위해서 그라운드 영역과 그라운드가 아닌 영역들의 경계선 부분을 검출한다. 그리고 마지막 단계에서는 축구 선수나 관객들의 확대 장면을 검출하기 위해서 그라운드가 아닌 영역들에 대해서 connected component labeling 기법을 적용하여 한 장면 내에서 그라운드가 아닌 영역들의 비율을 계산한다. 본 논문에서는 하이라이트 장면 검출에 대한 성능을 평가하기 위하여 정확률(precision)과 재현율(recall)을 사용하고, 실험을 통하여 제안된 방법이 정확률 95.2%, 재현율 854%로 축구 동영상에서 하이라이트 장면을 효과적으로 검출할 수 있음을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2017년도 추계학술대회
• /
• pp.60-63
• /
• 2017

최근 개인방송에 대한 관심이 증가하면서 개인 방송 제작자와 콘텐츠의 수가 급증하고 있다. 이에 시청자의 선택이 용이하도록 방송 내용 중 흥미를 끌 만한 장면을 모아 하이라이트를 제공하는 서비스에 대한 요구가 커지고 있다. 본 논문에서는 전문 편집자나 편집 기술 없이 자동으로 하이라이트를 검출하는 방법을 제시한다. 제안하는 알고리즘은 개인 방송의 채팅 정보를 이용하며, 시간에 따른 채팅의 빈도 변화를 통해 하이라이트 구간을 검출한다. 검출 알고리즘은 시청자 선호도가 높은 게임 방송에 적용하여 그 성능을 확인하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (2)
• /
• pp.607-609
• /
• 2003

동영상 자동 분석은 비디오 데이터의 내용 기반 색인과 검색을 위한 첫 단계이다. 본 논문에서는 정형적인 구조를 가진 뉴스와는 달리 비정형적인 특성을 가진 축구 동영상에서 사용자의 관심이 되는 하이라이트 장면의 영상 특징을 이용하여 그 구조를 분석하여 하이라이트 장면을 검출하는 방법을 제안한다. 이전 연구를 토대로 그라운드영역과 골대 유무에 따라 하이라이트 후보 장면을 찾는 과정에서 경기마다 달라지는 임계값에 영향을 받지 않는 알고리즘을 제안하였다. 실험결과 제안된 방법이 여러 종류의 축구 경기 하이라이트 분석에 있어서 그 성능이 우수함을 확인할 수 있었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
• /
• pp.199-201
• /
• 2004

디지털 방송 환경의 메타데이타 서비스 중에서도 가장 혁신적인 것이 하이라이트(highlight)메타데이타 서비스이다. 하이라이트 메타데이타를 생성하기 위해서 시각율동을 이용한 샷경계 검출 알고리즘을 사용해 스포츠 경기의 하이라이트 시간구간을 결정하고, 하이라이트 표시기에서 하이라이트를 설명하는 간단한 주제어를 부가한다. 그리고 하이라이트 템플릿을 이용해 계층구조를 생성하고 하이라이트에 부가된 하이라이트 주제어에 따라 계층 구조의 적절한 위치에 삽입하고. 하이라이트 계층구조는 MPEG-7 표준 스키마에 따라 xml로 서술한다 하이라이트 메타데이타 서비스를 받는 시청자들은 매우 짧은 시간에 이미 방영된 스포츠 경기의 중요 장면들을 모두 볼 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 추계학술대회
• /
• pp.209-212
• /
• 2009

본 논문에서는 MDCT기반의 오디오 특징과 영상 특징을 이용하여 축구 동영상의 하이라이트를 효과적으로 요약하는 방식을 제안한다. 제안하는 방식에서는 입력되는 축구 동영상을 비디오 신호와 오디오 신호로 분리한 후에, 분리된 연속적인 오디오 신호를 압축영역의 MDCT계수를 통해 이벤트 사운드별로 분류하여 오디오 이벤트 후보구간을 추출한다. 입력된 비디오 신호에서는 장면 전환점을 추출하고 추출된 장면 전환점으로부터 페널티 영역을 검출한다. 검출된 오디오 이벤트 후보구간과 검출된 페널티 영역장면을 함께 결합하여 축구 동영상의 이벤트 장면을 검출한다. 검출된 페널티 영역 장면을 통해 검출된 이벤트 구간을 다른 이벤트 구간보다 더 높은 우선순위를 갖는 하이라이트로 선정하여 요약본이 생성된다. 생성된 하이라이트 요약본의 평가는 precision과 recall을 통해 정확도를 평가하였다.

• 방송공학회논문지
• /
• 제23권2호
• /
• pp.218-226
• /
• 2018

최근 개인방송 콘텐츠의 수가 급증함에 따라 시청자의 선택이 용이하도록 방송 내용 중 흥미를 끌 만한 장면을 모아 하이라이트를 제공하는 서비스에 대한 요구가 커지고 있다. 본 논문에서는 채팅 트래픽 정보가 하이라이트 검출에 유용함을 보이고 채팅 트래픽을 이용하여 하이라이트를 검출하는 방법을 제시한다. 또한, 하이라이트 검출에 있어 채팅 트래픽 사용의 효용성을 평가하기 위해 평가 방법을 제안한다. 검출 알고리즘은 시청자 선호도가 높은 게임 방송에 적용하여 그 성능을 확인하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (2)
• /
• pp.196-198
• /
• 2002

본 논문에서는 축구 동영상에서 스포츠 중계방송의 특성을 이용하여 자동적으로 하이라이트(Highlight)를 추출하는 새로운 방법을 제안하고 실험을 통하여 그 유용성을 증명한다. 일반적으로 스포츠 중계 방송에서는 중요한 이벤트(골, 반칙)가 발생하면 그 장면 을 다시 느린속도의 리플레이(Replay) 화면으로 보여주고, 리플레이가 시작되고 끝날 때 Wipe와 같은 점진적인 화면 전환 기법을 사용하는 특성을 가지고 있다. 본 논문에서는 이러한 스포츠 중계방송의 특징을 이용하여 Wipe검출, Replay검출 및 Zoom-In/Out 전환 검출을 이용하여 전체 축구 동영상에서 하이라이트만을 추출하는 방법을 제안한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2000년도 제13회 춘계학술대회 및 임시총회 학술발표 논문집
• /
• pp.855-857
• /
• 2000

본 논문에서는 하이라이트의 연관성을 이용한 분석 방법을 제안한다. 멀티미디어와 동영상 서비스의 발달과 더불어 운동 경기의 내용을 자동 분석하여 하이라이트 추출이나 방송 중계 등에 이용하고자 하는 시도가 많이 이루어지고 있다. 동영상은 텍스트나 정지 영상에 비해 방대한 데이터로 구성되어 있다. 그러므로 경기 내용을 효과적으로 파악하기 위해서는 내용 기반의 주요 경기내용(High light)만을 추출 디스플레이 하는 기술이 필요하다. 본 논문에서는 스포츠와 관련된 동영상에서 자동으로 하이라이트 부분을 검출하는 기법을 개발하였으며, 이 기법을 방송용 축구 경기 동영상에 적용하여 하이라이트 추출을 시도하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권7_8호
• /
• pp.727-743
• /
• 2003

본 논문에서는 축구 동영상에서 스포츠 중계방송의 구조적 특성을 이용하여 자동적으로 하이라이트(Highlight)를 추출하는 새로운 방법을 제안하고 실험을 통하여 그 유용성을 증명한다. 일반적으로 스포츠 중계 방송에서는 중요한 이벤트(골, 반칙)가 발생하면, 그 장면을 다시 느린 속도의 리플레이(Replay) 화면으로 보여주고, 리플레이가 시작되고 끝날 때 Wipe와 같은 점진적인 화면 전환 기법을 사용하는 구조적 특성을 가지고 있다. 본 논문에서는 이러한 스포츠 중계방송의 구조적 특징을 이용하여 축구동 상의 중요한 이벤트만을 추출하여 하이라이트를 생성하는 방법을 제안한다. 이를 위해 본 논문에서는 비디오의 슬라이스 이미지(Slice Image)를 이용하여 Wipe효과 장면과 줌인/아웃 장면을 검출하고, 검출된 Wipe 효과 지점을 기준으로 하여 리플레이 장면을 검출한다. 이때 이런 기본 알고리즘에 새로이 Sub-Sampling방법과 Two-Pass 방법을 더하여 보다 빠르고 정확한 Wipe검출을 하였고, 비디오의 모션 정보 및 Wipe지점의 시간간격을 이용하여 보다 정화한 리플레이 장면을 검출하였으며, 샷의 녹색영역 비율을 측정하여 보다 정화한 줌인/아웃 장면을 검출하였다. 이렇게 최종적으로 검출된 리플레이 장면과 줌인/아웃 장면을 토대로 이벤트 샷(Shot)과 선수 샷으로 구성된 하이라이트 장면을 추출하게 된다. 이러한 방법은 자동적으로 축구 중계방송을 요약해줌으로써 축구와 관련된 웹서비스나 방송용 하이라이트 제작에 유용하게 사용될 수 있을 것이다.