• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.314-317
• /
• 2021

하이라이트 영상은 원본 영상의 중요한 장면들을 짧은 시간 안에 감상할 수 있게 도와준다. 특히나 경기 시간 긴 축구나 야구 그리고 e-스포츠의 시청자들에게 있어, 하이라이트 영상의 효용성은 더욱 증가한다. 하이라이트 영상 추출의 자동화로 방송사나 온라인 플랫폼은 비용 절감과 시간 절약의 이점을 얻을 수 있다. 따라서 본 논문에서는 스포츠 영상에서 자동으로 하이라이트 구간을 추출하는 모델을 제안한다. 제안하는 모델은 멀티 헤드 어텐션 매커니즘과 LSTM 네트워크의 결합으로 구성된다. 해당 매커니즘의 여러 헤드를 통해 어텐션을 다양한 관점에서 진행한다. 이로 인해 영상의 전체적인 맥락과 장면 간의 유기적 관계를 다양한 관점에서 파악할 수 있다. 또한 오디오와 이미지 정보를 함께 이용하여 모델을 학습한다. 학습한 모델의 평가는 e-스포츠 경기 영상을 이용하여 평가한다.

• Journal of Broadcast Engineering
• /
• v.25 no.4
• /
• pp.620-628
• /
• 2020

Automatically predicting video highlight is an important task for media industry and streaming platform providers to save time and cost of manual video editing process. We propose a new ensemble model that combines multiple highlight detectors with each focusing on different parts of highlight events. Therefore, our model can capture more information-rich sections of events. Furthermore, the proposed model can extract improved features for highlight detection particularly when the train video set is small. We evaluate our model on e-sports and baseball videos.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2000.11a
• /
• pp.218-223
• /
• 2000

영상에서 색상은 조명과 물체의 반사 특성에 의해 걸정되므로고 정확한 조명성분 추출을 통해 물체 고유의 색상을 복원할 수 있다. 물체 색상과 하이라이트 색상의 분포와 이들간의 관계를 잘 반영하여 모델링한 Dichromatic 반사 모델에서는, 3차원 RGB 공간에서의 하이라이트(highlight) 영역에 의한 클러스터 분포형상으로부터 표면반사벡터를 구해 이것을 조명벡터로 결정하였다. 그러나, 표면반사벡터의 방향은 물체색상의 영향을 받아 실제 조명벡터와 동일한 방향을 나타내지 못한다는 것을 실험을 통해 알 수 있었다. 실제적으로 하이라이트영역에 대한 클러스터는 물체 색상으로부터 조명색상에 근접한 방향으로 형성되며, 조명벡터로는 글러스터의 최대값으로 향하는 것을 취하는 것이 보다 정확하다는 특성이 있음을 확인하였다. 본 논문에서는 여러 가지 실험을 통해 이러한 특성이 타당함을 제시하고, 그래픽반사모델을 이용하여 하이라이트 색상에 대한 새로운 해석 방법을 제시한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.372-376
• /
• 2023

본 연구에서는 비디오 하이라이트 검출 및 장면 추출을 위한 경량화된 모델인 Visual Context Learner (VCL)을 제안한다. 기존 연구에서는 매개변수가 고정된 CLIP을 비롯한 여러 피쳐 추출기에 학습 가능한 DETR과 같은 트랜스포머를 이어붙여서 학습을 한다. 하지만 본 연구는 경량화된 구조로 하이라이트 검출 성능을 개선시킬 수 있음을 보인다. 그리고 해당 형태로 장면 추출도 가능함을 보이며 장면 추출의 추가 연구 가능성을 시사한다. VCL은 매개변수가 고정된 CLIP에 학습가능한 프롬프트와 MLP로 하이라이트 검출과 장면 추출을 진행한다. 총 2,141개의 학습가능한 매개변수를 사용하여 하이라이트 검출의 HIT@1(>=Very Good) 성능을 기존 CLIP보다 2.71% 개선된 성능과 최소한의 장면 추출 성능을 보인다.

• Annual Conference of KIPS
• /
• 2024.05a
• /
• pp.517-518
• /
• 2024

본 연구에서는 특정 비디오에서 추출된 비디오 클립이 어떤 비디오에서 추출된 것인지 탐색하는 알고리즘을 제안한다. 국내 이스포츠 리그 중 하나인 LCK의 경기 영상과 하이라이트 영상을 수집하여 알고리즘의 성능을 테스트하였다. 본 연구에서 제안한 알고리즘은 하이라이트 비디오 추출 모델개발에 필요한 비디오-하이라이트 클립 데이터셋을 구축하는 데 도움이 될 것이라 기대한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.11a
• /
• pp.225-227
• /
• 2019

최근 다양한 개인방송 플랫폼에 의해 엄청난 양의 콘텐츠가 업로드 되고 있으며 그 중 축구와 야구와 같은 스포츠 영상이 차지하는 비율이 상당하다. 방송사에서는 시청자들이 편의를 위해 경기 영상 중 흥미를 끌거나 또는 중요한 장면을 모아 하이라이트 영상을 만들어 제공하는데, 이는 시간과 비용이 많이 소요되는 문제가 있다. 이에 본 논문에서는 스포츠 영상에서 자동으로 하이라이트를 예측하는 모델을 제안하다. 우리의 모델은 오디오와 이미지 정보를 함께 사용하며, 영상의 단기적 전후관계와 중장기적 흐름을 동시에 파악하는 모델을 제시한다. 또한 좋은 특징벡터를 추출하기 위해 GAN을 결합하는 방법을 설명한다. 제안하는 모델들을 야구 경기 영상을 이용하여 평가한다.

• The Journal of the Acoustical Society of Korea
• /
• v.19 no.7
• /
• pp.15-22
• /
• 2000

This paper proposes a distributed highlight algorithm to generate efficiently echo signal for underwater target. In this algorithm, echo signal is synthesized by discontinuity highlights that are varied to incident angle, by equivalent and specified position highlights according to the spatial target structure. Completed UTAHID(Underwater TArget by Highlight Distribution) model is confrimed that PTS, ETS, echo elongation effect, target time spreading loss and envelope fluctuation are satisfied to expected values by various simulations. Thus it can be efficiently used in all sorts of real systems related to underwater target echo signal synthesis in active sonar.

• The Journal of the Acoustical Society of Korea
• /
• v.28 no.2
• /
• pp.135-140
• /
• 2009

In this paper, we synthesized active sonar target signals based on highlights model, and then carried out target classification using the synthesized signals. If the target aspect angle is changed, the different signals are synthesized. To know the result, two different experiments are done. First, The classification results with respect to each aspect angle are shown. Second, the results in two group in aspect angle are acquired. Time domain feature extraction is done using matched filter and envelope detection. It shows the pattern of each highlights. Artificial neural networks and multi-class SVM are used for classifying target signals.

• Journal of the Korea Institute of Military Science and Technology
• /
• v.4 no.1
• /
• pp.93-103
• /
• 2001

A reflection signal in an active sonar using a high frequency is mainly formed of a specular reflection from the surface of an object along with several equivalent scatters inside, which are characterized by the spatial distribution of the highlight on the object. This study analyze the existing echo signal synthesis models eq, random distribution model, equivalent interval distribution model & MUTAHID(Modified Underwater TArget by HIlight Distribution) model for simulated target, and compare the characteristics of the reflected signal synthesis results for each model in various conditions. These highlight distribution models can be efficiently applied to the simulated target signals synthesis of various real systems requiring the echo signal synthesis on the underwater target.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.26 no.4
• /
• pp.301-307
• /
• 2016

This paper proposes a lyric search method to consider the characteristics of the user query. According to the fact that queries for the lyric search are derived from highlight parts of the music, this paper uses the hierarchical agglomerative clustering to find the highlight and proposes a Gaussian weighting to consider the neighbor of the highlight as well as highlight. By setting the mean of a Gaussian weighting at the highlight, this weighting function has higher weights near the highlight and the lower weights far from the highlight. Then, this paper constructs a index of lyrics with the gaussian weighting. According to the experimental results on a data set obtained from 5 real users, the proposed method is proved to be effective.