• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2002년도 정기총회 및 학술대회
• /
• pp.121-125
• /
• 2002

디지털 TV 서비스의 시작으로 시청자의 효율적인 방송 컨텐츠 이용의 필요성이 제시되었고, 이를 위한 사용자 맞춤형 서비스와 방송 컨텐츠의 특징 추출 및 표현 방법 등, 지능형 TV에 대한 연구가 수행되고 있다. 지능형 TV의 방송 컨텐츠의 비디오 요약과 비디오 하이라이트 등의 제작을 위해 MPEG-7 비주얼 기술자를 이용하여 비주얼 특성을 추출할 수 있다. 특히 비디오의 컬러 특징을 추출하는 MPEG-7 컬러 기술자를 이용한 특징 추출 위해서는 압축된 비디오를 복호하고 비디오의 프레임을 획득하여 특징을 추출하게 되지만, 이 과정은 비주얼 특징 추출 시간을 증가시켜 압축된 방송용 컨텐츠에 MPEG-7 컬러 기술자의 적용을 어렵게 한다. 본 논문은 압축된 비디오의 컬러 특성 추출 속도의 향상을 위해 비디오 압축 영역에서 MPEG-7 컬러 기술자를 적용할 수 있는 방법을 제안하였다. 압축된 비디오에서 DC 프레임을 추출하여 컬러 특징 추출 시간이 감소하였고 검색 율의 변화는 크지 않았다. 본 논문에서 제안한 방식은 방송용으로 압축된 비디오의 비주얼 특징을 고속으로 추출할 수 있는 방법으로의 활용이 가능할 것이다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 1999년도 학술대회
• /
• pp.123-128
• /
• 1999

본 논문에서는 기존에는 샷 경계 검출에 초점을 맞춘 것과는 달리 본 논문에서는 샷 보다 상위레벨인 비디오 씬 추출에 초점을 맞추어 디지털 비디오를 구조화하는 시스템을 제안한다. 샷간의 유사도를 측정하기 위해서 칼라와 모션 특징을 이용하였으며, 비디오 내의 동적 또는 정적 특성을 반영하기 위해서 적응적 가중치를 적용하였다. 칼라 특징을 추출하기 위해서 각 샷의 내부에서 대표 프레임을 추출하였고, 각 샷 내부의 모션 정보는 MPEG 비디오 모션 벡터를 이응해서 추출하였다. 또한, 비디오 씬 분할 시 연산 시간을 줄이기 위한 기법을 제시하였다. 마지막으로 추출된 비디오 씬에 대해서 성능평가를 하였다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2001년도 추계학술발표논문집
• /
• pp.245-248
• /
• 2001

비디오 데이터에서 캡션은 비디오의 중요한 부분과 내용을 나타내는 가장 보편적이 방법이다. 본 논문에서는 축구 비디오에서 캡션이 갖는 특징을 분석하고 캡션에 의한 키 프레임을 추출하도록 하며, 비디오 요약 생성 규칙에 따라 요약된 비디오를 생성하도록 한다. 키 프레임 추출은 이벤트 발생에 따른 캡션의 등장과 캡션 내용의 변화를 추출하는 것으로 탬플리트 매칭과 지역적 차영상을 통하여 추출하며 샷의 재설정 통하여 중요한 이벤트를 포함한 요약된 비디오를 생성하도록 한다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2002년도 추계학술발표논문집
• /
• pp.77-80
• /
• 2002

비디오 데이터에서 캡션은 비디오의 중요한 부분과 내용을 나타내는 가장 보편적인 방법이다. 본 논문에서는 축구 비디오에서 캡션이 갖는 특징을 분석하고 캡션에 의한 키 프레임을 추출하도록 하며, 비디오 요약 생성 규칙에 따라 요약된 비디오를 생성하도록 한다. 키 프레임 추출은 이벤트 발생에 따른 캡션의 등장과 캡션 내용의 변화를 추출하는 것으로 탬플리트 매칭과 지역적 차영상을 통하여 추출하며 샷의 재설정 통하여 중요한 이벤트를 포함한 요약된 비디오를 생성하도록 한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2002년도 추계종합학술대회
• /
• pp.579-582
• /
• 2002

비디오 데이터에서 캡션은 비디오의 중요한 부분과 내용을 나타내는 가장 보편적인 방법이다. 본 논문에서는 축구 비디오에서 캡션이 갖는 특징을 분석하고 캡션에 의한 키 프레임을 추출하도록 하며, 비디오 요약 생성 규칙에 따라 요약된 비디오를 생성하도록 한다. 키 프레임 추출은 이벤트 발생에 따른 캡션의 등장과 캡션 내용의 변화를 추출하는 것으로 탬플리트 매칭과 지역적 차영상을 통하여 추출하며 샷의 재설정 통하여 중요한 이벤트를 포함한 요약된 비디오를 생성하도록 한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.318-321
• /
• 2021

최근 정보통신의 발달과 함께 인터넷에 접속하는 사용자 수와 그에 따른 비디오 데이터의 전송량이 늘어나는 추세이다. 이렇게 늘어나는 많은 비디오 데이터를 관리하고 분석하기 위해서 최근에는 딥 러닝 기법을 많이 활용하게 된다. 일반적으로 비디오 데이터에 딥 러닝 모델을 학습할 때 컴퓨터 자원의 한계로 인해 전체 비디오 프레임에서 균등한 간격 또는 무작위로 프레임을 선택하는 방법을 많이 사용한다. 하지만 학습에 사용되는 비디오 데이터는 항상 시간 축에 따라 같은 문맥을 담고 있는 Trimmed 비디오라고 가정할 수가 없다. 만약 같지 않은 문맥을 지닌 Untrimmed 비디오에서 균등한 간격 또는 무작위로 프레임을 선택해서 사용하게 된다면 비디오의 범주와 관련이 없는 프레임이 샘플링 될 가능성이 있기 때문에 모델의 학습 및 최적화에 전혀 도움이 되지 않는다. 이를 해결하기 위해 우리는 각 비디오 프레임에서 심층 특징을 추출하여 평균값을 계산하고 이와 각 추출된 심층특징들과 코사인 유사도를 계산해서 얻은 유사도 점수를 바탕으로 Untrimmed 비디오에서 의미 있는 비디오 프레임을 추출하는 기법을 제안한다. 그리고 Untrimmed 비디오로 구성된 데이터셋으로 유명한 ActivityNet 데이터셋에 대해서 대표적인 2가지 프레임 샘플링 방식(균등한 간격, 무작위)과 비교하여 우리가 제안하는 기법이 Untrimmed 비디오에서 효과적으로 비디오의 범주에 해당하는 의미 있는 프레임 추출이 가능함을 보일 것이다. 우리가 실험에 사용한 코드는 https://github.com/titania7777/VideoFrameSampler에서 확인할 수 있다.

• 대한전자공학회논문지SP
• /
• 제46권3호
• /
• pp.10-17
• /
• 2009

본 논문은 H.264/AVC 비디오 압축영역에서 비디오 복제 방지기법의 일종인 CBCD(Content Based Copy Detection)에 사용 될 수 있는 비디오 시그너쳐 (Video Signature) 추출 방법을 제안한다. 기존의 비디오 시그너쳐 추출방법은 모두 비디오 공간영 역에서 수행되기 때문에 압축된 비디오 스트립으로부터 시그너쳐를 추출하기 위해서는 비디오를 모두 복호해야 하는 단점을 가지고 있었다. 하지만 제안하는 방법에서는 비디오 압축영역에서 섬네일(Thumbnail)을 빠르게 구성하고 구성된 섬네일을 이용하여 비디오 시그너쳐를 추출하여 이와 같은 단점을 극복하였다. 밝기 순서 정보를 추출하는 실험결과로부터 제안하는 방법은 기존의 방법보다 80.98%의 정확도를 유지하면서 약 2.8배 빠르게 시그너쳐를 추출할 수 있었다.

• 정보처리학회논문지B
• /
• 제8B권4호
• /
• pp.411-418
• /
• 2001

비디오 하이라이트(highlights)는 원래의 비디오 보다 짧고 많은 양의 의미를 갖는다. 기존의 파노라마 형태의 추상화 기법은 여러 프레임을 하나의 프레임으로 모자이크하는 형태이었고, TV 드라마 하이라이트 방법은 카메라의 이동이나 특수효과에 의존하기 때문에 스포츠 비디오에 적용은 부적합하다. 이 논문에서는 축구 비디오를 대상으로 시각정보와 자막을 이용하는 새로운 비디오 하이라이트 생성 방법과 이벤트 기반 비디오 인덱싱 방법을 제안한다. 하이라이트 생성은 하이라이트 생성 규칙에 따라 자막에 의해 추출된 TIT을 중심으로 시각정보에 의해 추출된 샷을 합성하여 생성하였고, 인덱싱은 자막으로 추출된 샷은 주요소로, 시각정보에 의해 추출된 샷은 부가적 요소로 구성하였다. 실험에서는 샷 추출기법 중 대표적인 컬러히스토그램과 $\chi$$^2$히스토그램과의 성능을 비교하여 제안한 하이라이트 기법이 다른 방식보다 우수함을 증명하였다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2002년도 춘계학술발표논문집(상)
• /
• pp.118-123
• /
• 2002

산업정보사회가 발달함에 따라 다양한 형태의 비디오 데이터들이 여러 분야에서 대량으로 생성되고 있다. 이에 따라 이들의 가공을 통해 비디오에 나타난 의미 정보를 추출하려는 다양한 접근들이 시도되고 있으며, 최근 들어 데이터 마이닝을 이용한 기법에 대한 관심들이 증대되고 있다. 그러나 기존의 연구 대상에서 비디오 데이터를 기본으로 하여 지식 정보를 추출하기 위한 시도는 시공간적으로 방대한 비디오 데이터의 특징으로 인해 소극적으로 접근되어왔다. 본 논문에서는 유사한 비디오들로부터 효과적으로 비디오 데이터를 압축하고 특성을 추출하며 클러스터링을 통하여 형태론적인 비디오 정보로부터 직접 의미 있는 패턴을 추출하는 방법을 제안한다. 이를 위해 관심 영역 제한방법, 최소 반복도 제한방법 및 키 프레임 추출 방법 등이 포함된다. 최종적으로 실험용 비디오에 대한 마이닝 결과를 생성하고 최초의 트랜잭션과의 정확도를 비교하여 본 논문에서 제시한 기법들을 검증하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 추계학술발표대회
• /
• pp.865-868
• /
• 2017

일반적으로 비디오로부터 캡션을 생성하는 작업은 입력 비디오로부터 특징을 추출해내는 과정과 추출한 특징을 이용하여 캡션을 생성해내는 과정을 포함한다. 본 논문에서는 효과적인 비디오 캡션 생성을 위한 심층 신경망 모델과 그 학습 방법을 소개한다. 본 논문에서는 입력 비디오를 표현하는 시각 특징 외에, 비디오를 효과적으로 표현하는 동적 의미 특징과 정적 의미 특징을 입력 특징으로 이용한다. 본 논문에서 입력 비디오의 시각 특징들은 C3D, ResNet과 같은 합성곱 신경망을 이용하여 추출하지만, 의미 특징은 본 논문에서 제안하는 의미 특징 추출 네트워크를 활용하여 추출한다. 그리고 이러한 특징들을 기반으로 비디오 캡션을 효과적으로 생성하기 위하여 선택적 주의집중 캡션 생성 네트워크를 제안한다. Youtube 동영상으로부터 수집된 MSVD 데이터 집합을 이용한 다양한 실험을 통해, 본 논문에서 제안한 모델의 성능과 효과를 확인할 수 있었다.