• Proceedings of the Acoustical Society of Korea Conference
• /
• 1994.06c
• /
• pp.121-124
• /
• 1994

음소를 인식의 기본으로 하는 한국어 음성인식 시스템을 구현하기 위한 기초 연구의 일환으로서 각 음소의 특징 가장 잘 표현하는 기준프레임 추출을 위한 연구를 수행하였다. 이를 위하여 먼저 선행 실험과 분산비 분석을 통해서 인식에 필요로한 시간 패턴의 길이를 추출한 후 이를 바탕으로 통계적 인식방법인 베이즈 결정법칙을 이용하여 시단 프레임으로부터 3프레임씩 시점을 1프레임씩 옮기면서 인식 실험을 해？여, 각 음소별 특징이 가장 풍부한 기준 프레임을 추출하였다. 그리고 이 기준 프레임을 중심으로 각 음소군별 인식 실험을 수행하여 그 결과를 시단을 기준으로 한 경우와 비교 검토하고 한국어 전 음소별로 확장하여 인식 실험을 실시하였다. 이 실험 결과 모음의 경우 시단으로부터 5프레임, 파열음은 시단에서부터 5프레임사이, 마찰음은 3프레임에서부터 10프레임까지, 파찰음은 5프레임까지, 비음과 유음의 경우 초성은 시단 프레임에서 6프레임, 종성은 종단으로부터 전 4프레임 구간이 인식률이 높게 나타나 이 부분의 특징이 인식에 가장 유효함을 알 수 있었다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2001.11a
• /
• pp.286-289
• /
• 2001

뉴스 비디오에서 앵커가 등장하는 첫 번째 프레임은 하나의 뉴스를 샷으로 설정하는데 기준이 되는 키 프레임이라고 볼 수 있다. 본 논문에서는 뉴스 비디오의 장면 전환을 검출을 위하여 컬러 히스토그램과 $\chi$$^2$ 히스토그램을 합성한 방법을 이용하여 키 프레임을 추출하며, 추출된 키 프레임을 대상으로 앵커 프레임의 공간적 구성과 얼굴의 특징 정보에 대한 사전 지식을 바탕으로 한 유사성 측정을 통하여 앵커를 인식하도록 한다. 앵커로 인식된 프레임은 하나의 뉴스 신에 대한 키 프레임이 되며 뉴스 비디오를 색인화 하는데 중요한 역할을 수행한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.01a
• /
• pp.85-88
• /
• 2022

영상을 구성하는 프레임 중에 키프레임은 일반적으로 영상 정보를 효과적으로 요약하거나 용이한 분석을 위해 선정된다. 화상이 가진 의미는 인물/사물 등의 객체탐지를 통해 추출되는데, 기존의 키프레임 관련 연구는 영상이 가지는 의미를 반영하는 키프레임을 찾아내기 어렵다. 본 논문에서는 영상이 가지는 특정 의미가 있다고 할 때 이를 반영하는 키프레임을 효과적으로 추출하는 방법을 실험적으로 탐구하였다. 구체적으로 영상을 통할하는 의미를 피로라고 가정하고 영상의 졸음 인식 관련 연구에 사용되는 DDD 데이터셋을 이용하여 효과적인 키프레임 추출 기법을 적용해 보았으며, 실험 결과 졸음이라는 특정 정보에 대한 해석을 도울 수 있는 의미 있는 요약을 제공하는 키프레임들을 효과적으로 추출하는 분석 기법을 찾아낼 수 있었다.

• Proceedings of the IEEK Conference
• /
• 2001.09a
• /
• pp.205-208
• /
• 2001

비디오 워터마킹 기술은 비인지성, 안전성 및 강인성의 일반적인 요구조건 이외에 실시간 처리의 요구 조건들이 부가된다. 또한 공격에 있어서 프레임 정보를 이용한 워터마크 제거와 같은 공격이 가능하기 때문에 정지 영상과 비교하여 설계 시 많은 고려가 요구된다. 본 논문에서는 이진의 삽입 정보가 삽입된 비디오 데이터로부터 양극성 랜덤 계열을 이용하여 워터마크를 추출하는 경우에 비디오 프레임 간의 움직임 예측에 의해 구성된 프레임을 이용하여 추출 성능을 향상시키기 위한 추출 방법을 제안하였다. 제안 방식의 실험 결과로부터 움직임 예측을 이용하지 않은 결과와 비교하여 워터마크 추출 성능이 향상되었음을 확인하였다.

• Proceedings of the IEEK Conference
• /
• 2000.09a
• /
• pp.219-222
• /
• 2000

수많은 종류의 비디오 데이터를 효율적으로 검색하기 위해서는 데이터를 분석하여 사용자에게 먼저 전체 비디오의 요약을 제시하는 것이 효과적이다. 본 논문에서는 기사 단위로 분할된 뉴스 기사 전체를 보여주지 않으면서도 기사의 내용을 왜곡됨이 없이 요약하여 효과적으로 사용자에게 보여주기 위한 방법을 제안한다. 본 논문에서는 사용자에게 시각적인 요약 정보를 앵커 프레임 추출 및 대표 프레임 추출을 통해 필름 스트림(film trip)의 형태로 제시하고, 기사를 소개하는 앵커의 첫 대사를 폐쇄 자막(closed-caption)을 이용하여 추출하여, 이를 기사의 내용에 대한 요약으로 필름 스트립과 같이 제시하도록 하였다. 앵커 프레임을 추출하기 위해 본 논문에서는 폐쇄 자막에서의 "앵커:" 태그가 존재하는 시간 구간과 동기된 프레임을 선정한다. 또한 대표 프레임은 공개형 자막(open-cpation)이 존재하는 프레임과 빈도에 기반한 가중치가 높은 .폐쇄 자막에서의 키워드와 동기된 프레임을 선정하도록 하였다. 본 논문의 뉴스 기사 요약 시스템은 시각적인 프레임제시와 함께 기사의 내용을 바탕으로 하는 기사 요약문을 같이 사용자에게 제공함으로써 기존의 필름 스트립형태만 제공하던 시스템에 비하여 사용자 중심의 지능형 요약 서비스가 가능함을 실험을 통해 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.318-321
• /
• 2021

최근 정보통신의 발달과 함께 인터넷에 접속하는 사용자 수와 그에 따른 비디오 데이터의 전송량이 늘어나는 추세이다. 이렇게 늘어나는 많은 비디오 데이터를 관리하고 분석하기 위해서 최근에는 딥 러닝 기법을 많이 활용하게 된다. 일반적으로 비디오 데이터에 딥 러닝 모델을 학습할 때 컴퓨터 자원의 한계로 인해 전체 비디오 프레임에서 균등한 간격 또는 무작위로 프레임을 선택하는 방법을 많이 사용한다. 하지만 학습에 사용되는 비디오 데이터는 항상 시간 축에 따라 같은 문맥을 담고 있는 Trimmed 비디오라고 가정할 수가 없다. 만약 같지 않은 문맥을 지닌 Untrimmed 비디오에서 균등한 간격 또는 무작위로 프레임을 선택해서 사용하게 된다면 비디오의 범주와 관련이 없는 프레임이 샘플링 될 가능성이 있기 때문에 모델의 학습 및 최적화에 전혀 도움이 되지 않는다. 이를 해결하기 위해 우리는 각 비디오 프레임에서 심층 특징을 추출하여 평균값을 계산하고 이와 각 추출된 심층특징들과 코사인 유사도를 계산해서 얻은 유사도 점수를 바탕으로 Untrimmed 비디오에서 의미 있는 비디오 프레임을 추출하는 기법을 제안한다. 그리고 Untrimmed 비디오로 구성된 데이터셋으로 유명한 ActivityNet 데이터셋에 대해서 대표적인 2가지 프레임 샘플링 방식(균등한 간격, 무작위)과 비교하여 우리가 제안하는 기법이 Untrimmed 비디오에서 효과적으로 비디오의 범주에 해당하는 의미 있는 프레임 추출이 가능함을 보일 것이다. 우리가 실험에 사용한 코드는 https://github.com/titania7777/VideoFrameSampler에서 확인할 수 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10b
• /
• pp.515-517
• /
• 1999

본 논문에서는 내용 기반 검색을 위한 방법의 핵심 기술중의 하나인 효율적인 대표키 프레임 추출을 위해 동적인 분할 기법을 제안하고, 다양한 장르의 비디오 데이터에 대하여 그 성능을 평가해 본다. 제안된 대표키 프레임 추출법은 기존의 균등 분할 방법에서 필요 이상의 분할이나 적은 분할로 인하여 중복 추출되거나 추출 대상에서 제외되었던 대표키를 효율적으로 검출할 수 있는 방법으로서 이는 분할 기준을 영상의 각 장르별 특징에 맞도록 동적으로 적용함으로써 획일적인 값을 적용한 기존의 연구와는 달리 차별을 가진다. 제안된 알고리즘으로 대표키 프레임을 추출하기 위하여 뉴스, 영화, 뮤직 드라마, 광고와 같은 다양한 장르별로 실험한 결과, 제안된 대표키 프레임 검출 방법이 효율적임을 확인할 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10a
• /
• pp.445-447
• /
• 2000

객체지향 프레임워크는 다수의 응용 소프트웨어 개발에 반복적으로 재사용되므로 철저한 시험이 요구될 뿐만 아니라 재사용시 확장된 프레임워크에 대해서도 추가적인 시험이 필요하다. 본 논문에서는 재사용시 다양한 형태의 객체 구조들로 개조, 확장될 수 있는 프레임워크의 가변부위에 대해 구조적 테스트 패턴들을 프레임워크의 합성 패턴들로부터 조직적으로 추출하는 방법을 기술한다. 여기서 제안된 방법은 가변부위 클래스 구조의 테스트 모델을 정형 명세화하고, 이로부터 시험에 필요한 구조적 테스트 패턴을 추출하는 방법을 제공한다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 1998.05a
• /
• pp.222-226
• /
• 1998

뉴스 비디오 데이터베이스를 구축하기 위해서는 비디오 색인의 자동화에 관한 연구가 필연적이다. 그리하여, 본 논문에서는 비디오 색인화를 자동화 하는 방법으로, 이전에 제안한 키 프레임(key frame)의 추출 방법을 이용하여 추출된 키 프레임을 대상으로 색인화 하였다. 즉, 추출된 키 프레임 중에서 메타 색인에 해당하는 앵커 프레임(anchor frame)을 선택하는 방법을 제시하고, 선택된 앵커 프레임을 이용하여 뉴스 비디오를 색인화 하였다. 구현된 비디오 색인화는 사용자의 관점에 따라 여러 가지 방법으로 브라우징(browsing)되며, 사용자가 원하는 뉴스 비디오 씬(scene)들을 쉽게 선택하여 볼 수 있는 특징을 제공하였다.

• The Journal of the Korea Contents Association
• /
• v.11 no.12
• /
• pp.28-39
• /
• 2011

While the broadband multimedia technologies have been developing, the commercial market of digital contents has also been widely spreading. Most of all, digital cartoon market like internet cartoon has been rapidly large so video cartooning continuously has been researched because of lack and variety of cartoon. Until now, video cartooning system has been focused in non-photorealistic rendering and word balloon. But the meaningful frame extraction must take priority for cartooning system when applying in service. In this paper, we propose new automatic frame extraction method for video cartooning system. At frist, we separate video and audio from movie and extract features parameter like MFCC and ZCR from audio data. Audio signal is classified to speech, music and speech+music comparing with already trained audio data using GMM distributor. So we can set speech area. In the video case, we extract frame using general scene change detection method like histogram method and extract meaningful frames in the cartoon using face detection among the already extracted frames. After that, first of all existent face within speech area image transition frame extract automatically. Suitable frame about movie cartooning automatically extract that extraction image transition frame at continuable period of time domain.