• 전자공학회논문지CI
• /
• 제41권3호
• /
• pp.115-124
• /
• 2004

저 수준의 특징정보를 사용하는 내용기반 검색만으로 지능형 정보검색을 위한 사용자의 개념적인 요구에 부합하는 검색결과를 제공하기 어렵다. 일반적으로 비디오 데이터에는 동영상 정보와 함께 음성, 음향 등의 오디오 정보와 폐쇄자막 등의 정보가 포함되어 있다. 지식기반 비디오 검색은 그러한 다양한 정보를 사용하여 자동색인을 수행하고 색인 데이터베이스를 구축한다. 이로써 사용자는 보다 개념적인 검색 요구에 부합하는 검색 결과를 얻을 수 있다. 본 논문에서는 비디오 내의 한국어 폐쇄자막을 이용한 지식기반 비디오 검색 시스템을 제안한다. 한국어 폐쇄자막은 형태소 분석 수준에서 자동색인되며, 색인 데이터베이스를 이용하여 키워드 질의를 통해 비디오를 검색할 수 있다. 실험에서 한국어 속기시스템으로 제작된 폐쇄자막이 포함된 뉴스비디오에 적용하여, 제안하는 방법이 사용자의 보다 의미 있는 개념적인 요구에 부합하는 검색 결과를 얻을 수 있음을 확인하였다.

• 정보과학회 논문지
• /
• 제43권8호
• /
• pp.878-882
• /
• 2016

이미지의 내용을 설명하는 캡션을 자동으로 생성하는 기술은 이미지 인식과 자연어처리 기술을 필요로 하는 매우 어려운 기술이지만, 유아 교육이나 이미지 검색, 맹인들을 위한 네비게이션 등에 사용될 수 있는 중요한 기술이다. 본 논문에서는 이미지 캡션 생성을 위해 Convolutional Neural Network(CNN)으로 인코딩된 이미지 정보를 입력으로 갖는 이미지 캡션 생성에 최적화된 Recurrent Neural Network(RNN) 모델을 제안하고, 실험을 통해 본 논문에서 제안한 모델이 Flickr 8K와 Flickr 30K, MS COCO 데이터 셋에서 기존의 연구들보다 높은 성능을 얻음을 보인다.

• 한국컴퓨터정보학회논문지
• /
• 제10권5호
• /
• pp.65-76
• /
• 2005

디지털 비디오는 대용량의 저장 공간을 필요로 하는 매우 긴 데이터이다. 따라서 비디오 시청자들은 원래의 긴 비디오를 시청하기 전에 요약된 버전을 시청하기를 원한다. 특히, 스포츠 분야에서 하이라이트 비디오는 자주 시청된다. 다시 말해서, 하이라이트 비디오는 비디오 시청자에게 그 비디오를 시청할 가치가 있는지를 결정하게 한다. 본 논문에서는 시간과 공간 형태로 된 자막의 구조적 특징을 이용하여 축구 비디오 하이라이트를 생성한다. 이와 같은 구조적 특징들은 자막 프레임 구간과 자막 키 프레임을 추출하는데 사용된다. 하이라이트 비디오는 자막 키 프레임의 장면 재설정, 논리적 색인화, 그리고 하이라이트 생성 규칙에 의하여 생성된다. 마지막으로, 하이라이트 비디오와 비디오 세그먼트들은 비디오 시청자가 브라우저를 통하여 원하는 항목을 선택함으로서 검색되고 브라우징 될 수 있다

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제29권4호
• /
• pp.235-247
• /
• 2002

디지털 비디오 영상을 효과적으로 색인하고 검색하기 위해서 비디오의 내용을 함축적으로 표현하고 있는 비디오 자막을 추출하여 인식하는 연구가 필요하다. 본 논문에서는 압축되지 않은 비디오 영화 영상에 인위적으로 삽입한 한글 및 영어 자막을 대상으로 자막 영역을 추출하고, 추출된 자막 이미지를 향상시키는 방법을 제안한다. 제안한 방법의 특징은 동일한 내용의 자막을 갖는 프레임들의 위치를 자동으로 찾아서 동일 자막 프레임들을 다중 결합하여 배경에 포함되어 있는 잡영의 일부 또는 전부를 우선 제거한다. 또한, 이 결과 이미지에 해상도 중대, 히스토그램 평활화, 획 기반 이진화, 스무딩의 이미지 향상 방법을 단계적으로 적용하여 인식 가능한 수준의 이미지로 향상시킨다. 제안한 방법을 비디오 영상에 적용하여 동일한 내용의 자막 그룹 단위로 자막 이미지를 추출하는 것이 가능해졌으며, 잡영이 제거되고 복잡한 자소의 획이 보존된 자막 이미지를 추출할 수 있었다. 동일한 내용의 자막 프레임의 시작 및 글위치를 파악하는 것은 비디오 영상의 색인과 검색에 유용하게 활용될 수 있다. 한글 및 영어 비디오 영화 자막에 제안한 방법을 적용하여 향상된 문자 인식 결과를 얻었다.

• 한국지능시스템학회논문지
• /
• 제17권7호
• /
• pp.924-929
• /
• 2007

영상에 나타나는 자막은 영상과 관계가 있는 정보를 포함한다. 이러한 영상과 관련 있는 정보를 이용하기 위해 영상으로부터 자막을 추출하는 연구는 근래에 들어 활발히 진행되고 있다. 기존의 연구는 일정한 높이의 자막이나 획의 두께를 지닌 자막에서만 정상적인 작동을 한다. 본 논문에서는 일정 크기 이상의 자막에 대해서 적용할 수 있는 크기에 무관한 자막 추출 방법을 제안한다. 먼저, 자막 연결 객체의 패턴 추출을 위해서 자막이 포함된 영상을 수집하고, 신경망을 이용해서 자막의 패턴을 분석한다. 그 후로는 사전에 추출한 패턴을 이용하여 입력 영상에서 자막을 추출한다. 실험에 사용된 영상은 뉴스, 다큐멘터리, 쇼 프로그램과 같은 대중 방송에서 수집하였다. 실험 결과는 다양한 크기의 자막을 포함한 영상을 사용하여 실험하였고, 자막 추출의 결과는 찾아진 연결객체 중에 자막의 비율과 자막 중에 찾아진 자막의 비율로 분석하였다. 실험 결과를 보면 제안한 방법에 의해 다양한 크기의 자막을 추출할 수 있음을 보여준다.

• 한국기록관리학회지
• /
• 제3권2호
• /
• pp.78-96
• /
• 2003

오늘날 미디어는 우리의 일상을 혁신하고 우리의 삶을 변혁시키는 위력을 갖게 되었다. 뉴미디어는 마샬 맥루한 (Marshall MacLuhan)의 말처럼 새로운 언어이며, 우리를 실재의 세계와 연결시켜주는 수단이며 또 그 자체가 실재의 세계이기도 하다. 이러한 뉴미디어의 세계에서 문자의 출현은 새로운 의미를 갖게 되었다. 미디어의 세계에 있어서 문자의 출현은 과거 무성시대 말기로부터 시작된 내용의 의미전달을 위한 자막의 역할을 뛰어 넘어 화면의 구성적 요소로서 역할을 하게 되었다. 이러한 구성적 요소로서의 자막 혹은 문자의 출현은 미학적 요소, 오락적 요소, 재현적 요소, 부언적 가치전도의 요소, 설명적 요소 등의 의미를 지니게 되었다. 과거 자막에서 보여주던 번역적 요소마저도 뉴미디어의 세계에서는 새로운 양식으로 탈바꿈하면서 계속전진을 계속하고 있다. 의미 전달을 위해서 영상 속의 문자는 의미론적인 입장에서의 변화나 연구가 계속될 뿐만 아니라 그 글꼴 등에서도 많은 변화와 의미를 지니게 되었다. 글꼴의 디자인은 미디어세계의 새로운 미학적 발상이며, 글꼴의 양식은 미디어 화면의 또 다른 생명력이라 할 수 있다. 그러므로 글꼴이 미디어에 미치는 영향에 대해 보다 구체적으로 살펴보고자 했다.

• 음성과학
• /
• 제12권1호
• /
• pp.135-142
• /
• 2005

An important aspect of video indexing is the ability to segment video into meaningful segments, i.e., content-based video segmentation. Since the audio signal in the sound track is synchronized with image sequences in the video program, a speech signal in the sound track can be used to segment video into meaningful segments. In this paper, we propose a new approach to content-based video segmentation. This approach uses closed caption to construct a recognition network for speech recognition. Accurate time information for video segmentation is then obtained from the speech recognition process. For the video segmentation experiment for TV news programs, we made 56 video summaries successfully from 57 TV news stories. It demonstrates that the proposed scheme is very promising for content-based video segmentation.

• 대한전기학회논문지:시스템및제어부문D
• /
• 제53권8호
• /
• pp.606-610
• /
• 2004

A noble caption text detection and recognition algorithm using the temporal nature of video is proposed in this paper. A text registration technique is used to locate the temporal and spatial positions of captions in video from the accumulated frame difference information. Experimental results show that the proposed method is effective and robust. Also, a high processing speed is achieved since no time consuming operation is included.

• 한국산학기술학회논문지
• /
• 제21권4호
• /
• pp.362-373
• /
• 2020

본 연구는 영어 자막 활용의 순서가 국내 항공 대학 학생들의 영어 학습에 대한 자신감, 흥미, 및 동기에 미치는 영향을 조사한 것으로, 국내 한 대학의 항공서비스학과 재학생을 대상으로 하여 영어 자막 활용 순서에 따라 그들의 영어 학습에 대한 태도에 변화가 있는지 파악하는 것을 목적으로 한다. 본 연구에는 충청남도 소재의 한 대학에서 영어 수업을 수강하고 있는 60명의 대학생이 참여하였으며, 모든 참가자들은 항공서비스학과의 재학생들이었다. 총 16주 동안 일주일에 한번씩 2시간동안 영어 수업이 진행되었고, 모든 실험 및 자료 수집은 해당 수업시간 내에 이루어졌다. 영어 자막 활용의 순서에 따라 영어 학습에 대한 태도의 변화가 있는지 알아보기 위해 모든 실험이 끝난 후, 영어에 대한 자신감, 흥미, 그리고 동기와 관련한 설문이 진행되었다. 통계적으로 유의미한 결과를 보인 주 연구 결과는 다음과 같다. 설문 결과, 먼저 영어 자막을 먼저 보는 것이 국내 항공 대학 학생들의 영어에 대한 자신감과 흥미를 더욱 이끌어 낸다는 사실이 밝혀졌다. 하지만 영어 학습에 대한 동기 부여를 위해서는 영어 자막을 나중에 보는 것이 더욱 효과적이라는 것이 드러났다. 본 연구는 수업 목표에 따라 국내 영어 학습자들에게 영어 자막을 언제 제공해야 하는지에 대한 통찰력을 제공한다.

• 방송공학회논문지
• /
• 제5권1호
• /
• pp.113-122
• /
• 2000

이미 방송된 비디오 영상으로부터 자막 영역을 제거하고 원 영상으로 복원할 필요가 종종 발생한다. 복원될 영상의 량이 적을 경우 수 작업에 의한 복원이 가능하나, 비디오 영상과 같이 복원할 영상이 많아질 경우에는 수 작업에 복원은 어렵다고 볼 수 있다. 따라서 자동으로 자막 영역을 원 영상으로 복원할 수 있는 방법이 필요하게 된다. 기존의 영상 복원에 관한 연구는 주로 블러링(blurring)된 영상을 주파수 필터를 사용하여 선명하게 복원하거나, 영상 통신을 위한 비디오 코딩 방법에 대한 연구가 많이 이루어졌다. 본 논문에서는 블록 정합 알고리즘(Block Matching Algorithm)을 이용하여 자막 영역을 복원하는 방법을 제안하고자한다. 자막 복원을 위한 사전 정보로 자막 영역 정보와 장면 전환 정보를 추출한다. 추출된 자막 정보로부터 자막의 시작 프레임, 끝 프레임, 자막 문자의 구성 요소 정보를 얻을 수 있다. 자막 정보(자막의 시작 프레임, 끝 프레임)와 장면 전환 정보를 이용하여 복원의 방향성 및 복원의 종점을 결정한다. 복원의 방향성에 따라 각 프레임마다 문자의 구성 요소에 대한 블록 정합을 수행하여 원 영상을 복원한다. 실험결과 비교적 움직임이 적은 영상에서는 복원이 잘 됨을 볼 수 있었으며, 복잡한 배경을 갖고 있는 영상의 경우도 복원됨을 볼 수 있었다.