• 한국멀티미디어학회논문지
• /
• 제20권10호
• /
• pp.1628-1636
• /
• 2017

Such as closed caption, ancillary data, electronic program guide(EPG), data broadcasting, and etc, increased data for service convenience cause to degrade video quality of high definition contents. This article propose a method to transfer the closed caption data of video contents without video quality degradation. Video quality degradation does not cause in video compression by the block image insertion of caption data in DTV essential hidden area. Additionally the proposed methods have advantage to synchronize video, audio, and caption from preinserted script without time delay.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2002년도 추계종합학술대회
• /
• pp.619-623
• /
• 2002

스포츠 비디오에 빼놓을 수 없는 정보로 자막을 들 수 있다. 자막을 인식함으로 해서 스포츠 하이라이트를 구성할 수 있게 된다. 이 논문에서는 자막에 위치를 검색하고 판별함으로 해서 자락을 분석하는 중간단계에 꼭 필요한 작업이다. 이 논문은 전처리과정에서 영상을 향상과 탁월한 문턱치 알고리즘을 통해 영상을 단순화시키고 제안한 다중 프레임병합 알고리즘을 통해 자막을 추출할 수 있는 방법을 사용한다. 기존에 있는 legion growing 방법에 비해 간단하고 보다 빠른 수행속도를 보이게 된다.

• 방송공학회논문지
• /
• 제5권1호
• /
• pp.113-122
• /
• 2000

이미 방송된 비디오 영상으로부터 자막 영역을 제거하고 원 영상으로 복원할 필요가 종종 발생한다. 복원될 영상의 량이 적을 경우 수 작업에 의한 복원이 가능하나, 비디오 영상과 같이 복원할 영상이 많아질 경우에는 수 작업에 복원은 어렵다고 볼 수 있다. 따라서 자동으로 자막 영역을 원 영상으로 복원할 수 있는 방법이 필요하게 된다. 기존의 영상 복원에 관한 연구는 주로 블러링(blurring)된 영상을 주파수 필터를 사용하여 선명하게 복원하거나, 영상 통신을 위한 비디오 코딩 방법에 대한 연구가 많이 이루어졌다. 본 논문에서는 블록 정합 알고리즘(Block Matching Algorithm)을 이용하여 자막 영역을 복원하는 방법을 제안하고자한다. 자막 복원을 위한 사전 정보로 자막 영역 정보와 장면 전환 정보를 추출한다. 추출된 자막 정보로부터 자막의 시작 프레임, 끝 프레임, 자막 문자의 구성 요소 정보를 얻을 수 있다. 자막 정보(자막의 시작 프레임, 끝 프레임)와 장면 전환 정보를 이용하여 복원의 방향성 및 복원의 종점을 결정한다. 복원의 방향성에 따라 각 프레임마다 문자의 구성 요소에 대한 블록 정합을 수행하여 원 영상을 복원한다. 실험결과 비교적 움직임이 적은 영상에서는 복원이 잘 됨을 볼 수 있었으며, 복잡한 배경을 갖고 있는 영상의 경우도 복원됨을 볼 수 있었다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제6권4호
• /
• pp.203-210
• /
• 2017

본 논문에서는 이미지 캡션 생성과 모델 전이에 효과적인 심층 신경망 모델을 제시한다. 본 모델은 멀티 모달 순환 신경망 모델의 하나로서, 이미지로부터 시각 정보를 추출하는 컨볼루션 신경망 층, 각 단어를 저차원의 특징으로 변환하는 임베딩 층, 캡션 문장 구조를 학습하는 순환 신경망 층, 시각 정보와 언어 정보를 결합하는 멀티 모달 층 등 총 5 개의 계층들로 구성된다. 특히 본 모델에서는 시퀀스 패턴 학습과 모델 전이에 우수한 LSTM 유닛을 이용하여 순환 신경망 층을 구성하며, 캡션 문장 생성을 위한 매 순환 단계마다 이미지의 시각 정보를 이용할 수 있도록 컨볼루션 신경망 층의 출력을 순환 신경망 층의 초기 상태뿐만 아니라 멀티 모달 층의 입력에도 연결하는 구조를 가진다. Flickr8k, Flickr30k, MSCOCO 등의 공개 데이터 집합들을 이용한 다양한 비교 실험들을 통해, 캡션의 정확도와 모델 전이의 효과 면에서 본 논문에서 제시한 멀티 모달 순환 신경망 모델의 높은 성능을 확인할 수 있었다.

• 한국컴퓨터산업학회논문지
• /
• 제3권7호
• /
• pp.901-914
• /
• 2002

본 논문에서는 비디오에서 입력된 영상으로부터 내용기반 검색을 위해 자동으로 자막을 추출하여 특징 추출을 기반의 단층 연결 신경망 인식기(FE-MCBP)에 의해 자막 문자를 인식하여 영상 자막의 내용을 검출하는 방법을 제시하였다. 비디오에서 자막 추출은 먼저, 비디오에서 일정한 시간 간격으로 획득한 프레임 중에서 히스토그램 분석을 통하여 키 프레임을 찾는 과정을 수행하며, 그 다음에 각각의 키 프레임에 대하여 칼라 세그먼테이션 후 라인 검사 방법 통하여 자막 영역을 추출하도록 하였다. 마지막으로 추출된 자막영역에서 개별문자를 분리하였다. 본 연구에서는 칼라 히스토그램을 분석 후 지역 최대값을 이용하여 세그먼테이션 후 라인 검사를 수행함으로써 처리 속도와 자막영역 검출의 정확도를 개선하였다. 비디오에서 자막 추출은 비디오 정보를 멀티미디어 데이터베이스화하는 초기 단계로 추출된 자막은 바로 문자 인식기의 입력이 된다. 또한 인식된 자막정보는 데이터베이스로 구축되며 내용기반 검색 기법에 의해 검색되도록 하였다.

• 디지털콘텐츠학회 논문지
• /
• 제18권7호
• /
• pp.1323-1331
• /
• 2017

오늘날 저작권 관련 산업이 사회, 경제적으로 큰 영향을 미치는 대규모 산업으로 성장하였음에도 불구하고 저작물에 대한 소유권 및 저작권에 대한 문제가 끊임없이 발생하고 있으며 특히 이미지 저작권과 관련된 연구는 거의 진행되지 않는 상태이다. 본 연구에서는 기존의 문서 영상처리 기술과 딥 러닝 기술을 융합하여 교육용 도서 영상에서의 객체 자동 추출 및 분류 기술 시스템을 제안한다. 제안된 기술은 먼저 잡음을 제거한 후, 시각적 주의(visual attention) 기반 영역 추출 과정을 수행한다. 추출된 영역을 기반으로 블록화 작업을 수행하고, 각 블록을 그림인지 아니면 문자 영역인지를 분류한다. 마지막으로 추출된 그림 영역 주위를 검색하여 캡션 영역을 추출한다. 본 연구에서 진행한 성능 평가 결과, 그림 영역은 최대 97% 정확도를 보이며, 그림 및 캡션 영역 추출에 있어서는 평균 83%의 정확도를 보여 준다.

• 응용통계연구
• /
• 제34권2호
• /
• pp.191-204
• /
• 2021

시각질의응답과 이미지 캡셔닝은 이미지의 특징과 문장의 언어적인 특징을 이해하는 것을 요구하는 작업이다. 따라서 두 가지 작업 모두 이미지와 텍스트를 연결해 줄 수 있는 공동 어텐션이 핵심이라고 할 수 있다. 본 논문에서는 MSCOCO 데이터 셋에 대하여 사전 훈련된 transformer 모델을 이용 하여 캡션을 생성한 후 이를 활용해 시각질의응답의 성능을 높이는 모델을 제안하고자 한다. 이때 질 문과 관계없는 캡션은 오히려 시각질의응답에서 답을 맞히는데 방해가 될 수 있기 때문에 질문과의 유사도를 기반으로 질문과 유사한 일부의 캡션을 활용하도록 하였다. 또한 캡션에서 불용어는 답을 맞히는데 영향을 주지 못하거나 방해가 될 수 있기 때문에 제거한 후에 실험을 진행하였다. 기존 시 각질의응답에서 이미지와 텍스트간의 공동 어텐션을 활용하여 좋은 성능을 보였던 deep modular co-attention network (MCAN)과 유사도 기반의 선별된 캡션을 사용하여 VQA-v2 데이터에 대하여 실험을 진행하였다. 그 결과 기존의 MCAN모델과 비교하여 유사도 기반으로 선별된 캡션을 활용했을 때 성능 향상을 확인하였다.

• 대한전자공학회논문지SP
• /
• 제41권3호
• /
• pp.1-8
• /
• 2004

본 논문은 영상에서 등광도선 정보를 사용한 상표 및 자막영역의 원영상 복원 방법을 제안한다. 제안한 방법은 유사한 밝기값을 가진 픽셀들을 연결한 등광도선을 영상복원을 위한 정칙화 연산자로 사용하고, 이 정칙화 연산자를 가진 비용 함수를 유전자 알고리즘을 사용하여 최소화하는 픽셀값을 추정하여 영상을 복원한다. 제안한 방법을 영상에 포함된 상표 및 자막영역과 노이즈를 제거하고 원영상으로 복원하는데 적용한 결과, 정칙화 이론에서 사용하는 Laplacian과 같은 미분 연산자보다 등광도선 연산자가 ISNR의 향상과 복원효과가 뛰어남을 알 수 있다.

• 음성과학
• /
• 제12권1호
• /
• pp.135-142
• /
• 2005

An important aspect of video indexing is the ability to segment video into meaningful segments, i.e., content-based video segmentation. Since the audio signal in the sound track is synchronized with image sequences in the video program, a speech signal in the sound track can be used to segment video into meaningful segments. In this paper, we propose a new approach to content-based video segmentation. This approach uses closed caption to construct a recognition network for speech recognition. Accurate time information for video segmentation is then obtained from the speech recognition process. For the video segmentation experiment for TV news programs, we made 56 video summaries successfully from 57 TV news stories. It demonstrates that the proposed scheme is very promising for content-based video segmentation.

• 한국정보통신학회논문지
• /
• 제8권3호
• /
• pp.630-636
• /
• 2004

오디오 비디오 데이터의 활용이 증가함에 따라 멀티미디어 데이터의 내용에 대해 표현하려는 연구와 함께 멀티미디어 데이터의 내용이나 메타데이터를 저장하고, 검색하고, 조작하는 연구의 필요성이 증가하였다. 멀티미디어 데이터 표현은 사용자가 원하는 내용만을 쉽게 검색하고, 접근할 수 있도록 표현되고 저장되어야 한다. 본 논문은 멀티미디어 데이터가 포함된 문서를 검색하기 위해서 멀티미디어 데이터의 캡션(Caption) 정보를 이용하거나 문서 내용을 기반으로 멀티미디어 데이터를 검색 할 수 있는 시스템을 설계하고 구현하였다. 멀티미디어 데이터의 캡션 정보와 문서의 텍스트는 모두 키워드를 추출하기 위해 필터링(Filtering) 단계를 거치고, B+ 트리를 이용한 역 파일 구조를 사용하여 빠르고 대용량의 문서 검색을 할 수 있도록 하였다.