• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.94-98
• /
• 2009

메이저리그 야구 중계 등 해외 스포츠 중계제작에서 해결해야 할 문제 중 하나는 MPH(miles per hour)와 같이 영미식 단위로 표시된 자막을 국내 실정에 맞게 km/h 등으로 변환하는 것이다. 이를 위해 중계화면에 표시된 자막영역의 변화로부터 해당 자막이 표시되었음을 감지하고 숫자 정보를 인식하여 이를 국내실정에 맞는 SI 단위로 변환하는 스포츠 자막 인식 시스템을 개발하였다. 변환된 자막은 후단의 문자발생기 (CG) 시스템으로 전달되어 최종적으로 TV 화면에 표시된다. 일반적으로 문자 인식에 주로 사용되는 신경망(neural networks) 기반 방식은 사전에 유사 데이터를 이용한 신경망의 학습(training) 과정이 필수적으로 요구되며, 또한 학습에 사용된 데이터와 다른 모양의 자막이 예고 없이 사용되었을 경우 대처할 수 없다는 단점이 있다. 생방송이라는 사용 환경을 고려하여 새로운 폰트로 제작된 자막에도 신속하게 대처할 수 있는 템플릿 매칭(template matching) 방식을 사용하였다. 여러 가지 실험 영상으로 테스트한 결과 97% 이상의 정확한 인식 결과를 얻었으며, 정확성을 요하는 생방송의 특성상 매칭의 확신도(confidence)가 높지 않은 경우에는 작업자가 판단한 후 핫키를 이용하여 정확한 자막을 출력할 수 있게 하였다.

• 한국멀티미디어학회논문지
• /
• 제22권11호
• /
• pp.1223-1232
• /
• 2019

The injection is the input method of the image feature vector from the encoder to the decoder. Since the image feature vector contains object details such as color and texture, it is essential to generate image captions. However, the bidirectional decoder model using the existing injection method only inputs the image feature vector in the first step, so image feature vectors of the backward sequence are vanishing. This problem makes it difficult to describe the context in detail. Therefore, in this paper, we propose the parallel injection method to improve the description performance of image captions. The proposed Injection method fuses all embeddings and image vectors to preserve the context. Also, We optimize our image caption model with Bidirectional Gated Recurrent Unit (Bi-GRU) to reduce the amount of computation of the decoder. To validate the proposed model, experiments were conducted with a certified image caption dataset, demonstrating excellence in comparison with the latest models using BLEU and METEOR scores. The proposed model improved the BLEU score up to 20.2 points and the METEOR score up to 3.65 points compared to the existing caption model.

• 한국통신학회논문지
• /
• 제41권7호
• /
• pp.823-832
• /
• 2016

본 논문에서는 UHD(Ultra High Definition) 방송 표준 수신기 검증을 위한 시험 스트림 제작 방법을 제안한다. 제안하는 시험 스트림은 비디오/오디오 시험 스트림, 시스템/자막 시험 스트림으로 구성된다. 비디오/오디오 시험 스트림은 HEVC (High Efficiency Video Coding) 비디오 표준 및 Dolby AC(Audio Coding)-3와 DTS(Digital Theater System)-HD(High Definition) 오디오 표준 시험에 사용 가능하며, 시스템/자막 시험 스트림은 PSIP(Program and System Information Protocol)과 자막 (Closed caption) 표준 수신기 검증 및 시험에 사용 가능하다. 개발된 HEVC 비디오 표준 시험 스트림은 신택스를 검증하기 위한 표준적합 시험 스트림과 에러 동작 검증을 위한 에러 시험 스트림으로 구분하여 제작하였다.

• 한국인터넷방송통신학회논문지
• /
• 제10권4호
• /
• pp.177-182
• /
• 2010

자막의 원영상 복원은 동영상 재 사용성이란 측면에서 많은 연구가 진행되어 왔다. 외국에서 수입된 동영상의 경우 외국어 자막이 삽입된 경우가 종종 발생하며 자막에 삽입된 외국어를 자국어로 대치할 필요가 종종 발생한다. 원영상 손실없이 자연스런 자막교환을 위해서는 자막 부분의 원영상 복원이 필요하며, 자막의 원영상 복원은 동영상 재 사용성이란 측면에서 많은 연구가 진행되어 왔다. 이러한 원영상 복원의 중요성에 불구하고 복원의 대상이 되는 자막 특성에 대한 체계적인 분석이 이루어 지지 않는 문제점이 있다고 볼 수 있다. 본 논문에서는 TV 프로그램 장르별 구분 방법을 학계, 방송사, 방송기구별로 분류 조사하고, 각 장르별 자막의 출현 빈도, 자막 내용의 중요도 및 복원의 필요성에 대하여 분석한다. 복원의 필요성이 크게 인식되는 자막에 대한 특성을 분석하고 그 정보를 복원 정보로 사용한다.

• ETRI Journal
• /
• 제24권1호
• /
• pp.1-11
• /
• 2002

A video summary abstracts the gist from an entire video and also enables efficient access to the desired content. In this paper, we propose a novel method for summarizing news video based on multimodal analysis of the content. The proposed method exploits the closed caption data to locate semantically meaningful highlights in a news video and speech signals in an audio stream to align the closed caption data with the video in a time-line. Then, the detected highlights are described using MPEG-7 Summarization Description Scheme, which allows efficient browsing of the content through such functionalities as multi-level abstracts and navigation guidance. Multimodal search and retrieval are also within the proposed framework. By indexing synchronized closed caption data, the video clips are searchable by inputting a text query. Intensive experiments with prototypical systems are presented to demonstrate the validity and reliability of the proposed method in real applications.

• 대한전자공학회논문지SP
• /
• 제41권3호
• /
• pp.1-8
• /
• 2004

본 논문은 영상에서 등광도선 정보를 사용한 상표 및 자막영역의 원영상 복원 방법을 제안한다. 제안한 방법은 유사한 밝기값을 가진 픽셀들을 연결한 등광도선을 영상복원을 위한 정칙화 연산자로 사용하고, 이 정칙화 연산자를 가진 비용 함수를 유전자 알고리즘을 사용하여 최소화하는 픽셀값을 추정하여 영상을 복원한다. 제안한 방법을 영상에 포함된 상표 및 자막영역과 노이즈를 제거하고 원영상으로 복원하는데 적용한 결과, 정칙화 이론에서 사용하는 Laplacian과 같은 미분 연산자보다 등광도선 연산자가 ISNR의 향상과 복원효과가 뛰어남을 알 수 있다.

• 방송공학회논문지
• /
• 제7권2호
• /
• pp.107-113
• /
• 2002

본 논문에서는 자동으로 야구 비디오를 요약하는 방법과 이를 구현한 소프트웨어 시스템을 제안한다. 제안된 시스템은 빠른 수행 속도와 정확성 높은 요약 결과를 추구한다. 이를 위해 압축비디오상의 특징 값에 기반 한 빠른 비디오 분할과 간단한 자막 인식을 수행하여 야구 경기에서 중요한 이벤트들을 검출한다. 또한, 본 시스템은 여러 레벨의 비디오 요약을 지원하기 위해 계층적 구조의 내용 기술을 지원한다.

• 한국실내디자인학회논문집
• /
• 제19권5호
• /
• pp.198-208
• /
• 2010

The purpose of this study is to elicit the planning factors for the embodiment of sense of place in public library. This study analyzes qualitatively the good places where the children seek for and evaluate in children's library. The primary method of survey in this study is the caption evaluation. The survey is conducted in libraries of three types. In the caption evaluation, children take good places into photograph by themselves and are asked for reasons, features and physical characteristics for the pictures on good places. Through the study of the preceding studies, this study takes four analysis frames, Path, Occupancy Place, Edge and Mark. According to four analysis frames, the principal features, physical characteristics and the examples in libraries of domestic and foreign country are put in order. The meanings of this study are summarized as followings; presenting the method of user's positive evaluation, studying the sense of place in children's view point, and presenting the interrelation pattern for embodiment of the rich sense of place.

• 융합신호처리학회 학술대회논문집
• /
• 한국신호처리시스템학회 2000년도 추계종합학술대회논문집
• /
• pp.57-60
• /
• 2000

동영상 데이터와 같은 영상자료는 많은 활용분야를 가지고 있지만, 비정형성과 구조의 복잡성으로 인하여 손쉽게 검색을 하거나 재사용하는 데 있어서 많은 어려움을 가지고 있다. 본 논문에서는 동영상과 같은 멀티미디어 데이터를 구조적이고 체계화된 형태로 기술한 언어인 SMIL과 SAMI를 사용하여 동영상과 동기화 되어있는 폐쇄자막을 기반으로 동영상을 검색하는 시스템을 구현하였다. 사용자의 검색어를 입력받아 자막파일에서 검색어를 가지고 있는 문자열에서 시간 요소를 추출하여 해당하는 동영상 화면을 보여주는 구조를 가지고 있다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국지능시스템학회 2007년도 추계학술대회 학술발표 논문집
• /
• pp.172-175
• /
• 2007

영상에 나타나는 자막은 영상과 관계가 있는 정보를 포함한다. 이러한 자막의 정보를 이용하기 위해 영상으로부터 자막을 추출하는 연구는 근래에 들어 활발히 진행되고 있다. 기존의 연구는 일정한 높이의 자막이나 획의 두께를 가진 자막만을 추출하였다. 본 논문에서는 일정 크기 이상의 크기에 무관한 자막을 추출하는 방법을 제안한다. 먼저, 자막 추출을 위해서 영상에 포함된 픽셀들의 연결 객체를 생성하였다. 그리고 연결 객체 중에서 자막의 형태적인 특정의 패턴을 분석하고, 패턴을 이용하여 자막을 추출하였다. 실험에 사용된 영상은 다큐멘터리, 쇼 프로그램과 같은 대중 방송에서 획득하였으며, 실험 결과는 다양한 크기의 자막을 포함한 영상을 사용하여 실험하였고, 자막 추출의 결과는 찾아진 연결객체 중에 자막의 비율과 자막 중에 찾아진 자막의 비율로 분석하였다. 제안한 방법에 의해 다양한 크기의 자막을 추출할 수 있었다.