• Proceedings of the Acoustical Society of Korea Conference
• /
• spring
• /
• pp.163-166
• /
• 2002

본 논문에서는 ETRI 방송 뉴스 자막 처리 시스템의 성능 향상을 도모하기 위해 개발된 미등록어 검출기에 대해 기술한다. 음성 인식 성능 하락에 큰 영향을 미치는 요인들 중 하나로 꼽히는 미등록어 문제를 해결하기 위해 ETRI 방송 뉴스 자막 처리 시스템에서는 오프라인으로 동작하는 미등록어 검출기를 채택하였다. 이 미등록어 검출기는 방송 뉴스 자막 처리 시스템 가동 전에 미리 인터넷을 통해 최신 신문 기사와 방송 뉴스를 수집해와 이를 토대로 두 단계에 걸쳐 미등록어를 사전에 추출하여 인식 어휘 사전에 포함시킴으로써 미등록어로 인한 방송 뉴스의 인식 성능 저하 문제를 해결하도록 하였다.

• Journal of The Institute of Information and Telecommunication Facilities Engineering
• /
• v.8 no.2
• /
• pp.72-77
• /
• 2009

A number of new DTV technologies have been introduced to provide crystal clear picture and enhanced sound. HDTV, in particular has four times resolution of conventional TV along with 16:9 aspect ratio. Also the introduction of the new technologies offered a valuable basis for character graphics which was only an assistant method to deliver visual images effectively. Various sizes of displays for different applications such as high definition TV and mobile multimedia services have created demands for additional features of character graphics including proper letter fonts, colors, moving effects as much. This article analyzes in what way the visual elements above can affect uses' visual perception. New CG formats designed for OSMU, one source multi use, are also suggested available to each media. For the research three groups of CG designers, art directors and productions/distribution groups are established according to production process by two Delphi surveys of TV production staff.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2004.11a
• /
• pp.637-640
• /
• 2004

논문에서는 자막의 구조적 특징을 이용하여 축구 비디오 하이라이트를 생성하는 방법을 제시한다. 자막의 구조적 특징은 자막이 갖는 시간적 특징과 공간적 특징으로서 이러한 구조적 특징을 이용하여 자막 프레임 구간과 자막 키 프레임을 추출한다. 그리고 하이라이트 비디오는 자막 키 프레임들에 대한 장면 재설정과 논리적 색인화 및 하이라이트 생성 규칙을 이용하여 생성한다. 마지막으로, 브라우저를 통한 사용자의 항목 선택에 의하여 하이라이트 비디오와 비디오 세그먼트에 대한 검색과 브라우징을 수행할 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2001.10a
• /
• pp.817-820
• /
• 2001

비디오 데이터에서 캡션은 비디오의 중요한 부분과 내용을 나타내는 가장 보편적인 방법이다. 본 논문에서는 축구 비디오에서 캡션이 갖는 특징을 분석하고 캡션에 의한 키 프레임을 추출하도록 하며, 하이라이트 생성 규칙에 따라 하이라이트를 생성하도록 한다. 키 프레임 추출은 이벤트 발생에 따른 캡션의 등장과 캡션 내용의 변화를 추출하는 것으로 탬플리트 매칭과 지역적 차영상을 통하여 추출하며 샷을 재설정 하여 중요 이벤트를 포함한 하이라이트를 생성하도록 한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10b
• /
• pp.359-361
• /
• 2000

본 논문에서는 비디오 자막 이미지를 인식하기 위해 필요한 영상 향상의 단계로서 다중 결합을 적용한다. 또한 다중 결합을 위한 동일한 자막의 판단 및 결합된 결과를 재평가하기 위한 방법을 제안한다. 입력된 칼라 이미지로부터 RLS(Run Length Smearing)가 적용된 에지 이미지를 얻고, 수직 및 수평 히스토그램 분포를 이용하여 자막과 자막 영역에 대한 정보를 추출한다. 프레임 내의 자막 영역의 중첩 정도를 이용하여 동일 자막을 판단하고, 동일한 자막을 갖는 프레임들끼리 다중 결합을 수행함으로써 향상된 이미지를 얻는다. 끝으로 결합된 영상에 대한 평가를 수행하여 잘못 결합된 이미지들로 인한 오류를 해결하고 재평가한다. 제안한 방법을 통해, 배경 부분의 잡영이 완화된 자막 이미지를 추출하여 인식의 정확성과 신뢰성을 높일 수 있었다. 또한 동일한 자막의 시작 프레임과 끝 프레임의 위치 파악은 디지털 비디오의 색인 및 검색에 효과적으로 이용될 수 있을 것이다.

• Proceedings of the KIEE Conference
• /
• 2003.07d
• /
• pp.2720-2722
• /
• 2003

이 논문은 연속적인 비디오 영상에서 시간적인 정보를 최대한 이용하는 새로운 캡션검출과 인식알고리즘을 제안하였다. 누적된 차영상 정보로부터 비디오에서 캡션의 시공간적인 위치를 찾아내기 위하여 구문등록 기술을 이용하였다. 그리고 복잡한 배경 영상의 문제를 해결하기 위하여 새로운 다중 프레임 인티그레이션 방법을 이용하였다. 기존 논문과는 달리 빠른 속도의 수행을 위하여 복잡한 계산 과정을 포함하지 않는다. 본 논문에서 제안한 방법은 다양한 뉴스 데이터 영상에서 적용되었고, 그 결과는 아주 정확하고 효과적이었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2002.04b
• /
• pp.883-886
• /
• 2002

인터넷의 시대에 들어오게 되면서 현대는 무한한 정보바다의 물결에 휩쓸려가고 있으며 이러한 경향과 더불어 멀티미디어 데이터의 양도 급격히 늘어나고 있다. 인터넷의 가장 큰 특징이자 장점인 접근 가능성은 무제한으로 어떠한 정보 컨텐츠라도 이용 가능하게 한다. 그렇지만 접근 가능성은 누구나 쉽게 디지털 정보의 복제를 가능하게 함으로써 타인의 지적 재산권에 침해를 줄 수 있게 되었다. 이를 해결하기 위한 방법으로 워터마크 연구가 활발히 이루어지고 있다. 본 논문에서는 동영상 자막 정보인 SMI 파일을 동영상 내에 숨기는 방법을 이용하여 자막 정보 및 동영상 정보의 저작권 및 무결성 보호를 하고자 한다. 본 논문에서는 자막 정보를 분리, 암호화하여 동영상 내의 프레임에 삽입하는 방법을 제시한다. 동영상에 영향을 미치지 않는 각 프레임 내의 최하위 비트에 자막 정보를 삽입하여 다른 사람들이 동영상을 편집한 경우에는 자막 정보를 제공받지 못하도록 한다.

• Journal of Korea Game Society
• /
• v.19 no.5
• /
• pp.143-150
• /
• 2019

Deaf subtitles provide the hearing impaired with visual elements, commentary, and enjoyment of TV programs. Subtitles in game play are a great help to the game play for the hearing impaired as well as the average user. This paper aims at the academic research on the BIT subtitle system BIT, and is intended to help game play and game broadcasting of the hearing impaired.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.11a
• /
• pp.153-155
• /
• 2018

정확한 영상 검색을 지원하기 위해 다양한 데이터와 방법들을 통한 메타데이터 생성 연구들이 이루어지고 있다. 자막 데이터를 기존의 키워드 기반의 메타데이터 생성 방법을 이용했을 경우, 구어체, 불완전 문장의 특징을 가진 특징을 반영하는데 어려움이 있었다. 또한, 단순히 키워드 매칭에 의존하기 때문에 문장에 중의적 단어가 포함되어 있을 경우에 검색 정확도가 떨어진다는 한계점이 있다. 따라서, 본 논문에서는 이러한 문제를 해결하기 위해 문장 전체를 특정 단위로 표현한 메타데이터를 생성한다. 이를 위해 비지도 학습인 RNN-LSTM 기반 네트워크를 이용하여 자막을 인코딩하고 장면 지식으로 생성하는 방법을 제안한다. 실험에서는 본 시스템을 통해 임의의 자막을 입력하고 유사도 기반의 결과 비교를 통해 자막 메타데이터의 정성적 평가를 수행하였다.

• IEMEK Journal of Embedded Systems and Applications
• /
• v.17 no.6
• /
• pp.347-353
• /
• 2022

In this paper, we propose a method that performs a text-video retrieval model by replacing video properties using captions. In general, the exisiting embedding-based models consist of both joint embedding space construction and the CNN-based video encoding process, which requires a lot of computation in the training as well as the inference process. To overcome this problem, we introduce a video-captioning module to replace the visual property of video with captions generated by the video-captioning module. To be specific, we adopt the caption generator that converts candidate videos into captions in the inference process, thereby enabling direct comparison between the text given as a query and candidate videos without joint embedding space. Through the experiment, the proposed model successfully reduces the amount of computation and inference time by skipping the visual processing process and joint embedding space construction on two benchmark dataset, MSR-VTT and VATEX.