• Title/Summary/Keyword: Korean caption

Search Result 87, Processing Time 0.03 seconds

A method for creating the Scene closed-caption metadata based on RNN-LSTM (RNN-LSTM 기반 장면 자막 메타데이터 생성 방법)

  • Kwak, Chang-Uk;Kim, Sun-Joong
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2018.11a
    • /
    • pp.153-155
    • /
    • 2018
  • 정확한 영상 검색을 지원하기 위해 다양한 데이터와 방법들을 통한 메타데이터 생성 연구들이 이루어지고 있다. 자막 데이터를 기존의 키워드 기반의 메타데이터 생성 방법을 이용했을 경우, 구어체, 불완전 문장의 특징을 가진 특징을 반영하는데 어려움이 있었다. 또한, 단순히 키워드 매칭에 의존하기 때문에 문장에 중의적 단어가 포함되어 있을 경우에 검색 정확도가 떨어진다는 한계점이 있다. 따라서, 본 논문에서는 이러한 문제를 해결하기 위해 문장 전체를 특정 단위로 표현한 메타데이터를 생성한다. 이를 위해 비지도 학습인 RNN-LSTM 기반 네트워크를 이용하여 자막을 인코딩하고 장면 지식으로 생성하는 방법을 제안한다. 실험에서는 본 시스템을 통해 임의의 자막을 입력하고 유사도 기반의 결과 비교를 통해 자막 메타데이터의 정성적 평가를 수행하였다.

  • PDF

Design of Emotion Subtitles System based on Terrestrial UHD TV for the Hearing-Impaired (청각장애인을 위한 지상파 UHD 기반 감정표현 자막 수신 시스템 설계)

  • Song, Jinhyuk;Bae, Byungjun;Cho, Sukhee;Ahn, Chunghyun
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2021.06a
    • /
    • pp.135-136
    • /
    • 2021
  • 최근 지상파 UHD 방송에서는 자막을 비디오 패킷에 삽입하여 전달하는 기존 방식이 아닌 별도의 전송로로 전달하는 폐쇄형 자막(closed caption) 방식을 적용하고 있다. 또한 자막에는 문자 뿐만 아니라 이미지까지 포함하여 청각장애인의 프로그램 이해도를 높이는데 활용할 수 있다. 따라서 본 논문에서는 청각장애 시청자가 방송 콘텐츠 내용의 이해도를 향상시키기 위하여 지상파 UHD 방송에서 기존의 문자 자막과 움직이는 이미지 자막(=감정표현 자막)을 수신하여 동시에 표현할 수 있는 수신시스템을 제안한다.

  • PDF

Synchronization of VOD Content and Captions Using Speech Recognition and Modified Dynamic Programming (음성인식과 변경된 동적계획법을 이용한 VOD 콘텐트와 자막의 동기화)

  • Oh, Juhyun
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2021.06a
    • /
    • pp.131-134
    • /
    • 2021
  • 지상파 방송에서는 청각장애인을 위해 폐쇄자막(closed caption) 서비스가 제공되고 있지만, 이를 저장하여 VOD 서비스 등에 제공하고자 할 때는 영상과의 비동기화(desynchronization) 문제로 인해 활용할 수 없는 문제가 있다. 본 논문에서는 이를 해결하기 위해 자동 음성인식(automatic speech recognition)과, 자막 동기화 문제에 맞게 변경된 동적계획법(modified dynamic programming)을 이용하는 방법을 제안한다. 문자열 정렬에서 삽입과 삭제 등 간격(gap)의 발생을 제어하는 제약조건과 그에 따른 점수 구조를 적용함으로써 문자열 정렬 성능을 개선한다. 또한 정렬된 폐쇄자막과 음성인식 문자열로부터 시간 동기정보를 복원하고 동기화된 자막을 생성하는 방법을 제안한다. 실제 TV 프로그램과 자막에 적용하여 기존 방법에 비해 성능의 향상이 있음을 확인하였다.

  • PDF

Development and Enhancement of Automatic Caption Generation System based on Speech-to-Text for the Hearing Impaired (청각장애인을 위한 음성-자막 자동 변환 시스템 개발 및 음성 인식률 고도화)

  • Choi, Mi-Ae;Kim, Seung-Hyun;Jo, Min-Ae;Park, Dong-young;Kim, Yong-Ho;Yoon, Jong-hoo
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2020.07a
    • /
    • pp.465-468
    • /
    • 2020
  • 인터넷 미디어, OTT, VOD 등 신규미디어가 비장애인의 정보제공 매체로 널리 확대되나, 자막 서비스를 제공하지 않아 청각장애인의 정보 격차가 더욱 심화되고 있다. 청각장애인의 미디어 접근성 제고를 위해 음성인식 서버 및 스마트 폰·태블릿 앱 간 연계를 통해 음성을 인식하여 자동으로 자막을 생성하고 표시하는 음성-자막 자동 변환 시스템을 개발하였고 음성인식률을 높이기 위해 뉴스/시사/다큐 장르 영상 콘텐츠의 음성에 대해 학습용 데이터를 제작하여 음성인식 성능을 고도화 시켰다. 본 논문에서는 청각장애인을 위한 음성-자막 자동 변환시스템 구성과 음성인식률 비교 평가 결과를 보여준다.

  • PDF

Efficient Caption Detection Algorithm Using Temporal Information in Video (시간적 정보를 이용한 비디오에서의 효과적인 캡션 검출 알고리즘)

  • Kim, Su-Yeon;Shin, Chung-Ho;Kwon, Chul-Hyun;Park, Sang-Hui
    • Proceedings of the KIEE Conference
    • /
    • 2003.07d
    • /
    • pp.2720-2722
    • /
    • 2003
  • 이 논문은 연속적인 비디오 영상에서 시간적인 정보를 최대한 이용하는 새로운 캡션검출과 인식알고리즘을 제안하였다. 누적된 차영상 정보로부터 비디오에서 캡션의 시공간적인 위치를 찾아내기 위하여 구문등록 기술을 이용하였다. 그리고 복잡한 배경 영상의 문제를 해결하기 위하여 새로운 다중 프레임 인티그레이션 방법을 이용하였다. 기존 논문과는 달리 빠른 속도의 수행을 위하여 복잡한 계산 과정을 포함하지 않는다. 본 논문에서 제안한 방법은 다양한 뉴스 데이터 영상에서 적용되었고, 그 결과는 아주 정확하고 효과적이었다.

  • PDF

Analysis of the Reading Materials in the Chemistry Domain of Elementary School Science and Middle School Science Textbooks and Chemistry I and II Textbooks Developed Under the 2009 Revised National Science Curriculum (2009 개정 초등학교와 중학교 과학 교과서의 화학 영역 및 화학 I, II 교과서의 읽기자료 분석)

  • An, Jihyun;Jung, Yooni;Lee, Kyuyul;Kang, Sukjin
    • Journal of the Korean Chemical Society
    • /
    • v.63 no.2
    • /
    • pp.111-122
    • /
    • 2019
  • In this study, the characteristics of the reading materials in the chemistry domain of elementary school science and middle school science textbooks and chemistry I and II textbooks developed under the 2009 Revised National Science Curriculum were investigated. The criteria for classifying the reading materials were the types of theme, purpose, types of presentation, and students' activity. The inscriptions in the reading materials were also analyzed from the viewpoint of type, role, caption and index, and proximity type. The results indicated that more reading materials were included in the elementary science textbooks compared to middle school science, chemistry I, and/or chemistry II textbooks. The percentage of application in everyday life theme was high in the reading materials of elementary science textbooks, whereas the percentage of scientific knowledge theme was high in those of middle school science, chemistry I, and/or chemistry II textbooks. It was also found that the percentage of expanding concepts purpose was high in the reading materials of elementary science textbooks, whereas the percentage of supplementing concepts purpose was high in those of middle school science, chemistry I, and/or chemistry II textbooks. Several limitations in the use of inscriptions were found to exist; most inscriptions were photograph and/or illustration; most inscriptions were supplementing or elaborating texts; many inscriptions were presented without a caption or an index; there was a problem in the proximity of inscriptions to text.

Korean Caption Extraction with Decision Tree (의사결정 트리를 이용한 한글 자막 추출)

  • Jung, Je-Hee;Lee, Seun-Hoon;Kim, Jae-Kwang;Lee, Jee-Hyong
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2008.06c
    • /
    • pp.527-532
    • /
    • 2008
  • 자막은 영상과 관련이 있는 정보를 포함한다. 이러한 영상의 정보를 이용하기 위해서 자막을 추출하는 연구가 진행되고 있다. 기존의 자막 추출 연구는 언어 독립적인 특징으로 자막을 이루는 획의 에지는 일정한 간격을 유지하거나 수평라인으로 존재하는 글자의 분포를 이용한 방법을 제안하였다. 이러한 방법들은 획의 간격이 일정한 자막이나 하나의 글자가 하나의 획으로 이루어진 글자에서만 정상적인 동작을 보장하였다. 본 논문에서는 한글 자막 특징을 고려한 자막 추출 방법을 제안한다. 먼저, 한글 자막의 특징인 가로 획의 다수 분포를 고려한 적응형 에지 이진화를 수행하여 에지 영상을 생성하고 에지 연결 객체를 생성한다. 그 후에 생성한 연결 객체를 특징을 추출하여 사전에 생성한 의사결정 트리로 연결 객체를 자막과 비자막 연결객체로 분류한다. 의사결정 트리를 생성하기 위해서 사용한 연결 객체는 뉴스, 다큐멘터리 프로그램에서 획득하였으며, 성능 평가를 위해서 뉴스, 다큐멘터리, 스포츠 프로그램과 같은 대중 방송에서 획득한 영상에서 자막을 추출하였다. 평가 방법은 찾아진 연결 객체 중에 자막 연결 객체의 비율과 전체 자막 중에서 찾아진 자막 연결 객체의 비율로 분석하였다. 실험 결과에서는 제안한 방법이 한글 자막의 추출에 적용 가능함을 보여준다.

  • PDF

Korean Image Caption Generator Based on Show, Attend and Tell Model (Show, Attend and Tell 모델을 이용한 한국어 캡션 생성)

  • Kim, Dasol;Lee, Gyemin
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2022.11a
    • /
    • pp.258-261
    • /
    • 2022
  • 최근 딥러닝 기술이 발전하면서 이미지를 설명하는 캡션을 생성하는 모델 또한 발전하였다. 하지만 기존 이미지 캡션 모델은 대다수 영어로 구현되어있어 영어로 캡션을 생성하게 된다. 따라서 한국어 캡션을 생성하기 위해서는 영어 이미지 캡션 결과를 한국어로 번역하는 과정이 필요하다는 문제가 있다. 이에 본 연구에서는 기존의 이미지 캡션 모델을 이용하여 한국어 캡션을 직접 생성하는 모델을 만들고자 한다. 이를 위해 이미지 캡션 모델 중 잘 알려진 Show, Attend and Tell 모델을 이용하였다. 학습에는 MS-COCO 데이터의 한국어 캡션 데이터셋을 이용하였다. 한국어 형태소 분석기를 이용하여 토큰을 만들고 캡션 모델을 재학습하여 한국어 캡션을 생성할 수 있었다. 만들어진 한국어 이미지 캡션 모델은 BLEU 스코어를 사용하여 평가하였다. 이때 BLEU 스코어를 사용하여 생성된 한국어 캡션과 영어 캡션의 성능을 평가함에 있어서 언어의 차이에 인한 결과 차이가 발생할 수 있으므로, 영어 이미지 캡션 생성 모델의 출력을 한국어로 번역하여 같은 언어로 모델을 평가한 후 최종 성능을 비교하였다. 평가 결과 한국어 이미지 캡션 생성 모델이 영어 이미지 캡션 생성 모델을 한국어로 번역한 결과보다 좋은 BLEU 스코어를 갖는 것을 확인할 수 있었다.

  • PDF

A Study on the Nucleophilic Addition Reaction of L-cysteine for PVS (PVS 유도체에 대한 L-Cysteine의 친핵성 첨가반응에 관한 연구)

  • Lee, Ki-Chang;Lee, Kwang-Iil;Yoon, Chul-Hun;Hwang, Sung-Kwy;Kong, Seung-Dae
    • Journal of the Korean Applied Science and Technology
    • /
    • v.12 no.2
    • /
    • pp.99-105
    • /
    • 1995
  • Phenylvinylsulfone derivatives were synthesized by Kirners condition. The structure of these compounds were ascertained by means of ultraviolet, melting point, IR and $^1H-NMR$ spectra. The nucleophilic addtion reaction kinetics of L-cysteiene for phenylvinylsulfone was investigated by ultraviolet spectrophotometery in 40% $EtOH-H_2O$ at $25^{\circ}C$. The rate equations which were applied over a wide pH $1.0{\sim}13.0$ range. On the basis of general base catalysis and confirmation of addtion reaction product, the nucleophilic addtion reaction kinetics of L-cysteiene for phenylvinylsulfone were measured by the pH change. From the result of the above caption, a plausible nucleophilic addtion reaction mechanism of L-cysteiene for phenylvinylsulfone was proposed. These compounds may by used ad the starting materials for the preparation of the engineering plastics or the germicide.

A Study on the MARC Format for Holdings Data (소장데이터용 MARC 포맷에 관한 연구)

  • Oh Dong-Geun
    • Journal of the Korean Society for Library and Information Science
    • /
    • v.33 no.3
    • /
    • pp.63-86
    • /
    • 1999
  • This article investigates the general characteristics and developments of the MARC format for holdings data. It also analyzes the record structure, content designation, and the content of it, mainly based on USMARC and KORMARC formats. Structure and content designation of them are almost same with those of the bibliographic and authority formats. The data fields divided into functional blocks based on their functions, but only 0XX, 5XX, 8XX fields are used in the holdings formats. Record contents of the data in the 008 fields include more elements related to the holdings and acquisition information. Variable fields can be grouped into several blocks, including those for numbers and codes; for notes fields, for location , and for holdings data. Holdings data fields include caption and pattern fields, enumeration and chronology fields, textual holdings fields, and item information fields. This article analyzes the content in each data fields in detail.

  • PDF