• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 추계학술발표대회
• /
• pp.865-868
• /
• 2017

일반적으로 비디오로부터 캡션을 생성하는 작업은 입력 비디오로부터 특징을 추출해내는 과정과 추출한 특징을 이용하여 캡션을 생성해내는 과정을 포함한다. 본 논문에서는 효과적인 비디오 캡션 생성을 위한 심층 신경망 모델과 그 학습 방법을 소개한다. 본 논문에서는 입력 비디오를 표현하는 시각 특징 외에, 비디오를 효과적으로 표현하는 동적 의미 특징과 정적 의미 특징을 입력 특징으로 이용한다. 본 논문에서 입력 비디오의 시각 특징들은 C3D, ResNet과 같은 합성곱 신경망을 이용하여 추출하지만, 의미 특징은 본 논문에서 제안하는 의미 특징 추출 네트워크를 활용하여 추출한다. 그리고 이러한 특징들을 기반으로 비디오 캡션을 효과적으로 생성하기 위하여 선택적 주의집중 캡션 생성 네트워크를 제안한다. Youtube 동영상으로부터 수집된 MSVD 데이터 집합을 이용한 다양한 실험을 통해, 본 논문에서 제안한 모델의 성능과 효과를 확인할 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2001년도 추계학술발표논문집 (상)
• /
• pp.817-820
• /
• 2001

비디오 데이터에서 캡션은 비디오의 중요한 부분과 내용을 나타내는 가장 보편적인 방법이다. 본 논문에서는 축구 비디오에서 캡션이 갖는 특징을 분석하고 캡션에 의한 키 프레임을 추출하도록 하며, 하이라이트 생성 규칙에 따라 하이라이트를 생성하도록 한다. 키 프레임 추출은 이벤트 발생에 따른 캡션의 등장과 캡션 내용의 변화를 추출하는 것으로 탬플리트 매칭과 지역적 차영상을 통하여 추출하며 샷을 재설정 하여 중요 이벤트를 포함한 하이라이트를 생성하도록 한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 추계학술발표대회
• /
• pp.617-620
• /
• 2016

본 논문에서는 이미지 캡션 생성과 모델 전이에 효과적인 심층 신경망 모델을 제시한다. 본 모델은 멀티 모달 순환 신경망 모델의 하나로서, 이미지로부터 시각 정보를 추출하는 컨볼루션 신경망 층, 각 단어를 저차원의 특징으로 변환하는 임베딩 층, 캡션 문장 구조를 학습하는 순환 신경망 층, 시각 정보와 언어 정보를 결합하는 멀티 모달 층 등 총 5 개의 계층들로 구성된다. 특히 본 모델에서는 시퀀스 패턴 학습과 모델 전이에 우수한 LSTM 유닛을 이용하여 순환 신경망 층을 구성하고, 컨볼루션 신경망 층의 출력을 임베딩 층뿐만 아니라 멀티 모달 층에도 연결함으로써, 캡션 문장 생성을 위한 매 단계마다 이미지의 시각 정보를 이용할 수 있는 연결 구조를 가진다. Flickr8k, Flickr30k, MSCOCO 등의 공개 데이터 집합들을 이용한 다양한 비교 실험을 통해, 캡션의 정확도와 모델 전이의 효과 면에서 본 논문에서 제시한 멀티 모달 순환 신경망 모델의 우수성을 입증하였다.

• 응용통계연구
• /
• 제34권2호
• /
• pp.191-204
• /
• 2021

시각질의응답과 이미지 캡셔닝은 이미지의 특징과 문장의 언어적인 특징을 이해하는 것을 요구하는 작업이다. 따라서 두 가지 작업 모두 이미지와 텍스트를 연결해 줄 수 있는 공동 어텐션이 핵심이라고 할 수 있다. 본 논문에서는 MSCOCO 데이터 셋에 대하여 사전 훈련된 transformer 모델을 이용 하여 캡션을 생성한 후 이를 활용해 시각질의응답의 성능을 높이는 모델을 제안하고자 한다. 이때 질 문과 관계없는 캡션은 오히려 시각질의응답에서 답을 맞히는데 방해가 될 수 있기 때문에 질문과의 유사도를 기반으로 질문과 유사한 일부의 캡션을 활용하도록 하였다. 또한 캡션에서 불용어는 답을 맞히는데 영향을 주지 못하거나 방해가 될 수 있기 때문에 제거한 후에 실험을 진행하였다. 기존 시 각질의응답에서 이미지와 텍스트간의 공동 어텐션을 활용하여 좋은 성능을 보였던 deep modular co-attention network (MCAN)과 유사도 기반의 선별된 캡션을 사용하여 VQA-v2 데이터에 대하여 실험을 진행하였다. 그 결과 기존의 MCAN모델과 비교하여 유사도 기반으로 선별된 캡션을 활용했을 때 성능 향상을 확인하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.603-608
• /
• 2023

본 연구는 한국어 Vision-Language Pre-training 모델 학습을 위한 대규모 시각-언어 멀티모달 데이터셋 구축에 대한 필요성을 연구한다. 현재, 한국어 시각-언어 멀티모달 데이터셋은 부족하며, 양질의 데이터 획득이 어려운 상황이다. 따라서, 본 연구에서는 기계 번역을 활용하여 외국어(영문) 시각-언어 데이터를 한국어로 번역하고 이를 기반으로 생성형 AI를 활용한 데이터셋 구축 방법론을 제안한다. 우리는 다양한 캡션 생성 방법 중, ChatGPT를 활용하여 자연스럽고 고품질의 한국어 캡션을 자동으로 생성하기 위한 새로운 방법을 제안한다. 이를 통해 기존의 기계 번역 방법보다 더 나은 캡션 품질을 보장할 수 있으며, 여러가지 번역 결과를 앙상블하여 멀티모달 데이터셋을 효과적으로 구축하는데 활용한다. 뿐만 아니라, 본 연구에서는 의미론적 유사도 기반 평가 방식인 캡션 투영 일치도(Caption Projection Consistency) 소개하고, 다양한 번역 시스템 간의 영-한 캡션 투영 성능을 비교하며 이를 평가하는 기준을 제시한다. 최종적으로, 본 연구는 ChatGPT를 이용한 한국어 멀티모달 이미지-텍스트 멀티모달 데이터셋 구축을 위한 새로운 방법론을 제시하며, 대표적인 기계 번역기들보다 우수한 영한 캡션 투영 성능을 증명한다. 이를 통해, 우리의 연구는 부족한 High-Quality 한국어 데이터 셋을 자동으로 대량 구축할 수 있는 방향을 보여주며, 이 방법을 통해 딥러닝 기반 한국어 Vision-Language Pre-training 모델의 성능 향상에 기여할 것으로 기대한다.

• 한국정보통신학회논문지
• /
• 제8권3호
• /
• pp.630-636
• /
• 2004

오디오 비디오 데이터의 활용이 증가함에 따라 멀티미디어 데이터의 내용에 대해 표현하려는 연구와 함께 멀티미디어 데이터의 내용이나 메타데이터를 저장하고, 검색하고, 조작하는 연구의 필요성이 증가하였다. 멀티미디어 데이터 표현은 사용자가 원하는 내용만을 쉽게 검색하고, 접근할 수 있도록 표현되고 저장되어야 한다. 본 논문은 멀티미디어 데이터가 포함된 문서를 검색하기 위해서 멀티미디어 데이터의 캡션(Caption) 정보를 이용하거나 문서 내용을 기반으로 멀티미디어 데이터를 검색 할 수 있는 시스템을 설계하고 구현하였다. 멀티미디어 데이터의 캡션 정보와 문서의 텍스트는 모두 키워드를 추출하기 위해 필터링(Filtering) 단계를 거치고, B+ 트리를 이용한 역 파일 구조를 사용하여 빠르고 대용량의 문서 검색을 할 수 있도록 하였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.1069-1074
• /
• 2007

청각장애인이 PC환경에서 영화, 방송, 애니메이션 등의 동영상 콘텐츠를 이용할 때 장애의 정도에 따라 콘텐츠의 접근성에 있어서 시각적 수용 이외의 부분적 장애가 발생한다. 이러한 장애의 극복을 위해 수화 애니메이션이나 독화 교육과 같은 청각장애인의 정보 접근성 향상을 위한 콘텐츠와 기술이 개발된 사례가 있었으나 다소 한계점을 가지고 있다. 따라서 본 논문에서는 현대 뉴미디어 예술 작품의 예술적 표현 방법을 구성요소로서 추출하여, 기술과 감성의 조화가 어우러진 독창적인 콘텐츠를 생산할 수 있는 기술을 개발함으로써 PC환경에서 청각장애인의 동영상 콘텐츠에 대한 접근성 향상 방법을 추출하고, 실질적으로 청각적 효과의 시각적 변환 인터페이스 개발 및 이미지 캡션 생성 소프트웨어 개발을 통해 청각장애인의 동영상 콘텐츠 사용성을 극대화시킬 수 있는 방법론을 제시하고자 한다. 본 논문에서는 첫째, 청각장애인의 동영상 콘텐츠 접근성 분석, 둘째, 미디어아트 작품의 선별적 분석 및 유동요소 추출, 셋째, 인터페이스 및 콘텐츠 제작의 순서로 단계별 방법론을 제시하고 있다. 이 세번 째 단계에서 이미지 캡션 생성 소프트웨어가 개발되고, 비트맵 아이콘 형태의 이미지 캡션 콘텐츠가 생성된다. 개발한 이미지 캡션 생성 소프트웨어는 사용성에 입각한 일상의 언어적 요소와 예술 작품으로부터 추출한 청각 요소의 시각적요소로의 전환을 위한 인터페이스인 것이다. 이러한 기술의 개발은 기술적 측면으로는 청각장애인의 다양한 웹콘텐츠 접근 장애를 개선하는 독창적인 인터페이스 추출 환경을 확립하여 응용영역을 확대하고, 공학적으로 단언된 기술 영역을 콘텐츠 개발 기술이라는 새로운 영역으로 확장함으로써 간학제적 시도를 통한 기술영역을 유기적으로 확대하며, 문자와 오디오를 이미지와 시각적 효과로 전환하여 다각적인 미디어의 교차 활용 방안을 제시하여 콘텐츠를 형상화시키는 기술을 활성화 시키는 효과를 거둘 수 있다. 또한 청각장애인의 접근성 개선이라는 한정된 영역을 뛰어넘어 국가간 언어적인 장벽을 초월할 수 있는 다각적인 부가 동영상 콘텐츠에 대한 시도, 접근, 생산을 통해 글로벌 시대에 부응하는 새로운 방법론으로 발전 할 수 있다.

• 한국언론정보학보
• /
• 제18권
• /
• pp.231-268
• /
• 2002

본 연구는 하나의 주제를 다룬 다섯 장의 사진과 캡션을 통해, 포토저널리즘의 구성단위인 사진과 글에 대한 수용자의 해독양상을 분석한 것이다. 본 논문의 연구방법은 민속지학적 방법과 의미분별법을 사용하였다. 분석은 기호의 의미작용과 해독의 의미작용을 분리시켜, 기호와 해독의 관계를 고찰할 수 있는 기호학적 방법론을 채택하였다. 위와 같은 방법을 통해 연구자는 다음과 같은 결과를 얻을 수 있었다. 첫번째, 하나의 의미로 고정되지 않고 다의성을 띤 사진이미지에 캡션이 첨가됨으로 수용자의 해독에 변화가 있었다. 두번째, 해독에있어 수용자의 문화적 배경이 중요한 변수로 작용했다. 세번째, 포토저널리즘 영역에서 사진만으로는 사실을 재현하기 어렵다는 것을 알 수 있었다. 즉 수용자의 문화적 코드를 바탕으로 한글이 들어감으로써, 포토저널리스트와 수용지간의 보다 성공적인 커뮤니케이션이 이루어졌다. 본 논문에서 연구자는 포토저널리스트가 재현한 현실과 그것을 해독하는 수용자간의 커뮤니케이션의 과정을 보여주고자 했고 이것이 성공적인 커뮤니케이션을 위한 기본 전제에 대한 고찰이 되었으면 하는 바램이다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2000년도 춘계학술발표논문집
• /
• pp.229-232
• /
• 2000

인터넷이 보편화되고, 멀티미디어 처리기술과 정보통신 기술이 발전함에 따라 인터넷을 이용한 원격교육기술이 연구되고 있다. 강의를 저작하고 재생하는 원격강의 도구들이 개발되고 있지만, 강의전달의 효율성보다 슬라이드 자료를 기반으로 한 단순한 강의음성 녹음과 드로잉을 기록하고 재생하는 형태로 구성되어 있어 강의의 정확한 전달이나 부가적인 정보의 전달이 이루어지지 않고 있다. 본 연구에서는 강의의 보다 정확한 전달 및 부가정보 전달을 처리하여 면대면 효과가 높은 멀티미디어 강의저작을 지원하기 위한 캡션처리기를 설계하고 구현하였다. 구현한 캡션처리기는 텍스트로 입력된 강의내용을 전달하거나 여러 가지 메시지를 학습자에게 전달할 수 있으며, 하이퍼링크기능을 지원하여 특정 홈페이지로의 자동접속을 지원하여 다양한 교수자와 학습자의 상호작용을 지원하는 장점이 있다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2010년도 제42차 하계학술발표논문집 18권2호
• /
• pp.125-127
• /
• 2010

본 논문에서는 동영상에서 비교적 단일 색상의 배경과 문자를 갖는 캡션을 문자인식을 위하여 문자와 배경간의 명암값 결정에 관한 내용이다. 먼저 캡션에 대해 그레이 스케일로 전환을 한 후, Otsu 방법[1]을 이용하여 이진화를 수행한다. 이 후 이진화 영상에서 흰색영역 검은색영역에 대해 각각 최대 내접 정사각형을 산출한다. 다음으로 각각의 영역에서 산출된 최대 내접 정사각형의 분산의 대소를 비교하여 문자영역과 배경영역을 결정한다. 이후 전역적인 잡음을 제거하기 문자영역에 대해 Otsu 방법을 이용하여 최종 문자영역을 결정한다. 제안된 방법의 문자영역의 명암값 결정 정확도는 약 99%로 매우 우수한 성능을 보였다.