• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.449-453
• /
• 2019

미디어방송이 다양해지고, 웹에서 소비되는 콘텐츠들 또한 멀티미디어 중심으로 재편되는 경향에 힘입어 인공지능 연구에 멀티미디어 콘텐츠를 적극적으로 활용하고자 하는 시도들이 시작되고 있다. 본 논문은 다양한 형태의 멀티모달 정보를 하나의 동영상 콘텐츠에 연계하여 분석하여, 통합된 형태의 융합정보 데이터셋을 구축한 연구를 소개하고자 한다. 구축한 인공지능 학습용 데이터셋은 영상/음성/언어 정보가 함께 있는 멀티모달 콘텐츠에 상황/의도/감정 정보 추론에 필요한 다양한 의미정보를 부착하여 활용도가 높은 인공지능 영상 데이터셋을 구축하여 공개하였다. 본 연구의 결과물은 한국어 대화처리 연구에 부족한 공개 데이터 문제를 해소하는데 기여하였고, 한국어를 중심으로 다양한 상황 정보가 함께 구축된 데이터셋을 통하여 다양한 상황 분석 기반 대화 서비스 응용 기술 연구에 활용될 것으로 기대할 수 있다.

• 한국콘텐츠학회논문지
• /
• 제18권8호
• /
• pp.92-101
• /
• 2018

대화형 AI 스피커가 보편화되면서 음성인식은 자율주행 상황에서의 중요한 차량-운전자 인터랙션 방식으로 인식되고 있다. 이 연구의 목적은 반자율주행 상황에서 음성뿐만 아니라 AI 캐릭터의 시각적 피드백을 함께 전달하는 멀티모달 인터랙션이 음성 단일 모드 인터랙션보다 사용자 경험 최적화에 효과적인지를 확인하는 것이다. 실험 참가자에게 주행 중 AI 스피커와 캐릭터를 통해 음악 선곡과 조정을 위한 인터랙션 태스크를 수행하게 하고, 정보 및 시스템 품질, 실재감, 지각된 유용성과 용이성, 그리고 지속 사용 의도를 측정하였다. 평균차이 분석 결과, 대부분의 사용자 경험 요인에서 시각적 캐릭터의 멀티모달 효과는 나타나지 않았으며, 지속사용 의도에서도 효과는 나타나지 않았다. 오히려, 정보품질 요인에서 음성 단일 모드가 멀티모달보다 효과적인 것으로 나타났다. 운전자의 인지적 노력이 필요한 반자율주행 단계에서는 멀티모달 인터랙션이 단일 모드 인터랙션에 비해 사용자 경험 최적화에 효과적이지 않았다.

• 한국콘텐츠학회논문지
• /
• 제18권10호
• /
• pp.11-19
• /
• 2018

본 연구는 가상현실 기술을 이용하여 박물관 내에 멀티모달 경험을 만들 수 있는 스토리텔링에 대한 연구이다. 구체적으로 본 연구는 박물관에서 다양한 관람객들이 직관적인 역사 이야기를 체험하기 위해 필요한 가상현실 기술 기반의 멀티모달 스토리텔링 방식을 논하고자 한다. 이에 따라 현재 박물관을 소재로 하거나 대상으로 만들어진 관련 사례를 분석하여 향후 이용될 수 있는 방식을 조사하였다. 연구방법으로 멀티모달 경험을 만들기 위한 컨셉에 대한 이론적 고찰, 그리고 역사 자료를 가상현실 유관 기술을 통해 시각화한 자료들을 문헌조사하였다. 이를 바탕으로 멀티모달 기반의 스토리텔링에서 필요한 요소들을 파악하고 이를 통해 관련 사례들을 분석하였다. 연구의 결과에서 본 연구는 박물관 내에서 관람객을 위한 역사 주제의 가상현실 기반 멀티모달 환경의 구성요소에 대해 제안하였다. 궁극적으로 본 연구는 역사적 자료가 오디오-비주얼 및 인터랙션 모드와 결합하여 다양한 계층의 관람객 대상의 콘텐츠를 제작하기 위해서 필요한 가상현실 스토리텔링 설계의 구성요소를 제안하는 기초 연구가 되고자 한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.603-608
• /
• 2023

본 연구는 한국어 Vision-Language Pre-training 모델 학습을 위한 대규모 시각-언어 멀티모달 데이터셋 구축에 대한 필요성을 연구한다. 현재, 한국어 시각-언어 멀티모달 데이터셋은 부족하며, 양질의 데이터 획득이 어려운 상황이다. 따라서, 본 연구에서는 기계 번역을 활용하여 외국어(영문) 시각-언어 데이터를 한국어로 번역하고 이를 기반으로 생성형 AI를 활용한 데이터셋 구축 방법론을 제안한다. 우리는 다양한 캡션 생성 방법 중, ChatGPT를 활용하여 자연스럽고 고품질의 한국어 캡션을 자동으로 생성하기 위한 새로운 방법을 제안한다. 이를 통해 기존의 기계 번역 방법보다 더 나은 캡션 품질을 보장할 수 있으며, 여러가지 번역 결과를 앙상블하여 멀티모달 데이터셋을 효과적으로 구축하는데 활용한다. 뿐만 아니라, 본 연구에서는 의미론적 유사도 기반 평가 방식인 캡션 투영 일치도(Caption Projection Consistency) 소개하고, 다양한 번역 시스템 간의 영-한 캡션 투영 성능을 비교하며 이를 평가하는 기준을 제시한다. 최종적으로, 본 연구는 ChatGPT를 이용한 한국어 멀티모달 이미지-텍스트 멀티모달 데이터셋 구축을 위한 새로운 방법론을 제시하며, 대표적인 기계 번역기들보다 우수한 영한 캡션 투영 성능을 증명한다. 이를 통해, 우리의 연구는 부족한 High-Quality 한국어 데이터 셋을 자동으로 대량 구축할 수 있는 방향을 보여주며, 이 방법을 통해 딥러닝 기반 한국어 Vision-Language Pre-training 모델의 성능 향상에 기여할 것으로 기대한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
• /
• pp.568-570
• /
• 2002

컴퓨터 기술의 급속한 발전에 따라 정보의 프리젠테이션 방법도 다양하게 변화해 가고 있다. 기존의 텍스트와 이미지를 이용한 프리젠테이션에서부터 멀티미디어 프리젠테이션에 이르기까지 사람들에게 좀더 효과적으로 정보론 프리젠테이션 할 수 있는 방법들이 개발되어 왔다. 그러나 컴퓨터를 이용한 프리젠테이션은 발표자의 사고와 감정 통 인간적인 요소를 표현하고 전달하는 데에는 많은 제약을 가지고 있다. 최근에는 좀더 인간 친화적인 프리젠테이션을 위하여 발표자의 감정과 제스처 등을 캐릭터 에이전트론 통하여 전달할 수 있도록 해주는 멀티 모달 정보 프리젠테이션에 대한 연구가 활성화되고 있다. 본 논문에서는 멀티모달 정보 프리젠테이션을 위해 개발된 언어인 EMPML(Extended Multimodal Presentation Markup Language)를 통해서 정보 제공자가 멀티모달 정보를 좀더 쉽게 저작할 수 있고, 저작된 멀티모달 정보를 확인할 수 있도록 해주는 GUI 기반의 저작도구론 설계, 구현하고자 한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (2)
• /
• pp.289-291
• /
• 2001

www의 등장으로 디지털 정보의 표현이 단순한 텍스트 위주의 프리젠테이션에서 이제는 멀티미디어 내용의 증가와 함께 멀티모달 정보 프리젠테이션을 요구하는 변화를 가져오고 있다. 그러나 대다수의 사람들이 멀티모달 정보를 표현하기란 쉽지 않다. 본 논문에서는 이러한 사람들이 보다 쉽고 재미있는 멀티모달 정보 프리젠테이션을 쉽게 사용할 수 있도록 구두 대화 능력에 상호 작용하는 캐릭터 에이전트를 응용하여 MIML을 개발하였다. MIML은 XML 규격에 준거한 Markup Language로써 구두 발표 및 캐릭터 에이전트 행동을 통제하기 위한 기능을 지원한다. 본 논문에서는 다양한 캐릭터 에이전트의 감정 표현 기능과 멀티모달 정보 프리젠테이션을 구성하는 DTD에 대하여 기술하였다.

• 방송공학회논문지
• /
• 제20권1호
• /
• pp.140-152
• /
• 2015

최근 사용자와 컴퓨터간의 양방향 상호작용을 가능하게 하는 HCI(Human Computer Interaction) 연구를 위해 인간의 의사소통 체계와 유사한 인터페이스 기술들이 개발되고 있다. 이러한 인간과의 의사소통 과정에서 사용되는 커뮤니케이션 채널을 모달리티라고 부르며, 다양한 단말기 및 서비스 환경에 따라 최적의 사용자 인터페이스를 제공하기 위해서 두 개 이상의 모달리티를 활용하는 멀티모달 인터페이스가 활발히 연구되고 있다. 하지만, 멀티모달 인터페이스를 사용하기에는 각각의 모달리티가 갖는 정보 형식이 서로 상이하기 때문에 상호 연동이 어려우며 상호 보완적인 성능을 발휘하는데 한계가 있다. 이에 따라 본 논문은 W3C(World Wide Web Consortium)의 EMMA(Extensible Multimodal Annotation Markup language)와 MMI(Multimodal Interaction Framework)표준에 기반하여 복수의 모달리티를 상호연동할 수 있는 멀티모달 커뮤니케이터를 제안한다. 멀티모달 커뮤니케이터는 W3C 표준에 포함된 MC(Modality Component), IM(Interaction Manager), PC(Presentation Component)로 구성되며 국제 표준에 기반하여 설계하였기 때문에 다양한 모달리티의 수용 및 확장이 용이하다. 실험에서는 시선 추적과 동작 인식 모달리티를 이용하여 지도 탐색 시나리오에 멀티모달 커뮤니케이터를 적용한 사례를 제시한다.

• 인터넷정보학회논문지
• /
• 제6권1호
• /
• pp.95-103
• /
• 2005

최근 단일 정보기기 시스템에서 다양한 채널을 동시에 접근할 수 있도록 하는 멀티-모달 시스템에 관한 연구가 많이 진행되고 있다. 이와 같은 멀티-모달 시스템은 정보 제공 및 e-비즈니스 어플리케이션에 유비쿼터스적인 접근이 가능하게 하며 HCI(Human-computer Interaction)의 실현 가능성을 높일 수 있다. 향후 더욱 발달되고 안정화 된 멀티-모달 브라우징 시스템을 구현할 수 있다면 사용자는 hands-free, eyes-fee의 환경에서 정보기기와의 상호작용을 최대화할 수 있을 것이다. 본 연구에서는 표준 입출력 모드(키보드, 마우스, 디스플레이)를 지원하는 웹 브라우저와 음성인식 및 음성합성을 지원하는 보이스 브라우저를 통합하는 멀티-모달 브라우징 시스템의 구조를 제시하였고, 이러한 시스템의 예로 영영 사전 검색 어플리케이션을 구현하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.739-740
• /
• 2024

본 연구에서는 음성과 텍스트라는 두 가지 모달리티의 데이터를 효과적으로 결합함으로써, 감정 분류의 정확도를 향상시키는 새로운 멀티모달 모델 학습 방법을 제안한다. 이를 위해 음성 데이터로부터 HuBERT 및 MFCC(Mel-Frequency Cepstral Coefficients)기법을 통해 추출한 특징 벡터와 텍스트 데이터로부터 RoBERTa를 통해 추출한 특징 벡터를 결합하여 감정을 분류한다. 실험 결과, 제안한 멀티모달 모델은 F1-Score 92.30으로 유니모달 접근 방식에 비해 우수한 성능 향상을 보였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (B)
• /
• pp.46-48
• /
• 2006

본 논문에서는 웹 서비스의 WSDL 문서로부터 멀티 모달 유저 인터페이스를 동적으로 생성하는 방법을 제안한다. 이를 위해 W3C에서 제안한 사용자 인터페이스 관련 기술인 XForms와 VoiceXML을 소개하고. XForms에 기반한 사용자 인터페이스 생성 알고리즘을 제안한다. 제안된 방법은 WSDL 문서의 구조를 분석하고. 스키마로부터 데이터의 타입에 따른 적합한 컨트롤을 매핑하여 최적의 멀티 모달 사용자 인터페이스를 구성한다.