• 융합정보논문지
• /
• 제9권5호
• /
• pp.1-6
• /
• 2019

모바일 시장의 확장과 함께 멀티모달 미디어 콘텐츠의 제공을 위한 플랫폼이 다양해지고 있다. 멀티모달 미디어 콘텐츠에는 이종데이터들이 복합적으로 포함되어 있어 사용자들이 선호 콘텐츠를 선택하기 위해 시간과 노력이 요구된다. 따라서 본 논문에서는 추천을 위한 키워드 가중치를 이용한 멀티모달 미디어 콘텐츠 분류를 제안한다. 제안하는 방법은 멀티모달 미디어 콘텐츠의 텍스트 데이터에서 키워드 가중치를 통해 콘텐츠를 가장 잘 나타내는 키워드를 추출한다. 추출된 키워드를 기반으로 서브클래스를 갖는 장르 클래스를 생성하고 이에 적절한 멀티모달 미디어 콘텐츠를 분류한다. 또한 개인화된 추천을 위해 사용자의 선호도 평가를 진행하여 사용자의 콘텐츠 선호도 분석 결과를 기반으로 멀티모달 콘텐츠를 추천한다. 성능평가는 추천 결과의 정확도와 만족도를 통해 우수함을 검증한다. 이는 사용자가 선호하는 장르와 키워드를 모두 고려하여 추천하기 때문에 정확도는 74.62%, 만족도는 69.1%로 높게 나타난다.

• ETRI Journal
• /
• 제38권6호
• /
• pp.1085-1094
• /
• 2016

In this work, we present interactive automultiscopic content with mobile surface haptics for multimodal interaction. Our system consists of a 40-view automultiscopic display and a tablet supporting surface haptics in an immersive room. Animated graphics are projected onto the walls of the room. The 40-view automultiscopic display is placed at the center of the front wall. The haptic tablet is installed at the mobile station to enable the user to interact with the tablet. The 40-view real-time rendering and multiplexing technology is applied by establishing virtual cameras in the convergence layout. Surface haptics rendering is synchronized with three-dimensional (3D) objects on the display for real-time haptic interaction. We conduct an experiment to evaluate user experiences of the proposed system. The results demonstrate that the system's multimodal interaction provides positive user experiences of immersion, control, user interface intuitiveness, and 3D effects.

• 한국항만경제학회지
• /
• 제29권1호
• /
• pp.123-141
• /
• 2013

Incoterms, 2010의 FCA, CPT, CIP 등 복합운송물류조건의 이용 활성화 요인 중 대분류 세 가지 요인에 대한 분석결과는 "주관적인 요인"이 3.87점, "무역운송물류 환경적인 요인"이 3.60점, 그리고 "자체 규정 내용적인 요인"이 3.74점이었다. 세 가지 요인의 평균평점이 크게 차이가 않나 세 가지 요인의 복합적인 요인 결합에 의해 복합운송물류조건의 이용 활성화를 도모하여야 한다는 결론이다. 하지만 주관적인 요인의 평균평점이 가장 높다는 것은, Incoterms, 2010의 FCA, CPT, CIP 등 복합운송물류조건의 이용 활성화를 위해서는 이들 조건의 이용자인 기업 스스로가 가장 우선적으로 (1) 복합일관운송과 Incoterms의 각 조건의 연관성을 잘 이해하고, (2) 복합일관운송에는 FCA, CPT, CIP 등의 조건을 가능한 이용하도록 하여야 한다는 것을 의미한다. 그리고 명심할 것은 관행적으로 FOB, CFR, CIF 조건 등을 이용하는 것을 억제하여야 한다는 점이다. 결국 Incoterms, 2010의 FCA, CPT, CIP 등 복합운송물류조건이 복합일관운송에 가장 적합한 조건임을 이해하고 이를 적극적으로 이용하도록 권장하여야 한다는 것이며, 따라서 이를 위한 많은 교육과 홍보가 수반되어야 할 것이다. 그 다음 순위는 무역운송물류 환경적인 요인 (3.60점) 보다 자체 규정 내용적인 요인(3.74)이 더 높은 점수를 기록하고 있는데, 이것은 무역운송물류 환경적인 요소, 즉 국제복합일관운송의 보편화 시대를 맞이하여 국제복합일관운송을 잘 이해하는 것 보다는, FCA, CPT, CIP조건 자체 내용을 잘 이해하고, FCA, CPT, CIP조건이 자사의 무역운송물류환경에 잘 부합한다는 점과 FCA, CPT, CIP조건을 이용하는 것이 자사에게 유리함을 잘 이해하는 것이 보다 중요하다는 것을 의미한다.

• ETRI Journal
• /
• 제24권1호
• /
• pp.1-11
• /
• 2002

A video summary abstracts the gist from an entire video and also enables efficient access to the desired content. In this paper, we propose a novel method for summarizing news video based on multimodal analysis of the content. The proposed method exploits the closed caption data to locate semantically meaningful highlights in a news video and speech signals in an audio stream to align the closed caption data with the video in a time-line. Then, the detected highlights are described using MPEG-7 Summarization Description Scheme, which allows efficient browsing of the content through such functionalities as multi-level abstracts and navigation guidance. Multimodal search and retrieval are also within the proposed framework. By indexing synchronized closed caption data, the video clips are searchable by inputting a text query. Intensive experiments with prototypical systems are presented to demonstrate the validity and reliability of the proposed method in real applications.

• 정보과학회 논문지
• /
• 제42권4호
• /
• pp.451-458
• /
• 2015

기존 멀티모달 학습 기법의 대부분은 데이터에 포함된 컨텐츠 모델링을 통한 지식획득보다는 이미지나 비디오 검색 및 태깅 등 구체적 문제 해결에 집중되어 있었다. 본 논문에서는 멀티모달 개념계층모델을 이용하여 만화 비디오로부터 컨텐츠를 학습하는 기법을 제안하고 학습된 모델로부터 등장인물의 특성을 고려한 자막을 생성하는 방법을 제시한다. 멀티모달 개념계층 모델은 개념변수층과 단어와 이미지 패치의 고차 패턴을 표현하는 멀티모달 하이퍼네트워크층으로 구성되며 이러한 모델구조를 통해 각각의 개념변수는 단어와 이미지패치 변수들의 확률분포로 표현된다. 제안하는 모델은 비디오의 자막과 화면 이미지로부터 등장 인물의 특성을 개념으로서 학습하며 이는 순차적 베이지안 학습으로 설명된다. 그리고 학습된 개념을 기반으로 텍스트 질의가 주어질 때 등장인물의 특성을 고려한 비디오 자막을 생성한다. 실험을 위해 총 268분 상영시간의 유아용 비디오 '뽀로로'로부터 등장인물들의 개념이 학습되고 학습된 모델로부터 각각의 등장인물의 특성을 고려한 자막 문장을 생성했으며 이를 기존의 멀티모달 학습모델과 비교했다. 실험결과는 멀티모달 개념계층모델은 다른 모델들에 비해 더 정확한 자막 문장이 생성됨을 보여준다. 또한 동일한 질의어에 대해서도 등장인물의 특성을 반영하는 다양한 문장이 생성됨을 확인하였다.

• 한국콘텐츠학회논문지
• /
• 제18권10호
• /
• pp.11-19
• /
• 2018

본 연구는 가상현실 기술을 이용하여 박물관 내에 멀티모달 경험을 만들 수 있는 스토리텔링에 대한 연구이다. 구체적으로 본 연구는 박물관에서 다양한 관람객들이 직관적인 역사 이야기를 체험하기 위해 필요한 가상현실 기술 기반의 멀티모달 스토리텔링 방식을 논하고자 한다. 이에 따라 현재 박물관을 소재로 하거나 대상으로 만들어진 관련 사례를 분석하여 향후 이용될 수 있는 방식을 조사하였다. 연구방법으로 멀티모달 경험을 만들기 위한 컨셉에 대한 이론적 고찰, 그리고 역사 자료를 가상현실 유관 기술을 통해 시각화한 자료들을 문헌조사하였다. 이를 바탕으로 멀티모달 기반의 스토리텔링에서 필요한 요소들을 파악하고 이를 통해 관련 사례들을 분석하였다. 연구의 결과에서 본 연구는 박물관 내에서 관람객을 위한 역사 주제의 가상현실 기반 멀티모달 환경의 구성요소에 대해 제안하였다. 궁극적으로 본 연구는 역사적 자료가 오디오-비주얼 및 인터랙션 모드와 결합하여 다양한 계층의 관람객 대상의 콘텐츠를 제작하기 위해서 필요한 가상현실 스토리텔링 설계의 구성요소를 제안하는 기초 연구가 되고자 한다.

• 한국정보시스템학회지:정보시스템연구
• /
• 제32권3호
• /
• pp.1-17
• /
• 2023

Purpose The proliferation of data on the internet has created a need for innovative methods to analyze user satisfaction data. Traditional survey methods are becoming inadequate in dealing with the increasing volume and diversity of data, and new methods using unstructured internet data are being explored. While numerous comment-based user satisfaction studies have been conducted, only a few have explored user satisfaction through video and audio data. Multimodal sentiment analysis, which integrates multiple modalities, has gained attention due to its high accuracy and broad applicability. Design/methodology/approach This study uses multimodal sentiment analysis to analyze user satisfaction of iPhone and Samsung products through online videos. The research reveals that the combination model integrating multiple data sources showed the most superior performance. Findings The findings also indicate that price is a crucial factor influencing user satisfaction, and users tend to exhibit more positive emotions when content with a product's price. The study highlights the importance of considering multiple factors when evaluating user satisfaction and provides valuable insights into the effectiveness of different data sources for sentiment analysis of product reviews.

• 융합정보논문지
• /
• 제11권3호
• /
• pp.174-184
• /
• 2021

본 연구는 다중양식의 대학 전공수업에의 적용 가능 여부와, 학생들의 다중양식 과업에 대한 인식을 살펴보는 것을 목적으로 한다. 이 연구를 위해 28명의 영어를 전공하는 학생들이 전공수업의 일환으로 디지털 스토리텔링 과제를 수행하였다. 디지털 스토리텔링에 대한 학생들의 인식을 조사한 설문지와 성찰지를 분석해 본 결과, 디지털 스토리텔링 과제가 학생들의 적극적 참여와 동기부여를 제공한다는 사실을 알게 되었다. 그러나 다른 한편으로, 디지털 스토리텔링 과제는 학생들에게 더 많은 정신적 노력을 요구하고 더 많은 긴장을 초래한다는 사실도 알게 되었다. 디지털 스토리텔링은 학생들로 하여금 다양한 기술을 공부하게 하고 학습 과정 중에 다중양식 측면을 적용할 수 있도록 지원함으로써, 학생들의 적극적 참여를 유도하고 유의미하고 재미있는 결과를 가져오는 자기주도 학습을 유도할 수 있다.

• Journal of Computing Science and Engineering
• /
• 제6권2호
• /
• pp.168-177
• /
• 2012

The search for relevant and actionable information is a key to achieving clinical and research goals in biomedicine. Biomedical information exists in different forms: as text and illustrations in journal articles and other documents, in images stored in databases, and as patients' cases in electronic health records. This paper presents ways to move beyond conventional text-based searching of these resources, by combining text and visual features in search queries and document representation. A combination of techniques and tools from the fields of natural language processing, information retrieval, and content-based image retrieval allows the development of building blocks for advanced information services. Such services enable searching by textual as well as visual queries, and retrieving documents enriched by relevant images, charts, and other illustrations from the journal literature, patient records and image databases.

• Journal of Multimedia Information System
• /
• 제4권3호
• /
• pp.123-144
• /
• 2017

Personalized media includes user-targeted and user-generated content (UGC) exchanged through social media and interactive applications. The increased consumption of UGC presents challenges and opportunities to multimedia information systems. We work towards modeling a deep structure for content networks. To gain insights, a hybrid practice with Media Framework (MF) is presented for network creation of personalized media, which leverages the authoring methodology with user-generated semantics. The system's vertical integration allows users to audition their personalized media networks in the context of a global system network. A navigation scheme with dynamic GUI shifts the interaction paradigm for content query and sharing. MF adopts a multimodal architecture anticipating emerging use cases and genres. To model diversification of platforms, information processing is robust across multiple technology configurations. Physical and virtual networks are integrated with distributed services and transactions, IoT, and semantic networks representing media content. MF applies spatiotemporal and semantic signal processing to differentiate action responsiveness and information responsiveness. The extension of multimedia information processing into authoring enables generating interactive and impermanent media on computationally enabled devices. The outcome of this integrated approach with presented methodologies demonstrates a paradigmatic shift of the concept of UGC as personalized media network, which is dynamical and evolvable.