• 대한음성학회지:말소리
• /
• 제60호
• /
• pp.125-144
• /
• 2006

W3C announced a standard software architecture for multimodal context-aware middleware that emphasizes modularity and separates structure, contents, and presentation. We implemented a distributed multimodal interface system followed the W3C architecture, based on SCXML. SCXML uses parallel states to invoke both XHTML and VoiceXML contents as well as to gather composite or sequential multimodal inputs through man-machine interactions. We also hire Delivery Context Interface(DCI) module and an external service bundle enabling middleware to support context-awareness services for real world environments. The provision of personalized user interfaces for mobile devices is expected to be used for different devices with a wide variety of capabilities and interaction modalities. We demonstrated the implemented middleware could maintain multimodal scenarios in a clear, concise and consistent manner by some experiments.

• 한국콘텐츠학회논문지
• /
• 제10권8호
• /
• pp.1-10
• /
• 2010

가상교육 환경에 있어서 보다 효과적인 지식 전달을 위해서는 시청각적 정보에만 의존하는 기존의 학습 매체에서 탈피하여 상황에 맞는 촉각 피드백이 포함된 '실감형 교과서'의 도입이 필요하다. 그러나 저작 및 재생 환경상의 제약으로 인해 실감형 교과서를 위한 학습 콘텐츠의 확보와 활용은 아직 요원한 실정이다. 우리는 이러한 문제점에 착안하여 실감형 교과서를 위한 접근성 높은 멀티모달 학습 콘텐츠 저작 및 재생 프레임워크를 제안하였다. 본 프레임워크는 직관적인 콘텐츠 저작을 위한 스크립트 포맷과 이를 재생하기 위한 콘텐츠 재생부로 구성되어 있다. 스크립트 규격 정의 단계에서는 학습 콘텐츠에 요구되는 요소들을 규명하고 이를 반영한 XML 기반의 메타언어를 정의하였다. 그리고 콘텐츠 재생부는 작성된 콘텐츠를 해석하고 사용자로부터의 입력에 대응하여 시각 및 촉각 렌더링 루프를 통해 사용자에게 멀티모달피드백을 제공하도록 설계되었다. 이렇게 제안된 내용을 바탕으로 프로토타입을 구현하고 사용자 평가를 수행하여 본 프레임워크의 효용성을 검증하는 한편 앞으로의 개선 방향에 대해 논의하였다.

• 융합정보논문지
• /
• 제9권5호
• /
• pp.1-6
• /
• 2019

모바일 시장의 확장과 함께 멀티모달 미디어 콘텐츠의 제공을 위한 플랫폼이 다양해지고 있다. 멀티모달 미디어 콘텐츠에는 이종데이터들이 복합적으로 포함되어 있어 사용자들이 선호 콘텐츠를 선택하기 위해 시간과 노력이 요구된다. 따라서 본 논문에서는 추천을 위한 키워드 가중치를 이용한 멀티모달 미디어 콘텐츠 분류를 제안한다. 제안하는 방법은 멀티모달 미디어 콘텐츠의 텍스트 데이터에서 키워드 가중치를 통해 콘텐츠를 가장 잘 나타내는 키워드를 추출한다. 추출된 키워드를 기반으로 서브클래스를 갖는 장르 클래스를 생성하고 이에 적절한 멀티모달 미디어 콘텐츠를 분류한다. 또한 개인화된 추천을 위해 사용자의 선호도 평가를 진행하여 사용자의 콘텐츠 선호도 분석 결과를 기반으로 멀티모달 콘텐츠를 추천한다. 성능평가는 추천 결과의 정확도와 만족도를 통해 우수함을 검증한다. 이는 사용자가 선호하는 장르와 키워드를 모두 고려하여 추천하기 때문에 정확도는 74.62%, 만족도는 69.1%로 높게 나타난다.

• ETRI Journal
• /
• 제37권3호
• /
• pp.626-636
• /
• 2015

This paper proposes an adaptive multimodal in-vehicle information system for safe driving. The proposed system filters input information based on both the priority assigned to the information and the given driving situation, to effectively manage input information and intelligently provide information to the driver. It then interacts with the driver using an adaptive multimodal interface by considering both the driving workload and the driver's cognitive reaction to the information it provides. It is shown experimentally that the proposed system can promote driver safety and enhance a driver's understanding of the information it provides by filtering the input information. In addition, the system can reduce a driver's workload by selecting an appropriate modality and corresponding level with which to communicate. An analysis of subjective questionnaires regarding the proposed system reveals that more than 85% of the respondents are satisfied with it. The proposed system is expected to provide prioritized information through an easily understood modality.

• 한국항해학회지
• /
• 제19권4호
• /
• pp.41-61
• /
• 1995

The international trade is basically founded on the contract of international sale of goods and backed up by the contract of international carriage of goods and the contract of insurance in the goods carried. For the efficient development of international trade, it is essential to incorporate the above three fields closely together. Economic growth has developed international trade which has accelerated the development of international carriage of goods. As a result of rapid expansion of international carriage of goods, rationalization of transport was required, which has brought about the International Multimodal Transport System(herein after referred to as 'IMT') through containerization. International multimodal transport system has affected international trade a lot, especially the field of insurance a great deal. The aim of this paper is to analyze contents of Multimodal Transport Operator's(MTO's) liability system in the UN Convention on International Multimodal Transport of Goods, 1980 and FIATA Bill of Lading(FBL) as one of current Multimodal Transport Documents. The analysis of MTO's liability system will be a good introductory concept for the further study of insurance problems for the development of IMT.

• 한국콘텐츠학회논문지
• /
• 제18권8호
• /
• pp.92-101
• /
• 2018

대화형 AI 스피커가 보편화되면서 음성인식은 자율주행 상황에서의 중요한 차량-운전자 인터랙션 방식으로 인식되고 있다. 이 연구의 목적은 반자율주행 상황에서 음성뿐만 아니라 AI 캐릭터의 시각적 피드백을 함께 전달하는 멀티모달 인터랙션이 음성 단일 모드 인터랙션보다 사용자 경험 최적화에 효과적인지를 확인하는 것이다. 실험 참가자에게 주행 중 AI 스피커와 캐릭터를 통해 음악 선곡과 조정을 위한 인터랙션 태스크를 수행하게 하고, 정보 및 시스템 품질, 실재감, 지각된 유용성과 용이성, 그리고 지속 사용 의도를 측정하였다. 평균차이 분석 결과, 대부분의 사용자 경험 요인에서 시각적 캐릭터의 멀티모달 효과는 나타나지 않았으며, 지속사용 의도에서도 효과는 나타나지 않았다. 오히려, 정보품질 요인에서 음성 단일 모드가 멀티모달보다 효과적인 것으로 나타났다. 운전자의 인지적 노력이 필요한 반자율주행 단계에서는 멀티모달 인터랙션이 단일 모드 인터랙션에 비해 사용자 경험 최적화에 효과적이지 않았다.

• 한국콘텐츠학회논문지
• /
• 제18권10호
• /
• pp.11-19
• /
• 2018

본 연구는 가상현실 기술을 이용하여 박물관 내에 멀티모달 경험을 만들 수 있는 스토리텔링에 대한 연구이다. 구체적으로 본 연구는 박물관에서 다양한 관람객들이 직관적인 역사 이야기를 체험하기 위해 필요한 가상현실 기술 기반의 멀티모달 스토리텔링 방식을 논하고자 한다. 이에 따라 현재 박물관을 소재로 하거나 대상으로 만들어진 관련 사례를 분석하여 향후 이용될 수 있는 방식을 조사하였다. 연구방법으로 멀티모달 경험을 만들기 위한 컨셉에 대한 이론적 고찰, 그리고 역사 자료를 가상현실 유관 기술을 통해 시각화한 자료들을 문헌조사하였다. 이를 바탕으로 멀티모달 기반의 스토리텔링에서 필요한 요소들을 파악하고 이를 통해 관련 사례들을 분석하였다. 연구의 결과에서 본 연구는 박물관 내에서 관람객을 위한 역사 주제의 가상현실 기반 멀티모달 환경의 구성요소에 대해 제안하였다. 궁극적으로 본 연구는 역사적 자료가 오디오-비주얼 및 인터랙션 모드와 결합하여 다양한 계층의 관람객 대상의 콘텐츠를 제작하기 위해서 필요한 가상현실 스토리텔링 설계의 구성요소를 제안하는 기초 연구가 되고자 한다.

• International Journal of Contents
• /
• 제18권3호
• /
• pp.11-20
• /
• 2022

Human Emotion Recognition is an exciting topic that has been attracting many researchers for a lengthy time. In recent years, there has been an increasing interest in exploiting contextual information on emotion recognition. Some previous explorations in psychology show that emotional perception is impacted by facial expressions, as well as contextual information from the scene, such as human activities, interactions, and body poses. Those explorations initialize a trend in computer vision in exploring the critical role of contexts, by considering them as modalities to infer predicted emotion along with facial expressions. However, the contextual information has not been fully exploited. The scene emotion created by the surrounding environment, can shape how people perceive emotion. Besides, additive fusion in multimodal training fashion is not practical, because the contributions of each modality are not equal to the final prediction. The purpose of this paper was to contribute to this growing area of research, by exploring the effectiveness of the emotional scene gist in the input image, to infer the emotional state of the primary target. The emotional scene gist includes emotion, emotional feelings, and actions or events that directly trigger emotional reactions in the input image. We also present an attention-based fusion network, to combine multimodal features based on their impacts on the target emotional state. We demonstrate the effectiveness of the method, through a significant improvement on the EMOTIC dataset.

• 대한음성학회:학술대회논문집
• /
• 대한음성학회 2006년도 추계학술대회 발표논문집
• /
• pp.120-123
• /
• 2006

The provision of personalized user interfaces for mobile devices is expected to be used for different devices with a wide variety of capabilities and interaction modalities. In this paper, we implemented a multimodal context-aware middleware incorporating XML-based languages such as XHTML, VoiceXML. SCXML uses parallel states to invoke both XHTML and VoiceXML contents as well as to gather composite multimodal inputs or synchronize inter-modalities through man-machine I/Os. We developed home networking service named "HomeN" based on our middleware framework. It demonstrates that users could maintain multimodal scenarios in a clear, concise and consistent manner under various user's interactions.

• 무역상무연구
• /
• 제13권
• /
• pp.257-281
• /
• 2000

The world economy is becoming increasingly globalized. The globalization has resulted in far reaching agreements to deepen trade liberalization and enlarge its scope to cover new areas in addition to strengthening its supporting institutional base. Economic growth has developed international trade which has accelerated the development of international carriage of goods in 21st century. The international trade is basically founded on the contract of international sale of goods and backed up by the contract of international carriage of goods and the insurance on the goods carried. It is essential to incorporate each other sections for the efficient development of international trade. As a result of rapid expansion of international carriage of goods, rationalization of transport was required, which has brought about the International Multimodal Transport System through containerization. The approach to liability system will be a right way to solve the insurance problems for the development and enlargement of world trade volume. International multimodal transport system has affected international trade a lot, especially the field of insurance a grate deal. This paper is to analyze contents of liability system on Multimodal Transport with in the UN Convention on International Multimodal Transport of goods.