• 대한음성학회지:말소리
• /
• 제67호
• /
• pp.103-120
• /
• 2008

Basic components for multimodal interface, such as speech recognition, speech synthesis, gesture recognition, and multimodal fusion, have their own technological limitations. For example, the accuracy of speech recognition decreases for large vocabulary and in noisy environments. In spite of those technological limitations, there are lots of applications in which speech-oriented multimodal user interfaces are very helpful to users. However, in order to expand application areas for speech-oriented multimodal interfaces, we have to develop the interfaces focused on usability. In this paper, we introduce usability and user-centered design methodology in general. There has been much work for evaluating spoken dialogue systems. We give a summary for PARADISE (PARAdigm for Dialogue System Evaluation) and PROMISE (PROcedure for Multimodal Interactive System Evaluation) that are the generalized evaluation frameworks for voice and multimodal user interfaces. Then, we present usability components for speech-oriented multimodal user interfaces and usability testing guidelines that can be used in a user-centered multimodal interface design process.

• ETRI Journal
• /
• 제46권2호
• /
• pp.277-289
• /
• 2024

In this paper, we describe a neural network-based application that recommends multiple items using dialog context input and simultaneously outputs a response sentence. Further, we describe a multi-item recommendation by specifying it as a set of clothing recommendations. For this, a multimodal fusion approach that can process both cloth-related text and images is required. We also examine achieving the requirements of downstream models using a pretrained language model. Moreover, we propose a gate-based multimodal fusion and multiprompt learning based on a pretrained language model. Specifically, we propose an automatic evaluation technique to solve the one-to-many mapping problem of multi-item recommendations. A fashion-domain multimodal dataset based on Koreans is constructed and tested. Various experimental environment settings are verified using an automatic evaluation method. The results show that our proposed method can be used to obtain confidence scores for multi-item recommendation results, which is different from traditional accuracy evaluation.

• 한국도로학회논문집
• /
• 제17권2호
• /
• pp.123-134
• /
• 2015

PURPOSES : The key point of a multimodal LOS (level-of-service) evaluation system is that all of the modes are mutually associated to determine each mode's LOS. For example, the LOS of the bicycle mode is measured based on not only bicycle volumes, but also automobile volumes. However, the Korea Highway Capacity Manual (KHCM) still focuses on the automobile mode in evaluating the LOS of the roads. Additionally, the KHCM's LOS of the other modes, except for the automobile, is not consistent with actual road conditions. The KHCM, therefore, needs to develop and introduce a multimodal LOS system in order to evaluate the service conditions more accurately. METHODS: As a preliminary step to the introduction of multimodal LOS research, in this study the current problem of the KHCM's LOS system through a close review and comparison with other HCMs (highway capacity manuals) was identified. Secondly, a field survey and investigation of the urban streets to apply the HCM's multimodal LOS system was conducted. Finally, a comparison analysis of the results of the HCM and KHCM LOS was performed. RESULTS: In the study, it was found that the results of the LOS for the automobile mode did not show a significant difference between the HCM and KHCM. However, the LOS of the bicycle and pedestrian mode tended to be worse in the multimodal LOS system, which results from considering the effects of the automobile mode. Moreover, it was found that many cases have the potential to improve the overall LOS conditions, while reducing the automobile capacity. CONCLUSIONS: With the introduction of the multimodal LOS system, road diet and complete streets can be easily applied to ans actual road improvement project. Ultimately, the multimodal LOS system should be introduced into the KHCM, which can then be applied to traffic impact studies and other road improvement projects for more accurate evaluations.

• 융합정보논문지
• /
• 제9권5호
• /
• pp.1-6
• /
• 2019

모바일 시장의 확장과 함께 멀티모달 미디어 콘텐츠의 제공을 위한 플랫폼이 다양해지고 있다. 멀티모달 미디어 콘텐츠에는 이종데이터들이 복합적으로 포함되어 있어 사용자들이 선호 콘텐츠를 선택하기 위해 시간과 노력이 요구된다. 따라서 본 논문에서는 추천을 위한 키워드 가중치를 이용한 멀티모달 미디어 콘텐츠 분류를 제안한다. 제안하는 방법은 멀티모달 미디어 콘텐츠의 텍스트 데이터에서 키워드 가중치를 통해 콘텐츠를 가장 잘 나타내는 키워드를 추출한다. 추출된 키워드를 기반으로 서브클래스를 갖는 장르 클래스를 생성하고 이에 적절한 멀티모달 미디어 콘텐츠를 분류한다. 또한 개인화된 추천을 위해 사용자의 선호도 평가를 진행하여 사용자의 콘텐츠 선호도 분석 결과를 기반으로 멀티모달 콘텐츠를 추천한다. 성능평가는 추천 결과의 정확도와 만족도를 통해 우수함을 검증한다. 이는 사용자가 선호하는 장르와 키워드를 모두 고려하여 추천하기 때문에 정확도는 74.62%, 만족도는 69.1%로 높게 나타난다.

• 한국융합학회논문지
• /
• 제11권11호
• /
• pp.175-182
• /
• 2020

본 연구에서는 회화 감상에 도움이 되는 사운드스케이프를 구성하기 위해 딥러닝 기술을 활용하여 클래식 음악을 매칭하는 기술을 소개하고 회화와 음악 매칭이 얼마나 잘 되었는지에 대해 평가할 수 있는 평가 지표를 제안한다. 평가 지표는 리커드 5점 척도를 통한 적합도 평가와 멀티모달 측면의 평가로 진행하였다. 회화와 음악 매칭에 대해 13명의 실험 참가자의 적합도 평가의 점수는 3.74/5.0 이었고, 또한 13명의 실험 참가자의 멀티모달 평가에서 회화와 음악 매칭의 코사인 유사도의 평균은 0.79였다. 멀티모달적 평가는 새로운 사용자 경험을 측정할 수 있는 평가 지표가 될 것으로 기대된다. 또한 본 연구를 통해 시각과 청각의 인터랙션을 제안함으로써 다중감각 예술작품 경험을 향상시키고자 하였다. 본 연구에서 제안된 회화와 음악 매칭이 다중감각 예술작품 전시에서 활용되며 더 나아가 이는 시각 장애인들의 예술작품 감상에 대한 접근성을 높일 수 있을 것이라 기대한다.

• 한국항해항만학회:학술대회논문집
• /
• 한국항해항만학회 2006년도 춘계학술대회 및 창립 30주년 심포지엄(논문집)
• /
• pp.265-271
• /
• 2006

전 세계적으로 생산과 판매, 유통이 펼쳐져 세계경제는 글로벌화 되고 국제운송체계는 신속성과 부가가치 서비스를 중요시하는 운송체계로 변화함에 따라 국제운송체계는 해상운송, 항공운송 그리고 철도운송을 시스템적으로 연계하는 국제복합운송 중심체계로 전환되고 있다. 이러한 변화에 따라 생산과 판매, 유통이 적시에 제공되고, 글로벌 네트워크상의 소비자에게 다차원적인 물류서비스를 제공할 수 있는 국제복합운송경로가 필요하지만 국제운송을 위한 정보 연계 및 운송수단 간의 연계 시스템이 미비하여 활성화되지 못하고 있다. 특히 국내에서는 3자 물류업체, 운송업체 둥의 선정기준은 제시되고 있으나, 운송을 계획하고 수행하는 물류전문업체들이 국제복합운송경로를 선정하는데 있어 체계적인 평가기준이 제시되지 못하고 있다. 이에 본 연구에서는 복합운송경로선정에 대한 주요 문헌연구를 정리하고, 업체 담당자들의 인터뷰를 통해 복합운송경로 선정을 위한 평가기준을 도출하고, 이를 계층분석기법(AHP)을 이용하여 측정하여 복합운송경로 선정을 위한 평가기준을 제시하는데 목적이 있다.

• 대한화학회지
• /
• 제61권4호
• /
• pp.211-217
• /
• 2017

The purpose of this study was to examine UK students' use of multimodal representations in science. Students were asked to explain their understandings of the scientific concept and presentation of the multimodal representations in a science Assessing Pupils' Progress (APP) task. Participants of this study were fifty-four Year 7 students taught by the same teacher. Students from one class (27 students) were assigned to the experimental group, and then they received instruction encouraging the using of multimodal representations as evidences to support students' claims. One class (27 students) was assigned to the control group and they received instruction with traditional teaching methods. Both groups performed an APP task for assessment. The samples of APP assessments produced by students both from the experimental and control groups were analyzed using an analysis framework of multimodal representations, embeddedness in evidence and understanding of scientific concepts. Data analysis indicated that the students in the experimental group performed better than that of the control group on embeddedness of multimodal representations in the APP task. In addition, there was a significant difference between the two groups in the evaluation of understand of the scientific concepts.

• 전자공학회논문지CI
• /
• 제45권5호
• /
• pp.162-172
• /
• 2008

본 논문에서는 이동환경에서 개인의 신원을 인증하는 수단으로 치열영상과 음성을 생체정보로 이용한 멀티모달 화자인증 방법에 대하여 제안한다. 제안한 방법은 이동환경의 단말장치중의 하나인 스마트폰의 영상 및 음성 입력장치를 이용하여 생체 정보를 획득하고, 이를 이용하여 사용자 인증을 수행한다. 더불어, 제안한 방법은 전체적인 사용자 인증 성능의 향상을 위하여 두 개의 단일 생체인식 결과를 결합하는 멀티모달 방식으로 구성하였고, 결합 방법으로는 시스템의 제한된 리소스를 고려하여 비교적 간단하면서도 우수한 성능을 보이는 가중치 합의 방법을 사용하였다. 제안한 멀티모달 화자인증 시스템의 성능평가는 스마트폰에서 획득한 40명의 사용자에 대한 데이터베이스를 이용하였고, 실험 결과, 치열영상과 음성을 이용한 단일 생체인증 결과는 각각 8.59%와 11.73%의 EER를 보였으며, 멀티모달 화자인증 결과는 4.05%의 EER를 나타냈다. 이로부터 본 논문에서는 인증 성능을 향상하기 위하여 두 개의 단일 생체인증 결과를 간단한 가중치 합으로 결합한 결과, 높은 인증 성능의 향상을 도모할 수 있었다.

• 한국감성과학회:학술대회논문집
• /
• 한국감성과학회 2011년도 추계학술대회
• /
• pp.68-69
• /
• 2011

• 한국콘텐츠학회논문지
• /
• 제10권8호
• /
• pp.1-10
• /
• 2010

가상교육 환경에 있어서 보다 효과적인 지식 전달을 위해서는 시청각적 정보에만 의존하는 기존의 학습 매체에서 탈피하여 상황에 맞는 촉각 피드백이 포함된 '실감형 교과서'의 도입이 필요하다. 그러나 저작 및 재생 환경상의 제약으로 인해 실감형 교과서를 위한 학습 콘텐츠의 확보와 활용은 아직 요원한 실정이다. 우리는 이러한 문제점에 착안하여 실감형 교과서를 위한 접근성 높은 멀티모달 학습 콘텐츠 저작 및 재생 프레임워크를 제안하였다. 본 프레임워크는 직관적인 콘텐츠 저작을 위한 스크립트 포맷과 이를 재생하기 위한 콘텐츠 재생부로 구성되어 있다. 스크립트 규격 정의 단계에서는 학습 콘텐츠에 요구되는 요소들을 규명하고 이를 반영한 XML 기반의 메타언어를 정의하였다. 그리고 콘텐츠 재생부는 작성된 콘텐츠를 해석하고 사용자로부터의 입력에 대응하여 시각 및 촉각 렌더링 루프를 통해 사용자에게 멀티모달피드백을 제공하도록 설계되었다. 이렇게 제안된 내용을 바탕으로 프로토타입을 구현하고 사용자 평가를 수행하여 본 프레임워크의 효용성을 검증하는 한편 앞으로의 개선 방향에 대해 논의하였다.