• 대한인간공학회지
• /
• 제26권3호
• /
• pp.67-80
• /
• 2007

Digital convergence, defined as the creative fusion of once-independent technologies and service, is getting more attention recently. Interruptions among internal functions happen frequently in digital convergence products because many functions that were in separate products are merged into a single product. Multi-tasking and multi-modality are two distinctive features of interruption in digital convergence products, but their impacts to the user have not been investigated yet. This study conducted a controlled experiment to investigate the impacts of multi-tasking and multi-modality on the subjective satisfaction and objective performance of digital convergent products. The study results indicate that multi-tasking and multi-modality have substantial effects individually as well as together. The paper ends with practical and theoretical implications of study results as well as research limits and future research.

• 한국컴퓨터정보학회논문지
• /
• 제20권1호
• /
• pp.143-151
• /
• 2015

바이오인식 기술은 기존의 PIN이나 패스워드와 달리 분실하거나 도용될 가능성이 적기 때문에 새로운 인증 수단으로 대체되고 있다. 그러나 바이오인식 정보는 PIN이나 패스워드 혹은 개인정보와 달리 노출되어 도용이 된다면 수정할 방법이 없다. 따라서, 기존의 단일 모달리티에 단일 바이오인식 정보처럼 노출이 되면 치명적인 방법이 아닌 다중 모달리티와 다중 바이오인식 정보를 사용하여 사용자와 TTP 혹은 금융기관 간 인증하도록 함으로써 본 논문은 보다 신뢰성있는 방법을 제안하고 기존의 방법과 보안 및 성능을 비교한다.

• 아동학회지
• /
• 제38권3호
• /
• pp.75-90
• /
• 2017

Objective: This study aimed to identify children's cognitive processing and performance characteristics while multiple task performance. It confirmed whether their multiple task performance and psychological refractory period (PRP) varied by task condition (stimulus onset asynchrony [SOA] and task difficulty) and stimulus modality. Methods: Seventy 5-year-olds were recruited. Multi-task tools were developed using the E-prime software. The children were required to respond to two stimuli (visual or auditory) presented with microscopic time difference and their response times (RTs) were recorded. Results: As the SOA increased, the RTs in the first task increased, while the RTs in the second task and PRP decreased. The RTs of the first and second tasks, and the PRP for difficult tasks, were significantly longer than those for easy tasks were. Additionally, there was an interaction effect between the SOA and task difficulty. Although there was no main effect of stimulus modality, task difficulty moderated the modality effect. In the high difficulty condition, the RTs of the first and second tasks and PRP for the visual-visual task were significantly longer than those for auditory-auditory task were. Conclusion: These results inform theoretical discussions on children's multi-task mechanism, and the loss of multiple task performance. Additionally, they provide practical implications and information on the composition of multi-tasks suitable for children in educational environments.

• 한국인터넷방송통신학회논문지
• /
• 제14권4호
• /
• pp.157-163
• /
• 2014

이용자의 감성은 그 어느 때보다 기업, 정부 그리고 개인 간의 소통에서 중요한 변수로 인식된다. 특히 수많은 연구에서 이용자의 감성을 파악하는 방법으로 음성 톤, 속도, 얼굴 표정, 몸의 이동 방향과 속도, 제스쳐 등이 사용된다. 다중 모달리티는 단일의 모달리티보다 정확도가 높은 반면 멀티 센싱에 따른 인식률 한계와 데이터 처리 부하 그리고 센싱된 값을 추론하는 우수한 알고리즘이 요구된다. 즉 다중 모달리티는 각 모달리티의 개념, 속성이 상이하여 인간의 감성값이라는 표준화된 값으로 전환하는데 오류가 발생할 수 있다. 이 문제를 해결하기 위해 다중 모발리티 중관계망 분석, 문맥 파악, 디지털 필터 등의 기술을 이용하여 이용자에게 우선 순위를 갖는 감성 표현 모달리티를 추출할 필요가 있다. 특정 상황에 우선 순위를 갖는 모달리티와 그 주변을 에워싼 다른 모발리티를 암묵 값으로 처리하면 감성 인식에 있어 컴퓨터 자원의 소비 대비 견고한 시스템을 구성할 수 있다. 본 연구 결과, 암묵 데이터를 활용하여 다중 모발리티 중 가중치를 어떻게 부여할지에 대하여 제안하였다.

• 대한디지털의료영상학회논문지
• /
• 제2권1호
• /
• pp.96-100
• /
• 1996

• Journal of Cardiovascular Imaging
• /
• 제30권2호
• /
• pp.135-137
• /
• 2022

• 대한인간공학회지
• /
• 제33권3호
• /
• pp.241-253
• /
• 2014

Objective: The objective of this study was to examine multi-modal interaction effects of input-mode switching on the use of smart phones. Background: Multi-modal is considered as an efficient alternative for input and output of information in mobile environments. However, there are various limitations in current mobile UI (User Interface) system that overlooks the transition between different modes or the usability of a combination of multi modal uses. Method: A pre-survey determined five representative tasks from smart phone tasks by their functions. The first experiment involved the use of a uni-mode for five single tasks; the second experiment involved the use of a multi-mode for three dual tasks. The dependent variables were user preference and task completion time. The independent variable in the first experiment was the type of modes (i.e., Touch, Pen, or Voice) while the variable in the second experiment was the type of tasks (i.e., internet searching, subway map, memo, gallery, and application store). Results: In the first experiment, there was no difference between the uses of pen and touch devices. However, a specific mode type was preferred depending on the functional characteristics of the tasks. In the second experiment, analysis of results showed that user preference depended on the order and combination of modes. Even with the transition of modes, users preferred the use of multi-modes including voice. Conclusion: The order of combination of modes may affect the usability of multi-modes. Therefore, when designing a multi-modal system, the fact that there are frequent transitions between various mobile contents in different modes should be properly considered. Application: It may be utilized as a user-centered design guideline for mobile multi modal UI system.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제8권11호
• /
• pp.4118-4136
• /
• 2014

To preserve the spatial consistency of low-level features, generalized Riesz-wavelet transform (GRWT) is adopted for fusing multi-modality images. The proposed method can capture the directional image structure arbitrarily by exploiting a suitable parameterization fusion model and additional structural information. Its fusion patterns are controlled by a heuristic fusion model based on image phase and coherence features. It can explore and keep the structural information efficiently and consistently. A performance analysis of the proposed method applied to real-world images demonstrates that it is competitive with the state-of-art fusion methods, especially in combining structural information.

• Journal of Electrical Engineering and Technology
• /
• 제9권2호
• /
• pp.739-748
• /
• 2014

In this paper, we propose pyramid appearance and global structure action descriptors on both RGB and depth motion history images and a model-free method for human action recognition. In proposed algorithm, we firstly construct motion history image for both RGB and depth channels, at the same time, depth information is employed to filter RGB information, after that, different action descriptors are extracted from depth and RGB MHIs to represent these actions, and then multimodality information collaborative representation and recognition model, in which multi-modality information are put into object function naturally, and information fusion and action recognition also be done together, is proposed to classify human actions. To demonstrate the superiority of the proposed method, we evaluate it on MSR Action3D and DHA datasets, the well-known dataset for human action recognition. Large scale experiment shows our descriptors are robust, stable and efficient, when comparing with the-state-of-the-art algorithms, the performances of our descriptors are better than that of them, further, the performance of combined descriptors is much better than just using sole descriptor. What is more, our proposed model outperforms the state-of-the-art methods on both MSR Action3D and DHA datasets.

• 디자인학연구
• /
• 제18권2호
• /
• pp.273-282
• /
• 2005

본 연구는 유비쿼터스 컴퓨팅 환경구축에 활용하기 위한 상황인지 모델과 이를 활용한 멀티모달 인터랙션 디자인 프레임웍을 제안하였다. 먼저 상황인지 모델개발을 위해 사용자의 인터랙션 상황을 파악하는 방법과 수집된 상황의 의미를 추론하여 사용자 요구에 맞는 멀티모달 인터랙션 서비스를 제공하는 방법을 연구하였다. 또한 상황인지 모델(Context cube)을 활용한 멀티모달 인터랙션 디자인 프레임웍을 제안하였으며, 이 프레임웍의 활용성을 검증하는 사례연구를 수행하고, 개인화된 유비쿼터스 서비스 도출 및 이 서비스의 산업화 가능성을 제시하였다. 상황인지는 사용자의 기본 행위(Basic Activity), 공간에서의 사용자 위치 및 공간내의 기기 및 환경 요소, 시간 요소와 사용자의 일상적인 스케줄 정보 요소에 의해 파악할 수 있으며, 이러한 요소들을 종합하여 공간적인 개념의 상황인지 모델(Context Cube)을 개발함으로써, 구체적인 공간 모델 내에서의 다양하고 개인화 된 유비쿼터스 서비스의 제안이 가능하였다. 또한, 실제적인 사용자 시나리오에 의한 사례연구를 통해 개념 모델을 구축하는 과정 및 각 과정에서 요구되는 정보의 유형을 검증하고, 상황인지 모델에서의 구성요소의 내용과 배열 등을 정의함으로써 개념모델의 완성도를 높였으며, 상황인지 모델에서 표현되는 사용자의 인터랙션 특징을 바탕으로 멀티모달 인터랙션 디자인의 접근방법을 개발함으로서 이를 디자인 프레임웍으로 구체화할 수 있었다.