• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.14 no.4
• /
• pp.157-163
• /
• 2014

User's sensitivity is recognized as a very important parameter for communication between company, government and personnel. Especially in many studies, researchers use voice tone, voice speed, facial expression, moving direction and speed of body, and gestures to recognize the sensitivity. Multiplex modality is more precise than single modality however it has limited recognition rate and overload of data processing according to multi-sensing also an excellent algorithm is needed to deduce the sensing value. That is as each modality has different concept and property, errors might be happened to convert the human sensibility to standard values. To deal with this matter, the sensibility expression modality is needed to be extracted using technologies like analyzing of relational network, understanding of context and digital filter from multiplex modality. In specific situation to recognize the sensibility if the priority modality and other surrounding modalities are processed to implicit values, a robust system can be composed in comparison to the consuming of computer resource. As a result of this paper, it is proposed how to assign the weight of multiplex modality using implicit data.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.635-638
• /
• 2024

최근, 대조 학습 기반의 멀티미디어 추천 시스템들이 활발하게 연구되고 있다. 이들은 아이템의 다양한 모달리티 피처들을 활용하여 사용자와 아이템에 대한 임베딩들(뷰들)을 생성하고, 이들을 통해 대조 학습을 진행한다. 학습한 뷰들을 추천에 활용함으로써, 이들은 기존 멀티미디어 추천 시스템들보다 상당히 향상된 추천 정확도를 획득했다. 그럼에도 불구하고, 우리는 기존 대조 학습 기반의 멀티미디어 추천 시스템들이 아이템의 뷰들을 생성하는 데에 아이템의 모달리티 피처들을 올바르게 반영하는 것의 중요성을 간과하며, 그 결과 추천 정확도 향상에 제약을 갖는다고 주장한다. 이는 아이템 임베딩에 아이템 자신의 모달리티 피처를 올바르게 반영하는 것이 추천 정확도에 향상에 도움이 된다는 기존 멀티미디어 추천 시스템의 발견에 기반한다. 따라서 본 논문에서 우리는 아이템의 모달리티 피처들을 올바르게 반영할 수 있는 뷰(구체적으로, 모달리티 반영 뷰)를 통해 대조 학습을 진행하는 새로운 멀티미디어 추천 시스템을 제안한다. 제안 방안은 두 가지 실세계 공개 데이터 집합들에 대해 최신 멀티미디어 추천 시스템보다 6.78%까지 향상된 추천 정확도를 보였다.

• Proceedings of the Korean Society for Cognitive Science Conference
• /
• 2010.05a
• /
• pp.66-71
• /
• 2010

본 논문에서는 멀티 모달리티가 인간의 기억 현상 중에서 특히 회상 현상에 도움이 될 것이 라는 아이디어를 인간 실험과 컴퓨터 시뮬레이션을 통해서 비교 확인한다. 우리는 순차적 멀티모달리티 정보가 기억회상 현상에 미치는 영향을 알아보기 위해서 확률 하이퍼그래프 메모리모델을 사용하여 컴퓨터 시뮬레이션을 수행하였으며, 시뮬레이션 결과를 동일한 데이터를 사용한 인간 실험 결과와 비교하였다. 본 실험에서는 TV 드라마의 비디오 데이터를 이용하여 이전시점의 사진과 문장 정보가 다음 시점의 문장 생성에 미치는 영향을 확인하였다. 본 실험의 목적은 이전 시점의 문장 정보와 문장/사진 정보를 활용하여 멀티 모달리티의 영향을 확인하는 것이며 다양한 시점의 정보를 활용하여 순차성이 회상에 갖는 영향을 확인하는 것이다. 이를 통해서 기억 회상 현상에 있어서 멀티 모달리티가 미치는 영향과 순차적 데이터가 미치는 영향을 보일 수 있었으며, 기계를 통해서 인간의 기억 회상 현상을 재현할 수 있는 시뮬레이션 모델을 구현 하는데 실마리를 제공하였다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.1011-1018
• /
• 2006

멀티모달 인터페이스는 인간의 제스처, 시선, 손의 움직임, 행동의 패턴, 음성, 물리적인 위치 등 인간의 자연스러운 행동들에 대한 정보를 해석하고 부호화하는 인지기반 기술이다. 본 논문에서는 제스처와 음성, 터치를 이용한 3D 오브젝트 기반의 멀티모달 인터페이스를 설계, 구현한다. 서비스 도메인은 스마트 홈이며 사용자는 3D 오브젝트 직접조작을 통해 원격으로 가정의 오브젝트들을 모니터링하고 제어할 수 있다. 멀티모달 인터랙션 입출력 과정에서는 여러 개의 모달리티를 병렬적으로 인지하고 처리해야 하기 때문에 입출력 과정에서 각 모달리티의 조합과 부호화 방법, 입출력 형식 등이 문제시된다. 본 연구에서는 모달리티들의 특징과 인간의 인지구조 분석을 바탕으로 제스처, 음성, 터치 모달리티 간의 입력조합방식을 제시하고 멀티모달을 이용한 효율적인 3D Object 인터랙션 프로토타입을 설계한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2010.06c
• /
• pp.376-379
• /
• 2010

인간의 학습과 기억현상에 있어서 멀티모달 데이터를 사용하는 것은 단순 모달리티 데이터를 사용하는 것에 비해서 향상된 효과를 보인다는 여러 연구 결과가 있어왔다. 이 논문에서는 인간의 순차적인 정보처리와 생성현상을 기계에서의 시뮬레이션을 통해서 기계학습에 있어서도 동일한 현상이 나타나는지에 대해서 알아보고자 하였다. 이를 위해서 가중치를 가진 랜덤 하이퍼그래프 모델을 통해서 순차적인 멀티모달 데이터의 상호작용을 하이퍼에지들의 조합으로 나타내는 것을 제안 하였다. 이러한 제안의 타당성을 알아보기 위해서 비디오 데이터를 이용한 문장생성을 시도하여 보았다. 이전 장면의 사진과 문장을 주고 다음 문장의 생성을 시도하였으며, 단순 암기학습이나 주어진 룰을 통하지 않고 의미 있는 실험 결과를 얻을 수 있었다. 단순 텍스트와 텍스트-이미지 쌍의 단서를 통한 실험을 통해서 멀티 모달리티가 단순 모달리티에 비해서 미치는 영향을 보였으며, 한 단계 이전의 멀티모달 단서와 두 단계 및 한 단계 이전의 멀티모달 단서를 통한 실험을 통해서 순차적 데이터의 단계별 단서의 차이에 따른 영향을 알아볼 수 있었다. 이를 통하여 멀티 모달리티가 시공간적으로 미치는 기계학습에 미치는 영향과 순차적 데이터의 시간적 누적에 따른 효과가 어떻게 나타날 수 있는지에 대한 실마리를 제공할 수 있었다고 생각된다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.447-454
• /
• 2007

본 논문에서는 사용자의 가상환경 내의 위치 정보에 대한 감각을 향상시키는 방법론으로서 햅틱 피드백(haptic feedback)과 사운드 피드백(sound feedback)의 모달리티를 활용한 그리드(grid)를 제안한다. 제안된 그리드는 사용자의 3차원 공간 내의 움직임(explorative procedure)에 추가적인 비 시각적인(non-visual) 위치정보 피드백을 부여하는데 그 목적을 두고 있다. 햅틱 모달리티를 활용한 3차원 그리드는 SensAble사의 PHANTOM(R) Omni$^{TM}$ 를 활용하여 설계되었으며, 사운드 모달리티를 활용한 경우 저주파 배경음의 주파수 특성(frequency characteristics of sound source)을 사용자 손의 공간 좌표값에 근거하여 재생 시의 표본 추출 비율(sampling rate)를 연속적으로 바꾸는 방식으로 설계되었다. 이러한 공간 그리드는 두 모달리티 각각의 독립적인 제시 및 동시 제시/제거를 통해 평가되었으며, 동시 제시의 경우 두 모달리티간의 어긋남(cross-modal asynchrony)이 없도록 설계되어 사용자의 공간 작업 시 모달리티간의 조화 (manipulating congruency)를 확보할 수 있도록 하였다. 실험을 통해 얻어진 결과는 그것의 통계적 유의미성을 분석하기 위해 다원변량분석과 사후검증(Turkey. HSD)을 거쳐 해석이 되었다. 공간 내 특정 좌표 선택을 기준으로 하는 그리드의 사용자 평과 결과, 3차원 내의 움직임에 대해 햅틱 및 사운드 피드백의 비 시각적 피드백은 사용자의 공간 작업의 오차를 줄여 주고 있음이 확인되었다. 특히 시각적인 정보만으로 확인하기 어려운 Z축 상의 움직임은 그리드의 도움으로 그 오차정도가 50% 이상 줄어 드는 것으로 확인되었다(F=19.82, p<0.01). 이러한 시각적 정보를 보존하는 햅틱, 사운드 피드백 방식을 HCI의 중요한 요소인 사용성과 유용성과 연관시켜 MMHCI(multimodal human-computer interaction) 방법론으로의 적용 가능성을 검토해 본다.

• Journal of Broadcast Engineering
• /
• v.20 no.1
• /
• pp.140-152
• /
• 2015

HCI(Human Computer Interaction) enables the interaction between people and computers by using a human-familiar interface called as Modality. Recently, to provide an optimal interface according to various devices and service environment, an advanced HCI method using multiple modalities is intensively studied. However, the multimodal interface has difficulties that modalities have different data formats and are hard to be cooperated efficiently. To solve this problem, a multimodal communicator is introduced, which is based on EMMA(Extensible Multimodal Annotation Markup language) and MMI(Multimodal Interaction Framework) of W3C(World Wide Web Consortium) standards. This standard based framework consisting of modality component, interaction manager, and presentation component makes multiple modalities interoperable and provides a wide expansion capability for other modalities. Experimental results show that the multimodal communicator is facilitated by using multiple modalities of eye tracking and gesture recognition for a map browsing scenario.

• The Journal of the Korea Contents Association
• /
• v.15 no.2
• /
• pp.507-519
• /
• 2015

Along with the rapid diffusion of smart devices, smart learning has been taking place as a main pedagogy in education. Under these drastic changing circumstances, social presence and interaction between learners have been highlighted as key factors in educational research. In this light of rising importance, this study examined the effects of modality and smart device on users' perceived social presence and interaction experience in a smart learning environment. It conducted 2(text based interface vs. audio/video based interface) by 2(smartphone vs. tablet PC) between-subjects experiment. 80 participants were systematically recruited and randomly assigned to four conditions. The findings showed that social presence was higher in audio/video based interface condition than in text based interface condition. Modality also had a positive effect on learner's interaction experience. On the other hand, the effect of smart device is found to be statistically insignificant. Instead, interaction effect existed between modality and device on social presence. The result of this study suggests that the modality and characteristics of device should be considered seriously when designing interface of smart learning contents. The findings in this study provide future studies with heuristic implications by highlighting users' perceived cognition and experience.

• The KIPS Transactions:PartA
• /
• v.11A no.5
• /
• pp.391-400
• /
• 2004

Within multimodal medical image registration techniques, which correlate different images and Provide integrated information, surface registration methods generally minimize the surface distance between two modalities. However, the features of two modalities acquired from one subject are similar. So, it can improve the accuracy of registration result to match two images based on optimization of both surface distance and shape feature. This research proposes a registration method which optimizes surface distance and surface curvature of two brain modalities. The registration process has two steps. First, surface information is extracted from the reference images and the test images. Next, the optimization process is performed. In the former step, the surface boundaries of regions of interest are extracted from the two modalities. And for the boundary of reference volume image, distance map and curvature map are generated. In the optimization step, a transformation minimizing both surface distance and surface curvature difference is determined by a cost function referring to the distance map and curvature map. The applying of the result transformation makes test volume be registered to reference volume. The suggested cost function makes possible a more robust and accurate registration result than that of the cost function using the surface distance only. Also, this research provides an efficient means for image analysis through volume visualization of the registration result.

• 한국HCI학회:학술대회논문집
• /
• 2009.02a
• /
• pp.278-284
• /
• 2009

Multimodal data to have several modalities such as videos, images, sounds and texts for one contents is increasing. Since this type of data has ill-defined format, it is not easy to represent the crossmodal information for them explicitly. So, we proposed new method to extract and analyze vision-language crossmodal association information using the documentaries video data about the nature. We collected pairs of images and captions from 3 genres of documentaries such as jungle, ocean and universe, and extracted a set of visual words and that of text words from them. We found out that two modal data have semantic association on crossmodal association information from this analysis.