• 한국감성과학회:학술대회논문집
• /
• 한국감성과학회 2009년도 추계학술대회
• /
• pp.254-257
• /
• 2009

유비쿼터스 시대가 도래하면서 사용자를 중심으로 하는 서비스에 대한 관심이 증가하고 있다. 더불어 사용자의 특성에 맞는 개인화 된 서비스를 요구하고 있다. 본 논문에서는 유비쿼터스 공간에서 소형화, 지능화되고 있는 개인형 이종 디바이스 간의 협업을 통해 사용자에게 보다 직관적이고 편리한 개인화된 서비스를 제공하기 위한 디바이스 협업 기반 에이전트 기술을 제안한다. 본 연구에서는 센서를 통해 사용자 환경에 대한 정보 및 사용자 정보를 수집하여 기본적인 서비스에 필요한 상황정보를 처리한다. 또한, 유비쿼터스 사용자에게 필요한 멀티모달 서비스를 제공한다. 따라서 일반적인 자동화 서비스 이상의 개인 특성에 맞는 고품질의 서비스를 제공할 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 1부
• /
• pp.559-563
• /
• 2008

휴대폰은 현대 생활에 없어서는 안 될 개인화 단말기가 되었으며, 그 위에서 다양한 디바이스, 컨텐츠 및 서비스의 컨버전스가 이루어지고 있다. 그러한 다양하고 복잡한 기능과 대용량 컨텐츠 및 정보를 효과적으로 검색하고 사용할 수 있는 수단에 대한 연구도 활발히 진행되고 있다. 본 연구는 휴대폰 상에서 음성, 키패드, 모션을 이용하여 한글 단어를 입력하는 새로운 인터페이스를 개발하고, 이를 응용한 전화걸기 애플리케이션을 통하여 그 그사용성과 효과를 검증하는 것을 목적으로 한다. 개발된 멀티모달 인터페이스는 복잡한 메뉴 트리와 깊이를 한 번에 접근할 수 있는 음성 인터페이스의 장점을 수용하면서 인식률 및 인식시간을 개선하였다.

• 정보보호학회지
• /
• 제24권3호
• /
• pp.7-14
• /
• 2014

스마트 환경은, 사용자가 스마트기기를 통해 시간적, 공간적 제약을 받지 않고 스마트기기 서비스를 이용하는 것을 말하며 스마트기기의 보급으로 인하여 보편화되고 있다. 그런데 스마트 환경에서 서비스를 제공받기 위한 사용자와 스마트기기 간 인터페이스에서 각종 보안에 대한 위협이 발생한다. 또 스마트기기의 특성상 사용자 입력이 간편하지 않을 뿐만 아니라 일반 사용자가 계정 종류, 보안 유형 등 전문적인 용어에 대한 지식을 알아야하는 어려움이 존재한다. 최근 이러한 문제를 해결하고자 스마트기기의 터치스크린, 카메라, 가속도 센서, 지문인식 센서 등 다양한 센서를 혼합 사용하여 사용자 인증을 거치는 멀티모달 인터페이스 연구가 각광받고 있다. 따라서 본고에서는 인간과 스마트기기 사이 상호작용 시 안전하고 편리한 스마트 환경 조성을 위하여 멀티모달 센서를 활용한 다양한 스마트기기 사용자 인증 기술 동향에 대해 소개한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2003년도 정기총회 및 학술대회
• /
• pp.219-222
• /
• 2003

본 논문에서는 멀티모달(multimodal) 특징을 이용한 비디오 장르 식별 방법을 제안한다. 비디오 장르 식별 기술은 방대한 양의 방송 컨텐츠를 보다 효율적으로 분류할 뿐 아니라 자동적인 비디오 요약을 위한 전처리 과정으로 활용될 수 있는 기술이다. 따라서, 그 필요성 및 중요성이 부각되고 있다. 본 논문에서 제안하고 있는 방법은 MPEG-7의 오디오 및 비주얼 서술자들을 적용하여 멀티모달 특징을 추출하고 여러 가지 방송 비디오 장르(genre)들로 구성된 데이터베이스에서 장르 분류를 위해 설계된 인식기(classifier)를 통한 성능을 평가한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
• /
• pp.468-472
• /
• 2020

시각적 질의응답(Visual Question Answering, VQA)은 주어진 이미지에 연관된 다양한 질문에 대한 올바른 답변을 예측하는 기술이다. 해당 기술은 컴퓨터 비전-자연어 처리 연구분야에서 활발히 연구가 진행되고 있으며, 질문의 의도를 정확히 파악하고, 주어진 이미지에서 관련 단서 정보를 찾는 것이 중요하다. 또한, 서로 이질적인 특성을 지닌 정보(이미지 객체, 객체 위치, 질문)를 통합하는 과정도 중요하다. 본 논문은 질문의 의도에 알맞은 정보를 효율적으로 사용하기 위해 멀티 모달 입력 이미지 객체, 객체 위치, 질문)에 대한 Multi-modal Message Aggregation (MMA) 제안하며 이를 통해 한국어 시각적 질의응답 KVQA에서 다른 모델보다 더 좋은 성능을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.552-554
• /
• 2023

웹소설 시장의 성장에 따라 웹소설 추천 시스템의 중요성이 높아지고 있다. 본 연구에서는 작품의 특성 및 선호도를 나타낼 수 있는 다양한 데이터를 활용하여 추천시스템을 구현하고 그 성능을 평가하여 표지 이미지와 작품 특성을 모두 고려한 멀티 모달 추천 시스템이 가장 효율적임을 보여주었다. 연구 결과, 단일 변수 추천에서는 작품 소개글과 표지 이미지 기반 추천이 가장 좋은 성능을 보였고, 멀티 모달 추천 시스템에서는 작품 소개글, 이미지, 키워드 순으로 성능에 좋은 영향을 끼치는 것으로 나타났다. 이번 연구 결과는 한국콘텐츠진흥원에서 조사한 웹소설 이용자 실태조사와는 조금 다른 결과를 보여주었다. 설문조사에서는 인기도를 웹소설 선택 시 가장 중요한 영향으로 봤으나, 본 연구에서는 작품 소개글이 가장 중요한 영향을 미친다는 결과가 나타났다. 이러한 연구 결과는 웹소설 추천 시스템의 개발과 운영에 있어서 중요한 참고 자료가 될 것으로 예상된다.

• 정보과학회 논문지
• /
• 제43권11호
• /
• pp.1281-1297
• /
• 2016

최근 스마트 기기의 보급으로 자유롭게 비디오 컨텐츠를 생성하고 이를 빠르고 편리하게 공유할 수 있는 네트워크 환경이 갖추어지면서, 퍼스널 비디오가 급증하고 있다. 그러나, 퍼스널 비디오는 비디오라는 특성 상 멀티 모달리티로 구성되어 있으면서 데이터가 시간의 흐름에 따라 변화하기 때문에 이벤트 분류를 할 때 이에 대한 고려가 필요하다. 본 논문에서는 비디오 내의 멀티 모달리티들로부터 고수준의 특징을 추출하여 시간 순으로 재배열한 것을 바탕으로 모달리티 사이의 연관관계를 Deep Neural Network(DNN)으로 학습하여 퍼스널 비디오 이벤트를 분류하는 방법을 제안한다. 제안하는 방법은 비디오에 내포된 이미지와 오디오를 시간적으로 동기화하여 추출한 후 GoogLeNet과 Multi-Layer Perceptron(MLP)을 이용하여 각각 고수준 정보를 추출한다. 그리고 이들을 비디오에 표현된 시간순으로 재 배열하여 비디오 한 편당 하나의 특징으로 재 생성하고 이를 바탕으로 학습한 DNN을 이용하여 퍼스널 비디오 이벤트를 분류한다.

• 전자공학회지
• /
• 제22권4호
• /
• pp.40-50
• /
• 1995

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.417-422
• /
• 2007

멀티모달 인터페이스(multimodal interface)는 사람과 기계 사이의 통신을 위해 여러 가지 수단을 사용함을 말한다. 본 고에서는 휴대폰 키 패드를 통한 문자 입력과 마이크를 통한 음성 인식의 두 가지 모드를 함께 사용하여 단어를 입력하는 새로운 인터페이스 방법을 제시함으로써 미래지향적 휴먼 인터페이스의 핵심으로 인지되고 있는 음성인식의 한계, 특히 한국어 인식의 문제점을 해결하고자 한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2005년도 춘계학술발표대회
• /
• pp.895-898
• /
• 2005

최근 미래 컴퓨터 기술에 대한 연구로서, 인터페이스 부분에 초점을 맞춘 다양한 연구가 진행되고 있다. 현재 웨어러블 컴퓨터(Wearable Computer), 유비쿼터스 컴퓨팅(ubiquitous Computing), 가상현실(Virtual Reality), 멀티모달 인터페이스 기술 등 다양한 인터페이스 기술이 연구되고 있다. 본 논문에서는 모바일 폰 카메라를 이용해 손가락 움직임을 인식하는 알고리즘으로 KTF v1.1 Emulator 를 이용하여 모바일 게임을 위한 멀티모달 인터페이스로 적용 가능성을 제안한다.