• 제목/요약/키워드: Multimodal environment

검색결과 73건 처리시간 0.032초

An Interactive Voice Web Browser Usable as a Multimodal Interface in Information Devices by Using VoiceXML

  • Jang, Min-Seok
    • 한국지능시스템학회논문지
    • /
    • 제14권6호
    • /
    • pp.771-775
    • /
    • 2004
  • The present Web surroundings is mostly composed of HTML(Hypertext Mark-up Language) and thereby users obtain web informations mainly in GUI(Graphical User Interface) environment by clicking mouse in order to keep up with hyperlinked informations. However it is very inconvenient to work in this environment comparing with easily accessed one in which human`s voice is utilized for obtaining informations. Using VoiceXML, resulted from XML, for supplying the information through telephone on the basis of the contemporary matured technology of voice recognition/synthesis to work out the inconvenience problem, this paper presents the research results about VoiceXML VUI(Voice User Interface) Browser designed and implemented for realizing its technology and also the VoiceXML Dialog designed for the purpose of the browser's efficient use.

모바일 환경 내 휴대폰 사용자 행동연구를 통한 다중양식 피드백 설정과 휴대패턴의 상호영향 연구 (A Study on Interaction between Multimodal Feedback Setting and Portable Patterns through Behavior Study of Mobile Phone User in Mobile Environment)

  • 백영미;명노해;임진호
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2006년도 학술대회 1부
    • /
    • pp.579-586
    • /
    • 2006
  • 모바일 환경에서 휴대폰을 사용하다 보면 무의식적으로 전화를 받지 못하는(Missing call) 상황이 빈번하게 일어난다. 휴대폰에서는 기본적으로 시각 청각 촉각의 다중양식 피드백(Multimodal feedback)을 제공하고 있음에도 불구하고, 이렇게 Missing call 이 발생하는 현상에는 여러 가지 다양한 원인이 존재할 것이다. 본 연구에서는 이러한 원인을 찾기 위해 모바일 환경 내 휴대폰 사용자 행동연구를 실시하여 일반적인 휴대패턴을 분석하고, Missing call과 관련하여 주로 설정하는 수신모드와 휴대패턴의 상호영향을 연구하고자 하였다. 본 연구결과, 모바일 환경에서 휴대폰 수신 탐지능력에는 인지심리학적(감각과 주의관련), 환경적, 행동학적 요인이 영향을 미칠 수 있는 것으로 나타났다. 또한 모바일 환경에서 주로 사용하는 수신모드인 진동모드 설정시, 휴대폰 사용자가 속한 환경에 다른 요인들이 복합적으로 존재할 경우 휴대폰 수신에 대한 탐지만족도가 감소함을 확인할 수 있었다.

  • PDF

Real-world multimodal lifelog dataset for human behavior study

  • Chung, Seungeun;Jeong, Chi Yoon;Lim, Jeong Mook;Lim, Jiyoun;Noh, Kyoung Ju;Kim, Gague;Jeong, Hyuntae
    • ETRI Journal
    • /
    • 제44권3호
    • /
    • pp.426-437
    • /
    • 2022
  • To understand the multilateral characteristics of human behavior and physiological markers related to physical, emotional, and environmental states, extensive lifelog data collection in a real-world environment is essential. Here, we propose a data collection method using multimodal mobile sensing and present a long-term dataset from 22 subjects and 616 days of experimental sessions. The dataset contains over 10 000 hours of data, including physiological, data such as photoplethysmography, electrodermal activity, and skin temperature in addition to the multivariate behavioral data. Furthermore, it consists of 10 372 user labels with emotional states and 590 days of sleep quality data. To demonstrate feasibility, human activity recognition was applied on the sensor data using a convolutional neural network-based deep learning model with 92.78% recognition accuracy. From the activity recognition result, we extracted the daily behavior pattern and discovered five representative models by applying spectral clustering. This demonstrates that the dataset contributed toward understanding human behavior using multimodal data accumulated throughout daily lives under natural conditions.

디지로그 북을 위한 레이아웃 기반 다감각 콘텐츠 저작 도구 (Layout Based Multimodal Contents Aughoring Tool for Digilog Book)

  • 박종희;우운택
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2009년도 학술대회
    • /
    • pp.512-515
    • /
    • 2009
  • 본 논문에서는 디지로그 북 (Digilog Book) 저작 환경에서 레이아웃 기반 다감각 콘텐츠 저작 도구를 제안한다. 저작 과정에 사용자는 마우스나 펜 타입 장치를 통해 종이책 위에 반복적으로 가상 영역을 생성하고, 해당 영역에 증강될 콘텐츠의 위치, 사이즈, 파일 선택, 이벤트 처리 등의 속성을 지정한다. 저작이 완료되면 시스템은 기존에 인쇄된 페이지 번호를 인식하고, 해당 페이지에 생성된 영역과 속성 정보를 포함하는 레이아웃을 생성한다. 페이지 레이아웃은 증강현실 환경에서 렌더링 하기 적합한 씬 그래프 (Scene Graph) 형태로 표현 되고 XML 형태로 저장된다. 디지로그 북 뷰어는 저장된 레이아웃을 로딩하고 저작된 속성을 분석하여 해당 페이지에 영역별로 증강 및 기능을 실행한다. 제안된 저작 도구를 통해 사용자는 혼합 인터페이스를 통해 디지로그 북 환경에서 관심영역에 시각, 청각적인 다감각 콘텐츠를 손쉽게 저작할 수 있다. 증강현실 환경에서 사용자가 레이아웃을 보다 쉽게 생성하기 위하여 영역 템플릿을 제공한다. 또한, 제안된 저작 도구는 페이지 인식부와 페이지 추적부를 독립적으로 구성함에 따라 단일 마커만으로 다수 페이지 저작이 가능하다. 실험 결과, 제안된 저작도구는 증강현실 환경에서 적절한 수행시간을 나타냄을 보였다. 제안된 저작 도구는 교육, 출판 업계 등 여러 응용분야에서 널리 활용될 수 있을 것이다.

  • PDF

3 차원 오브젝트 직접조작을 위한 데이터 글러브 기반의 멀티모달 인터페이스 설계 (Design of dataglove based multimodal interface for 3D object manipulation in virtual environment)

  • 임미정;박범
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2006년도 학술대회 1부
    • /
    • pp.1011-1018
    • /
    • 2006
  • 멀티모달 인터페이스는 인간의 제스처, 시선, 손의 움직임, 행동의 패턴, 음성, 물리적인 위치 등 인간의 자연스러운 행동들에 대한 정보를 해석하고 부호화하는 인지기반 기술이다. 본 논문에서는 제스처와 음성, 터치를 이용한 3D 오브젝트 기반의 멀티모달 인터페이스를 설계, 구현한다. 서비스 도메인은 스마트 홈이며 사용자는 3D 오브젝트 직접조작을 통해 원격으로 가정의 오브젝트들을 모니터링하고 제어할 수 있다. 멀티모달 인터랙션 입출력 과정에서는 여러 개의 모달리티를 병렬적으로 인지하고 처리해야 하기 때문에 입출력 과정에서 각 모달리티의 조합과 부호화 방법, 입출력 형식 등이 문제시된다. 본 연구에서는 모달리티들의 특징과 인간의 인지구조 분석을 바탕으로 제스처, 음성, 터치 모달리티 간의 입력조합방식을 제시하고 멀티모달을 이용한 효율적인 3D Object 인터랙션 프로토타입을 설계한다.

  • PDF

유비쿼터스 컴퓨팅환경에서의 Multimodal Sensor 기반의 Health care를 위한 사용자 행동 자동인식 시스템 - Multi-Sensor를 이용한 ADL(activities of daily living) 지수 자동 측정 시스템 (Design and Implementation of a User Activity Auto-recognition System based on Multimodal Sensor in Ubiquitous Computing Environment)

  • 변성호;정유석;김태수;김현우;이승환;조위덕
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2009년도 학술대회
    • /
    • pp.21-26
    • /
    • 2009
  • 유비쿼터스 컴퓨팅 환경의 급속한 발전은 Multi-Sensor를 이용하여 자동으로 사용자의 행동인식을 가능한 환경을 만들어주었다. 따라서 이 논문에서는 사용자가 일상생활을 하는데 있어서 기본적으로 필요한 행동인 ADL(activities of daily living)의 수행능력을 분석하고 진단할 수 있는 Multi-Sensor기반의 ADL 자동 진단 시스템을 구축하였다. 두 개의 가속도 센서를 허벅지와 손목에 부착하여 사용자의 행동 정보를 수집하고 이를 Decision-Tree를 통하여 분석하여 사용자의 행동 정보를 수집하였다. 또한 Zigbee 센서를 이용하여 개별 물체의 Object ID를 이용하여 사용자의 위치정보와 주변의 물체의 정보를 수집하여 사용자의 상태 정보를 수집하였다. 이렇게 수집된 행동 정보와 상태 정보들을 통하여 일상생활에 필요한 약 20여 가지의 행동을 인식하였고 평균적으로 96%이상의 정확도를 나타내었으며 이를 통하여 ADL 지수를 자동으로 측정하였다.

  • PDF

한국-유라시아간 해륙복합운송 문제점 및 해결 우선순위 분석 (Analysis on Barriers and Resolution Priority of Sea-Rail Multimodal Logistics among Korea and Eurasia Nations)

  • 이언경;이수영;김보경;어승섭
    • 한국항만경제학회지
    • /
    • 제35권2호
    • /
    • pp.109-126
    • /
    • 2019
  • 2018년 남북정상의 4.27 판문점 선언으로 한반도의 평화 및 협력 분위기가 조성되고, 그해 6월에는 국제철도협력기구(OSJD) 가입으로 한반도를 포함하여 중국, 러시아 등 유라시아와 연계하는 복합물류체계 기반이 마련되었다. 본 논문에서는 한반도와 유라시아를 효율적으로 연결하는 복합물류 네트워크 구축하는데 애로사항을 파악하기 위하여 현재 대륙철도를 이용하고 있는 실무전문가를 대상으로 설문조사를 실시했다. 설문항목은 국경통과 절차, 기술, 시설, 운영, 정부지원 측면 등 5가지로 나누어 애로정도와 해결 우선순위 점수를 조사했다. 그 결과 한국-유라시아간 국제 복합운송 문제점 중에서 우선 해결해야 할 과제로는 환적 시설을 개선하고, 통과국마다 검사하는 것을 폐지하고 통관서류를 간소화해야 하며, 운임변동을 최소화하는 방안 마련 등이 선정되었다. 결론적으로 한반도와 대륙철도 연계 및 복합운송 활성화를 위해서는 첫째, 국경에서의 궤간 변경을 원활하게 하기 위한 환적 시스템 개발을 국제 공동으로 실시해야 하고, 둘째 남 북 중 러 철도시설 및 운영시설을 표준화해야 하며, 셋째, 통관간 소화, 정기 발차, 운임 변동 정보 공유 등을 위한 남 북 중 러의 국제협력이 필요하고, 마지막으로 정부 차원에서 블록트레인 구성을 위한 물량 확보 방안을 마련하고 새로운 비즈니스 모델을 개발해야 할 것으로 판단된다.

해공복합운송 서비스품질이 포워더의 만족에 미치는 영향 (An Empirical Study on the Forwarder's Satisfaction to Service Quality)

  • 최동오
    • 한국항만경제학회지
    • /
    • 제28권2호
    • /
    • pp.195-211
    • /
    • 2012
  • 세계화의 급속한 진전으로 인해 촉발된 물류활동의 글로벌화에 따라 새롭게 부각되고 있는 분야 중 하나인 해공복합운송은 해상운송의 경제성과 항공운송의 신속성을 통해 수송비용의 절감과 운송시간의 단축이란 목적을 달성하기 위하여 해상운송수단과 항공운송수단을 결합한 국제운송방식이다. 본 연구는 해공복합운송에서 포워더의 만족에 영향을 미치는 실제운송인의 서비스품질구성 요인을 규명하기 위하여 실제운송인을 이용해 본 경험이 있는 현직 포워더를 대상으로SERVPERF 모형을 이용하여 실증분석을 실시하였다. 통계적 검정결과 SERVPERF 모형에서 제시한 유형성, 신뢰성, 대응성, 확신성, 공감성 가운데 신뢰성, 대응성, 확신성, 유형성의 순서로 중요하다는 것이 검증되었으나 공감성은 통계적으로 유의하지 않게 나타났다. 이는 복합운송 산업의 특성에 따라 약속된 서비스를 신뢰할 수 있고, 정확하게 수행 가능한 능력으로 구성되는 요인인 신뢰성의 중요성이 나타난 결과라 할 수 있다. 그리고 기업이 고객에게 제공하고자 하는 개별적인 배려와 관심으로 구성되는 요인인 공감성의 경우 통계적으로 유의하지 않게 나타났는데, 이 또한 산업의 특성을 반영한 결과라고 할 수 있다.

멀티모달 다중 카메라의 영상 보정방법 (A Calibration Method for Multimodal dual Camera Environment)

  • 임수창;김도연
    • 한국정보통신학회논문지
    • /
    • 제19권9호
    • /
    • pp.2138-2144
    • /
    • 2015
  • 멀티모달 다중 카메라 시스템은 동일 기종이 아닌 적외선 열화상 카메라와 광학 카메라를 이용하여 구성한 스테레오 형태의 시스템이다. 본 논문에서는 열화상 카메라와 광학카메라에서 동시에 인식이 가능한 전용 타겟을 제작하여 스테레오 보정을 진행하였다. 일반적인 스테레오 교정에서는 두 카메라 사이의 내부 파라미터와 외부 파라미터를 이용하여 교정을 진행 하지만, 본 연구에서는 각각의 영상에서 코너점을 검출하고, 검출된 코너점의 좌표를 이용하여 두 영상 사이의 픽셀 오차율, 영상의 회전정도 및 영상의 크기 차이를 구한다. 이를 이용하여 기하학적 변환중 하나인 어파인 변환을 이용하여 보정을 진행 하였으며, 최종적으로 보정된 영상에 매핑되는 영역을 재구성하여 최종 결과 영상을 구했다.

멀티모달 기반의 감성 조명 시스템 (Sensitivity Lighting System Based on multimodal)

  • 권순민;정인범
    • 한국정보통신학회논문지
    • /
    • 제16권4호
    • /
    • pp.721-729
    • /
    • 2012
  • 본 논문에서는 인간의 감성을 멀티모달 환경에 기반하여 인식하여 감성지수에 따라 조명의 색을 조절하는 감성조명 시스템을 구현하였다. 감성조명을 위하여 사용된 LED 조명은 친 환경적이며 고효율 및 긴 수명을 가지고 있다. 특히 LED 조명은 단일 조명구로도 다양한 색 표현이 가능한 장점을 가지고 있다. 인간의 감성을 보다 정확하게 판별하기 위하여 사용자의 얼굴 영상 정보와 및 각성 상태 정보를 동시에 사용하여 멀티모달에 기반된 감성지수를 산출하였다. 실험을 통하여 LED 조명 색감이 사용자의 감성지수에 따라 변화 되므로 기존의 조명들에 비하여 인간 친화적인 조명시스템을 구축함을 보인다.