• 제목/요약/키워드: Multi-Modal Recognition

검색결과 68건 처리시간 0.024초

투명한 입력오버레이를 이용한 필기 및 음성 입력 (Handwriting and Voice Input using Transparent Input Overlay)

  • 김대현;김명준;이진호
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제35권4호
    • /
    • pp.245-254
    • /
    • 2008
  • 본 논문은 IBM ViaVoice와 마이크로소프트 필기-인식 시스템(handwriting-recognition system)과 같은 인식 엔진(recognition engines)을 UMPC와 같은 펜-입력 디스플레이에서 작동하는 일반적인 윈도우 어플리케이션과 연동하기 위한 단일화된 멀티모달 입력 프레임워크(unified multi-modal input framework)를 제안한다. 사용자가 펜-입력 디스플레이에 부탁되어있는 버튼을 한 손으로 누르면, 인터넷 검색 윈도우나 워드 프로세서와 같이 현재 포커스를 갖는 윈도우는 전체 데스크탑을 덮을 수 있는 투명한 윈도우로 덮여진다. 이 위에 사용자는 다른 한 손으로, 현재 working context를 놓치지 않으면서, 필기 입력을 자유롭게 수행할 수 있다. 이런 투명 입력 윈도우를 이용하여 필기 및 음성 입력뿐만 아닐라 다이어그램까지 그릴 수 있게 해준다.

다중 센서 융합 알고리즘을 이용한 운전자의 감정 및 주의력 인식 기술 개발 (Development of Driver's Emotion and Attention Recognition System using Multi-modal Sensor Fusion Algorithm)

  • 한철훈;심귀보
    • 한국지능시스템학회논문지
    • /
    • 제18권6호
    • /
    • pp.754-761
    • /
    • 2008
  • 최근 자동차 산업 및 기술이 발전함에 따라 기계적인 부분에서 서비스적인 부분으로 관심이 점점 바뀌고 있는 추세이다. 이와 같은 추세에 발맞추어 운전자에게 보다 안정적이며 편리한 운전 환경을 조성하기 위한 방법으로 감정 및 인지 인식에 대한 관심이 점점 높아지고 있다. 감정 및 주의력을 인식하는 것은 감정공학 기술로서 이 기술은 1980년대 후반부터 얼굴, 음성, 제스처를 통해 인간의 감정을 분석하고 이를 통해 인간 진화적인 서비스를 제공하기 위한 기술로 연구되어 왔다. 이와 같은 기술을 자동차 기술에 접목시키고 운전자의 안정적인 주행을 돕고 운전자의 감정 및 인지 상황에 따른 다양한 서비스를 제공할 수 있다. 또한 Real-Time으로 운전자의 제스처를 인식하여 졸음운전이나 부주의에 의한 사고를 사전에 예방하고 보다 안전한 운전을 돕는 서비스가 필요시 되고 있다. 본 논문은 운전자가 안전 운전을 하기 위해 생체-행동 신호를 이용하여 감정 및 졸음, 주의력의 신호를 추출하여 일정한 형태의 데이터베이스로 구축하고, 구축된 데이터를 이용하여 운전자의 감정 및 졸음, 주의력의 특징 점들을 검출하여, 그 결과 값을 Multi-Modal 방법을 통해 응합함으로써 운전자의 감정 및 주의력 상태를 인식할 수 있는 시스템을 개발하는데 목표를 두고 있다.

복합형 환승센터에서의 상황대응을 위한 통합정보시스템 구축에 관한 연구 (A Study on the Implementation of the Integrated Information System for Emergency Handling in Multi-modal Transfer Stations)

  • 김현태;한정훈;장봉섭;김황배
    • 대한공간정보학회지
    • /
    • 제16권3호
    • /
    • pp.87-94
    • /
    • 2008
  • 이 연구에서는 복합형 환승센터의 돌발상황 대응을 위한 모니터링 대상의 선정과 돌발상황 모니터링, 검지, 확인, 전파, 처리, 종료까지의 진행 절차에서 관리되는 정보를 도출하고 데이터베이스로 통합관리 하도록 하여 상황진행 단계에 따라 상황처리 의사결정에 필요한 사전정보를 제공하도록 제시하였다. 시설물, 이용자, 교통류로 구성된 환승센터는 모니터링 정보의 한계성을 가지고 있다. 따라서 상황검지 및 상황대응 전략수립 방안에서는 상황대응 전문가의 경험 지식과 과거의 사례를 활용할 수 있는 전문가 시스템의 사례기반 추론을 활용하는 방안으로 접근하였다. 또한 돌발상황 발생 시 공간적 혼잡도 및 피해 최소화를 위해 환승센터에서 운영하고 있는 설비의 통제 방안을 제시하였으며, 대외기관의 서비스 지원 극대화를 위해 실시간으로 상황정보의 공유 서비스 체계가 유지되도록 하였다.

  • PDF

멀티모달 감정 인식 AI 기술을 이용한 우울증 예방 플랫폼 구축 (Development of a Depression Prevention Platform using Multi-modal Emotion Recognition AI Technology)

  • 장현빈;조의현;권수연;임선민;조세린;나정은
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.916-917
    • /
    • 2023
  • 본 연구는 사용자의 음성 패턴 분석과 텍스트 분류를 중심으로 이루어지는 한국어 감정 인식 작업을 개선하기 위해 Macaron Net 텍스트 모델의 결과와 MFCC 음성 모델의 결과 가중치 합을 분류하여 최종 감정을 판단하는 기존 82.9%였던 정확도를 텍스트 모델 기준 87.0%, Multi-Modal 모델 기준 88.0%로 개선한 모델을 제안한다. 해당 모델을 우울증 예방 플랫폼의 핵심 모델에 탑재하여 covid-19 팬데믹 이후 사회의 문제점으로 부상한 우울증 문제 해소에 기여 하고자 한다.

멀티모달 실감 경험 I/O 인터랙션 시스템 개발 (Development for Multi-modal Realistic Experience I/O Interaction System)

  • 박재언;황민철;이정년;허환;정용무
    • 감성과학
    • /
    • 제14권4호
    • /
    • pp.627-636
    • /
    • 2011
  • 본 연구는 단순 입력 기반 유니모달 인터랙션의 한계를 극복하고 단순 입력 방식이 아닌 멀티모달 기반 사용자의 행위, 의도, 및 집중도를 활용하여 실감적이고 몰입도를 향상시키는 인터랙션 시스템을 제안하는데 그 목적이 있다. 본 연구의 선행연구에서 기존 문헌연구를 토대로 메타분석방법을 활용하여 인터랙션을 위한 3차원 동작 인식 기술의 정확도를 분석하여 최종적인 센서 기반 인터랙션 방법이 선정되었고, 직관적 제스쳐 인터랙션 요소를 추출하여 본 시스템에 반영하였다. 또한 생리반응을 이용한 집중력 판단 기술을 개발하여 사용자 의도를 판단하는 연구를 진행하였다. 본 연구에서 제안하는 시스템은 3부분으로 나눌 수 있다. 선행연구에서 선정된 인터랙션 요소들을 적용하여 가속도(Accelator) 센서와 연성(Flexible) 센서를 활용하여 손 동작을 인식하는 시스템을 구현하였고, 동공 인터랙션을 통한 안경형 시선 추적기를 구현하여 인터랙션이 가능하게 하였으며, 심혈관 반응과 피부 온열 반응을 측정하여 사용자의 의도를 반영한 시스템을 최종 구현하였다. 실감형 디지털 엔터테인먼트 플랫폼 기술 개발을 위한 기초 연구로서 활용이 가능할 것으로 판단된다.

  • PDF

임베디드 직렬 다중 생체 인식 시스템 개발에 관한 연구 (A Study on the Development of Embedded Serial Multi-modal Biometrics Recognition System)

  • 김정훈;권순량
    • 한국지능시스템학회논문지
    • /
    • 제16권1호
    • /
    • pp.49-54
    • /
    • 2006
  • 현재의 지문 인식 시스템은 지문 패턴의 복제와 지문 특징점의 해킹이라는 불안한 요소가 잠재되어 있어, 시스템 오동작의 주요 원인이 되기도 한다. 이에 본 논문에서는 신체의 일부인 지문을 주 핵심 인식기로 사용하고, 여기에 최근 널리 이용 되고 있는 화자 인증을 이용하여 직렬 형태의 다중 생체인식 시스템을 구현하였다. 구현된 시스템은 다중생체인식시스템으로 먼저 음성에 대한 인증과정이 성공하면 지문에 대한 인식과정을 수행하는 구조로 되어있다. 또한 효율적인 실시간 인증 처리를 위해 기존의 음성 인식 알고리즘 중에서 화자 종속형인 DTW(Dynamic Time Waning) 알고리즘을 사용하였으며, 지문 인식 알고리즘으로는 계산량을 고려하여 인공지능 기법인 KSOM(Kohonen Self-Organizing feature Map) 알고리즘을 적용하였다. 본 논문에서 구현한 다중생체 인식시스템을 실험한 결과 지문과 음성을 각각 이용한 단일인식시스템보다 본인거부율은 $2\~7\%$정도 떨어졌지만, 인식시스템에서 가장 중요한 요소인 타인수락율은 전혀 발생하지 않음을 확인하였다. 아울러 인식테스트 시간 또한 기존의 단일 생체 인식 시스템과 차이가 거의 없었으며, 인식에 걸린 시간은 평균 1.5초 정도였다. 이에 구현된 다중 생체 인의 시스템은 여러 가지 실험 결과 단일 인식 시스템보다 더 효율적인 보안 시스템임을 증명하였다.

자폐증 치료를 위한 감성인지 시스템 프로토타입 (Prototype of Emotion Recognition System for Treatment of Autistic Spectrum Disorder)

  • 정성엽
    • 융복합기술연구소 논문집
    • /
    • 제1권2호
    • /
    • pp.1-5
    • /
    • 2011
  • It is known that as many as 15-20 in 10,000 children are diagnosed with autistic spectrum disorder. A framework of the treatment system for children with autism using affective computing technologies was proposed by Chung and Yoon. In this paper, a prototype for the framework is proposed. It consists of emotion stimulating module, multi-modal bio-signal sensing module, treatment module using virtual reality, and emotion recognition module. Primitive experiments on emotion recognition show the usefulness of the proposed system.

  • PDF

다중 센서 융합 알고리즘을 이용한 사용자의 감정 인식 및 표현 시스템 (Emotion Recognition and Expression System of User using Multi-Modal Sensor Fusion Algorithm)

  • 염홍기;주종태;심귀보
    • 한국지능시스템학회논문지
    • /
    • 제18권1호
    • /
    • pp.20-26
    • /
    • 2008
  • 지능형 로봇이나 컴퓨터가 일상생활 속에서 차지하는 비중이 점점 높아짐에 따라 인간과의 상호교류도 점점 중요시되고 있다. 이렇게 지능형 로봇(컴퓨터) - 인간의 상호 교류하는데 있어서 감정 인식 및 표현은 필수라 할 수 있겠다. 본 논문에서는 음성 신호와 얼굴 영상에서 감정적인 특징들을 추출한 후 이것을 Bayesian Learning과 Principal Component Analysis에 적용하여 5가지 감정(평활, 기쁨, 슬픔, 화남, 놀람)으로 패턴을 분류하였다. 그리고 각각 매개체의 단점을 보완하고 인식률을 높이기 위해서 결정 융합 방법과 특징 융합 방법을 적용하여 감정 인식 실험을 하였다. 결정 융합 방법은 각각 인식 시스템을 통해 얻어진 인식 결과 값을 퍼지 소속 함수에 적용하여 감정 인식 실험을 하였으며, 특징 융합 방법은 SFS(Sequential Forward Selection) 특징 선택 방법을 통해 우수한 특징들을 선택한 후 MLP(Multi Layer Perceptron) 기반 신경망(Neural Networks)에 적용하여 감정 인식 실험을 실행하였다. 그리고 인식된 결과 값을 2D 얼굴 형태에 적용하여 감정을 표현하였다.

Personal Identification Using Teeth Images

  • Kim Tae-Woo;Cho Tae-Kyung;Park Byoung-Soo;Lee Myung-Wook
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2004년도 ICEIC The International Conference on Electronics Informations and Communications
    • /
    • pp.435-437
    • /
    • 2004
  • This paper presents a personal identification method using teeth images. The method uses images for teeth expressions of anterior and posterior occlusion state and LDA-based technique. Teeth images give merits for recognition because teeth, rigid objects, cannot be deformed at the moment of image acquisition. In the experiments, personal identification for 12 people was successful. It was shown that our method can contribute to multi-modal authentication systems.

  • PDF