• 제목/요약/키워드: Multi-Modal Recognition

검색결과 68건 처리시간 0.021초

직관적인 핸드 모션에 기반한 NUI/NUX 프레임워크 (NUI/NUX framework based on intuitive hand motion)

  • 이광형;신동규;신동일
    • 인터넷정보학회논문지
    • /
    • 제15권3호
    • /
    • pp.11-19
    • /
    • 2014
  • 내츄럴 유저 인터페이스는 마우스, 키보드, 펜과 마커를 이용하지 않는 신체를 이용한 자연스런 모션 인터페이스이다. 지금까지 대표적인 동작 인식 방법은 마커를 이용하는 방식이었고 그 인식 방법은 각 마커의 좌표를 상대적인 데이터로 입력 받아 데이터베이스에 각 좌표 값을 저장하는 것이었다. 그러나 정확한 동작을 인식하기 위해서는 더 많은 마커들이 필요하고 그 마커들을 붙이는 것과 데이터들을 처리하는 데에 상당한 시간이 걸린다. 또, NUI/NUX 프레임워크를 개발하면서, 가장 중요한 직관성을 배제한 개발로 사용상에 문제가 생겼고 계속해서 사용자에게 암기만을 강요하고 있다. 이 문제를 보완하기 위해, 본 논문에서는 마커를 이용하지 않았고 남녀노소 누구나 다룰 수 있도록 구현했다. 또, 목소리, 신체 동작, 얼굴 표정 등을 동시에 인식하는 멀티모달 NUI/NUX 프레임 워크를 설계했고, 직관적인 손동작을 인식하는 것과 모니터에 그것을 매핑하기 위해 새로운 마우스 이벤트 알고리즘을 제안했다. 우리는 사용자들이 쉽고 직관적으로 핸드마우스 이벤트를 다루도록 구현했다.

멀티 모달 기반의 스마트 감성 주얼리 (Smart Affect Jewelry based on Multi-modal)

  • 강윤정
    • 한국정보통신학회논문지
    • /
    • 제20권7호
    • /
    • pp.1317-1324
    • /
    • 2016
  • 아두이노 플렛폼을 활용하여 스마트 주얼리에 보석처럼 빛나는 효과를 나타내기 위해 감성적인 주얼리로 색을 표현하였다. 감성적인 색 표현을 위해 플러칙의 감정 팽이 모형을 활용하여 감정과 색의 유사성을 적용하였다. 스마트폰에서 쉽게 접할 수 있는 온도, 조도, 소리, 자이로 센서와 스마트 주얼리의 맥박센서로부터 인식된 값을 입력받아 감성을 인식하고 처리하는 과정은 온톨로지 기반의 추론규칙을 적용하고, 상황정보에서 나타난 감성에 따라 감성 색을 찾고 그 감성 색을 스마트 주얼리의 LED에 적용하였다. 주얼리 착용자의 감정에 따라 스마트 주얼리에 내장된 LED에 결정된 감성 색으로 빛을 냈다.

반자율주행 맥락에서 AI 에이전트의 멀티모달 인터랙션이 운전자 경험에 미치는 효과 : 시각적 캐릭터 유무를 중심으로 (The Effect of AI Agent's Multi Modal Interaction on the Driver Experience in the Semi-autonomous Driving Context : With a Focus on the Existence of Visual Character)

  • 서민수;홍승혜;이정명
    • 한국콘텐츠학회논문지
    • /
    • 제18권8호
    • /
    • pp.92-101
    • /
    • 2018
  • 대화형 AI 스피커가 보편화되면서 음성인식은 자율주행 상황에서의 중요한 차량-운전자 인터랙션 방식으로 인식되고 있다. 이 연구의 목적은 반자율주행 상황에서 음성뿐만 아니라 AI 캐릭터의 시각적 피드백을 함께 전달하는 멀티모달 인터랙션이 음성 단일 모드 인터랙션보다 사용자 경험 최적화에 효과적인지를 확인하는 것이다. 실험 참가자에게 주행 중 AI 스피커와 캐릭터를 통해 음악 선곡과 조정을 위한 인터랙션 태스크를 수행하게 하고, 정보 및 시스템 품질, 실재감, 지각된 유용성과 용이성, 그리고 지속 사용 의도를 측정하였다. 평균차이 분석 결과, 대부분의 사용자 경험 요인에서 시각적 캐릭터의 멀티모달 효과는 나타나지 않았으며, 지속사용 의도에서도 효과는 나타나지 않았다. 오히려, 정보품질 요인에서 음성 단일 모드가 멀티모달보다 효과적인 것으로 나타났다. 운전자의 인지적 노력이 필요한 반자율주행 단계에서는 멀티모달 인터랙션이 단일 모드 인터랙션에 비해 사용자 경험 최적화에 효과적이지 않았다.

해석모델의 불확실성을 고려한 교량의 손상추정기법 (Damage Detection of Bridge Structures Considering Uncertainty in Analysis Model)

  • 이종재;윤정방
    • 한국전산구조공학회논문집
    • /
    • 제19권2호
    • /
    • pp.125-138
    • /
    • 2006
  • 교량의 손상추정을 위한 구조계 규명기법은 신호취득시스템 및 정보처리기술의 발전과 함께 최근에 많은 연구개발이 이루어지고 있다. 신경망기법이나 유전자 알고리즘과 같은 소프트컴퓨팅 기법은 뛰어난 패턴인식성능 때문에 손상추정 문제에 활발히 활용되고 있다. 본 연구에서는 모드계수를 활용한 신경망기법기반 손상추정을 수행하였으며, 신경망을 훈련시키기 위한 훈련패턴을 생성하는 해석모델에서의 불확실성을 효과적으로 고려할 수 있는 방법을 제시하였다. 해석모델의 불확실성 대하여 민감하지 않은 입력자료인 손상 전 후의 모드형상의 차 또는 모드형상의 비를 신경망의 입력자료로 활용하였다. 단 순보와 다주형교량에 대한 수치예제를 통하여 본 연구에서 제시한 기법의 타당성 및 적용성을 검증하였다.

지능형 로봇 아이로비큐(IrobiQ)를 활용한 학교폭력 예방 프로그램 개발 (Contents Development of IrobiQ on School Violence Prevention Program for Young Children)

  • 현은자;이하원;연혜민
    • 한국콘텐츠학회논문지
    • /
    • 제13권9호
    • /
    • pp.455-466
    • /
    • 2013
  • 본 연구의 목적은 지능형 로봇 IrobiQ를 활용한 유아용 학교폭력 예방교육 프로그램 [모두 지킴이]를 개발하는 것이다. 개발 내용은 첫째, 현장에서 실제 발생될 수 있는 폭력 유형인 집단 따돌림(왕따), 성폭력 그리고 기본 인성교육이다. 둘째, 각 주제에 적합한 활동형태는 대집단, 개별, 소집단, 자유선택활동 및 학교와 부모의 연계를 목적으로 하는 부모교육이다. 셋째, 활동유형은 동시, 동화, 동요, 미술, 이야기 나누기 등이다. 넷째, 콘텐츠는 이미지, TTS(text to speech), 터치기능, 음량인식기능 및 녹음기능 등을 활용하여 제작하였다. 본 콘텐츠를 유아에게 적용하고 30명의 전문가들을 대상으로 시연하여 수용성 설문을 실시한 결과, 긍정 반응을 보였다. 본 연구의 결과는 로봇을 활용한 학교 폭력 예방 프로그램의 효과를 최적화하기 위한 기초 자료로서 상호 작용성을 보다 증진시킬 수 있는 추후 연구를 제안한다.

장소 정보를 학습한 딥하이퍼넷 기반 TV드라마 소셜 네트워크 분석 (Social Network Analysis of TV Drama via Location Knowledge-learned Deep Hypernetworks)

  • 남장군;김경민;장병탁
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권11호
    • /
    • pp.619-624
    • /
    • 2016
  • Social-aware video는 자유로운 스토리 전개를 통해 인물들간의 관계뿐만 아니라 경제, 정치, 문화 등 다양한 지식을 사람에게 전달해주고 있다. 특히 장소에 따른 사람들간의 대화 습성과 행동 패턴은 사회관계를 분석하는데 있어서 아주 중요한 정보이다. 하지만 멀티모달과 동적인 특성으로 인해 컴퓨터가 비디오로부터 자동으로 지식을 습득하기에는 아직 많은 어려움이 있다. 이러한 문제점들을 해결하기 위해 기존의 연구에서는 딥하이퍼넷 모델을 사용하여 드라마 등장인물의 시각과 언어 정보를 기반으로 계층적 구조를 사용해 소셜 네트워크를 분석하였다. 하지만 장소 정보를 사용하지 않아 전반적인 스토리로부터 소셜 네트워크를 분석할 수밖에 없었다. 본 논문에서는 기존 연구를 바탕으로 장소 정보를 추가하여 각 장소에서의 인물 특성을 분석해 보았다. 본 논문에서는 총 4400분 분량의 TV드라마 "Friends"를 사용했고 C-RNN모델을 통해 등장인물을 인식하였으며 Bag of Features로 장소를 분류하였다. 그리고 딥하이퍼넷 모델을 통해 자동으로 소셜 네트워크를 생성하였고 각 장소에서의 인물 관계 변화를 분석하였다.

시각장애인의 길 탐색을 위한 대화형 인터랙티브 촉각 지도 개발 (A Conversational Interactive Tactile Map for the Visually Impaired)

  • 이예린;이동명;루이스 카바조스 케로;호르헤 이란조 바르톨로메;조준동;이상원
    • 감성과학
    • /
    • 제23권1호
    • /
    • pp.29-40
    • /
    • 2020
  • 시각장애인들에게는 길 찾기 및 탐색이 어려운 과제이기 때문에, 이들의 독립적이고 자율적인 이동성 향상에 대한 연구가 필요하다. 그러나 기존의 점자 촉각 지도는 여러 문제점을 가지고 있다. 이를 해결하기 위해 기술의 발달과 함께 촉각 지도에 다른 인터랙션 방식을 더하려는 시도들이 존재해왔다. 본 연구는 이러한 흐름 속에서 새로운 대화형 인터랙티브 촉각 지도 인터페이스를 개발하였다. 촉각 탐색을 하는 동안 사용자의 터치를 인식하여 음성 피드백을 제공하며, 사용자가 음성 에이전트와 대화를 나눌 수 있고 이를 통해 관심 지점에 대한 정보나 경로 안내를 받을 수 있다. 사용성 테스트를 진행하기 위해 프로토타입을 제작하였으며, 실제 시각장애인들을 대상으로 프로토타입 사용 후 설문 및 인터뷰를 통한 실험을 진행하였다. 점자를 사용한 기존 촉각 지도보다 본 연구에서 제작된 인터랙티브 촉각 지도 프로토타입이 시각장애인들에게 더욱 높은 사용성을 제공하였다. 시각장애인들은 본 연구의 프로토타입을 사용했을 때 더 빨리 시작 지점 및 관심 지점을 찾을 수 있었고 더 높은 독립성 및 확신을 가질 수 있었다고 보고하였다. 본 연구는 시각장애인의 지도 이용 및 경험을 향상시킬 수 있는 새로운 촉각 지도 인터페이스를 제시하였다. 실험에서 프로토타입의 개선 방향에 대한 다양한 피드백을 받을 수 있었다. 아직 개발 단계에 있기 때문에, 이를 반영한 후속 연구를 통해 이를 더욱 발전시킬 수 있을 것이다.

멀티모달 딥 러닝 기반 이상 상황 탐지 방법론 (Anomaly Detection Methodology Based on Multimodal Deep Learning)

  • 이동훈;김남규
    • 지능정보연구
    • /
    • 제28권2호
    • /
    • pp.101-125
    • /
    • 2022
  • 최근 컴퓨팅 기술의 발전과 클라우드 환경의 개선에 따라 딥 러닝 기술이 발전하게 되었으며, 다양한 분야에 딥 러닝을 적용하려는 시도가 많아지고 있다. 대표적인 예로 정상적인 데이터에서 벗어나는 값이나 패턴을 식별하는 기법인 이상 탐지가 있으며, 이상 탐지의 대표적 유형인 점 이상, 집단적 이상, 맥락적 이중 특히 전반적인 상황을 파악해야 하는 맥락적 이상을 탐지하는 것은 매우 어려운 것으로 알려져 있다. 일반적으로 이미지 데이터의 이상 상황 탐지는 대용량 데이터로 학습된 사전학습 모델을 사용하여 이루어진다. 하지만 이러한 사전학습 모델은 이미지의 객체 클래스 분류에 초점을 두어 생성되었기 때문에, 다양한 객체들이 만들어내는 복잡한 상황을 탐지해야 하는 이상 상황 탐지에 그대로 적용되기에는 한계가 있다. 이에 본 연구에서는 객체 클래스 분류를 학습한 사전학습 모델을 기반으로 이미지 캡셔닝 학습을 추가적으로 수행하여, 객체 파악뿐만 아니라 객체들이 만들어내는 상황까지 이해해야 하는 이상 상황 탐지에 적절한 2 단계 사전학습 모델 구축 방법론을 제안한다. 구체적으로 제안 방법론은 ImageNet 데이터로 클래스 분류를 학습한 사전학습 모델을 이미지 캡셔닝 모델에 전이하고, 이미지가 나타내는 상황을 설명한 캡션을 입력 데이터로 사용하여 학습을 진행한다. 이후 이미지와 캡션을 통해 상황 특질을 학습한 가중치를 추출하고 이에 대한 미세 조정을 수행하여 이상 상황 탐지 모델을 생성한다. 제안 방법론의 성능을 평가하기 위해 직접 구축한 데이터 셋인 상황 이미지 400장에 대해 이상 탐지 실험을 수행하였으며, 실험 결과 제안 방법론이 기존의 단순 사전학습 모델에 비해 이상 상황 탐지 정확도와 F1-score 측면에서 우수한 성능을 나타냄을 확인하였다.