• 제목/요약/키워드: multimodal sensor

검색결과 43건 처리시간 0.032초

유비쿼터스 지능공간에서 멀티모달센서를 이용한 향상된 u-헬스케어 서비스 구현에 대한 연구 (Advanced u-Healthcare Service using A Multimodal Sensor in Ubiquitous Smart Space)

  • 김현우;변성호;박희정;이승환;정유석;조위덕
    • 전자공학회논문지CI
    • /
    • 제46권2호
    • /
    • pp.27-35
    • /
    • 2009
  • 고령화 사회로의 진입과 삶의 질 향상에 따라 의료산업의 패러다임이 u-헬스케어(Healthcare)로 빠르게 변화하고 있다. u-헬스케어로의 변화는, 질병의 진단과 치료와 같은 의료서비스의 사후(事後)처리적인 관점에서 예방과 관리라는 사전(事前)예방적인 관점으로의 변화라는 점에서 의미가 있다. 그러나 u-헬스케어에 대한 관심은 새로운 서비스 도출과 측정기기(센서류)의 개발, 의료정보 표준화와 통합에만 그 관심이 집중되고 있다. 따라서 본고에서는 유비쿼터스 지능공간을 구성하고 사용자에게 u-헬스케어 기술을 제공함에 있어 "사용자 중심의 u-헬스케어 기술"이라는 개념을 적용함으로써, u-헬스케어 기술을 유비쿼터스 구성의 기본철학인 사라지는 컴퓨팅(Disappear Computing), 보이지 않는 컴퓨팅(Invisible Computing), 조용한 컴퓨팅(Calm Computing)과 사용자 중심(User Centered)의 기술 개발을 통해 실현 가능하도록 하는 방법에 대하여 소개하고자 한다.

Individualized Exercise and Diet Recommendations: An Expert System for Monitoring Physical Activity and Lifestyle Interventions in Obesity

  • Nam, Yunyoung;Kim, Yeesock
    • Journal of Electrical Engineering and Technology
    • /
    • 제10권6호
    • /
    • pp.2434-2441
    • /
    • 2015
  • This paper proposes an exercise recommendation system for treating obesity that provides systematic recommendations for exercise and diet. Five body indices are considered as indicators for recommend exercise and diet. The system also informs users of prohibited foods using health data including blood pressure, blood sugar, and total cholesterol. To maximize the utility of the system, it displays recommendations for both indoor and outdoor activities. The system is equipped with multimode sensors, including a three-axis accelerometer, a laser, a pressure sensor, and a wrist-mounted sensor. To demonstrate the effectiveness of the system, field tests are carried out with three participants over 20 days, which show that the proposed system is effective in treating obesity.

멀티 신호를 이용한 환경 인식 성능 개선 (Improvement of Environment Recognition using Multimodal Signal)

  • 박준규;백성준
    • 한국콘텐츠학회논문지
    • /
    • 제10권12호
    • /
    • pp.27-33
    • /
    • 2010
  • 본 연구에서는 9가지 환경에서 마이크로폰과 자이로센서, 가속도센서를 이용하여 얻은 데이터를 특징 추출한 후 각 특징들을 조합하여 GMM (Gaussian Mixture Model)을 이용한 분류실험을 수행하였다. 기존의 환경 인식에 관한 연구들에서는 주로 마이크로폰을 이용한 환경음 데이터를 통해 인식주체의 환경 상황을 인식하고자 하였으나, 여러 노이즈들이 결합한 형태로 좋은 특징을 얻기 어려운 환경음의 구조적 특성으로 인해 그 인식 성능에 한계가 있었다. 이에 본 연구에서는 환경상황을 인식하기 위한 또 다른 방법으로 인식주체의 움직임 특성을 반영하기 위해 자이로센서와 가속도센서의 데이터를 특징에 추가 적용하는 방식을 제안하였다. 실험결과 따르면 마이크로폰을 통해 얻은 환경음의 특징만을 이용하는 기존의 방식들에 비해 가속도센서를 통해 얻은 데이터를 기존의 환경음 특징벡터와 조합한 경우에서 5% 이상 평균 인식률이 개선되는 것을 확인할 수 있었다.

지능형 전시 서비스 구현을 위한 멀티모달 감정 상태 추정 모형 (Multimodal Emotional State Estimation Model for Implementation of Intelligent Exhibition Services)

  • 이기천;최소윤;김재경;안현철
    • 지능정보연구
    • /
    • 제20권1호
    • /
    • pp.1-14
    • /
    • 2014
  • 최근 관람객의 반응에 따라 실시간으로 대응하여 관객의 몰입과 만족도를 증대시키는 인터랙티브 전시 서비스에 대한 학계와 산업계의 관심이 높아지고 있다. 이러한 인터랙티브 전시 서비스를 효과적으로 구현하기 위해서는 관객의 반응을 통해 해당 관객이 느끼는 감정 상태를 추정할 수 있는 지능형 기술의 도입이 요구된다. 인간의 감정 상태를 추정하기 위한 시도들은 많은 연구들에서 이루어져 왔고, 그 중 대부분은 사람의 얼굴 표정이나 소리 반응을 통해 감정 상태를 추정하는 방식을 도입하고 있다. 하지만, 최근 소개되고 있는 연구들에 따르면 단일 반응이 아닌 여러 반응을 종합적으로 고려하는 이른바 멀티 모달(multimodal) 접근을 사용했을 경우, 인간의 감정 상태를 보다 정확하게 추정할 수 있다. 이러한 배경에서 본 연구는 키넥트 센서를 통해 측정되는 관객의 얼굴 표정, 몸짓, 움직임 등을 종합적으로 고려한 새로운 멀티모달 감정 상태 추정 모형을 제안하고 있다. 제안모형의 예측 기법으로는 방대한 양의 데이터를 효과적으로 처리하기 위해, 몬테칼로(Monte Carlo) 방법인 계층화 샘플링(stratified sampling) 방법에 기반한 다중회귀분석을 적용하였다. 제안 모형의 성능을 검증하기 위해, 15명의 피실험자로부터 274개의 독립 및 종속변수들로 구성된 602,599건의 관측 데이터를 수집하여 여기에 제안 모형을 적용해 보았다. 그 결과 10~15% 이내의 평균오차 범위 내에서 피실험자의 쾌/불쾌도(valence) 및 각성도(arousal) 상태를 정확하게 추정할 수 있음을 확인할 수 있었다. 이러한 본 연구의 제안 모형은 비교적 구현이 간단하면서도 안정성이 높아, 향후 지능형 전시 서비스 및 기타 원격학습이나 광고 분야 등에 효과적으로 활용될 수 있을 것으로 기대된다.

스마트폰 다종 데이터를 활용한 딥러닝 기반의 사용자 동행 상태 인식 (A Deep Learning Based Approach to Recognizing Accompanying Status of Smartphone Users Using Multimodal Data)

  • 김길호;최상우;채문정;박희웅;이재홍;박종헌
    • 지능정보연구
    • /
    • 제25권1호
    • /
    • pp.163-177
    • /
    • 2019
  • 스마트폰이 널리 보급되고 현대인들의 생활 속에 깊이 자리 잡으면서, 스마트폰에서 수집된 다종 데이터를 바탕으로 사용자 개인의 행동을 인식하고자 하는 연구가 활발히 진행되고 있다. 그러나 타인과의 상호작용 행동 인식에 대한 연구는 아직까지 상대적으로 미진하였다. 기존 상호작용 행동 인식 연구에서는 오디오, 블루투스, 와이파이 등의 데이터를 사용하였으나, 이들은 사용자 사생활 침해 가능성이 높으며 단시간 내에 충분한 양의 데이터를 수집하기 어렵다는 한계가 있다. 반면 가속도, 자기장, 자이로스코프 등의 물리 센서의 경우 사생활 침해 가능성이 낮으며 단시간 내에 충분한 양의 데이터를 수집할 수 있다. 본 연구에서는 이러한 점에 주목하여, 스마트폰 상의 다종 물리 센서 데이터만을 활용, 딥러닝 모델에 기반을 둔 사용자의 동행 상태 인식 방법론을 제안한다. 사용자의 동행 여부 및 대화 여부를 분류하는 동행 상태 분류 모델은 컨볼루션 신경망과 장단기 기억 순환 신경망이 혼합된 구조를 지닌다. 먼저 스마트폰의 다종 물리 센서에서 수집한 데이터에 존재하는 타임 스태프의 차이를 상쇄하고, 정규화를 수행하여 시간에 따른 시퀀스 데이터 형태로 변환함으로써 동행 상태분류 모델의 입력 데이터를 생성한다. 이는 컨볼루션 신경망에 입력되며, 데이터의 시간적 국부 의존성이 반영된 요인 지도를 출력한다. 장단기 기억 순환 신경망은 요인 지도를 입력받아 시간에 따른 순차적 연관 관계를 학습하며, 동행 상태 분류를 위한 요인을 추출하고 소프트맥스 분류기에서 이에 기반한 최종적인 분류를 수행한다. 자체 제작한 스마트폰 애플리케이션을 배포하여 실험 데이터를 수집하였으며, 이를 활용하여 제안한 방법론을 평가하였다. 최적의 파라미터를 설정하여 동행 상태 분류 모델을 학습하고 평가한 결과, 동행 여부와 대화 여부를 각각 98.74%, 98.83%의 높은 정확도로 분류하였다.

전시 공간에서 다중 인터랙션을 위한 개인식별 위치 측위 기술 연구 (The Individual Discrimination Location Tracking Technology for Multimodal Interaction at the Exhibition)

  • 정현철;김남진;최이권
    • 지능정보연구
    • /
    • 제18권2호
    • /
    • pp.19-28
    • /
    • 2012
  • 전시 공간에서 관객들의 반응에 따른 다중 인터랙션 서비스를 제공하기 위해서는 관람객의 정확한 위치 및 이동 경로를 얻기 위한 위치 추적 기술이 필요하다. 실외 환경에서 위치 추적을 위한 기술로 GPS가 현재 널리 사용되고 있다. GPS는 빠른 속도로 이동하는 이동체의 위치를 실시간으로 파악할 수 있으므로 위치 추적 서비스(Location Tracking Service)를 요구하는 분야에서 중요한 기술로 활용된다. 하지만 위성을 이용한 위치 추적 기법을 사용하기 때문에 위성 신호를 잡을 수 없는 실내에서는 사용할 수 없다는 단점이 있다(Per Enge et al., 1996). 위와 같은 이유로 Wi-Fi 위치 측위 기술을 비롯하여 ZigBee, UWB, RFID 등의 초단거리 통신 기술 등 다양한 형태의 실내 위치 측위 연구가 진행되고 있다(Schiler and Voisad, 2004). 하지만 이러한 기술들은 전시 공간에서 얻고자 하는 위치정보의 밀도가 높아질수록 구현의 난이도가 높아지고 구축 및 관리 비용도 커지며 구축 가능한 환경이 제약된다는 단점이 있다. 이와 같은 문제를 해결하기 위하여 본 논문에서는 실내 환경에서 스마트폰을 이용한 Wi-Fi 위치 측위 데이터를 기반으로 하여 3D카메라의 Depth Map 정보와의 매핑을 통해 사용자들을 식별하고 위치를 추적하는 시스템을 제안한다.

Deep Learning-Based Companion Animal Abnormal Behavior Detection Service Using Image and Sensor Data

  • Lee, JI-Hoon;Shin, Min-Chan;Park, Jun-Hee;Moon, Nam-Mee
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권10호
    • /
    • pp.1-9
    • /
    • 2022
  • 본 논문에서는 영상 데이터와 센서 데이터를 활용한 딥러닝 기반의 반려동물 이상행동 탐지 서비스를 제안한다. 최근 반려동물 보유 가구의 증가로 인해 기존 푸드 및 의료 중심의 반려동물 시장에서 인공지능을 더한 펫테크(Pet Tech) 산업이 성장하고 있다. 본 연구에서는 인공지능을 통한 반려동물의 건강관리를 위해 영상 및 센서 데이터를 활용한 딥러닝 모델을 기반으로 반려동물의 행동을 분류하고, 이상행동을 탐지하였다. 자택의 CCTV와 직접 제작한 펫 웨어러블 디바이스를 활용하여 반려동물의 영상 데이터 및 센서 데이터를 수집하고, 모델의 입력 데이터로 활용한다. 행동의 분류를 위해 본 연구에서는 반려동물의 객체를 검출하기 위한 YOLO(You Only Look Once) 모델과 관절 좌표를 추출하기 위한 DeepLabCut을 결합하여 영상 데이터를 처리하였고, 센서 데이터를 처리하기 위해 각 센서 별 연관관계 및 특징을 파악할 수 있는 GAT(Graph Attention Network)를 활용하였다.

하이브리드 센싱 기반 다중참여형 가상현실 이동 플랫폼 개발에 관한 연구 (A Study on the Development of Multi-User Virtual Reality Moving Platform Based on Hybrid Sensing)

  • 장용훈;장민혁;정하형
    • 한국멀티미디어학회논문지
    • /
    • 제24권3호
    • /
    • pp.355-372
    • /
    • 2021
  • Recently, high-performance HMDs (Head-Mounted Display) are becoming wireless due to the growth of virtual reality technology. Accordingly, environmental constraints on the hardware usage are reduced, enabling multiple users to experience virtual reality within a single space simultaneously. Existing multi-user virtual reality platforms use the user's location tracking and motion sensing technology based on vision sensors and active markers. However, there is a decrease in immersion due to the problem of overlapping markers or frequent matching errors due to the reflected light. Goal of this study is to develop a multi-user virtual reality moving platform in a single space that can resolve sensing errors and user immersion decrease. In order to achieve this goal hybrid sensing technology was developed, which is the convergence of vision sensor technology for position tracking, IMU (Inertial Measurement Unit) sensor motion capture technology and gesture recognition technology based on smart gloves. In addition, integrated safety operation system was developed which does not decrease the immersion but ensures the safety of the users and supports multimodal feedback. A 6 m×6 m×2.4 m test bed was configured to verify the effectiveness of the multi-user virtual reality moving platform for four users.

USN 센싱 시스템에 기초한 다중 생체신호 분석 시스템 (Multimodal Biological Signal Analysis System Based on USN Sensing System)

  • 노진수;송병호;배상현
    • 한국정보통신학회논문지
    • /
    • 제13권5호
    • /
    • pp.1008-1013
    • /
    • 2009
  • 본 논문에서는 피실험자의 체온, 맥박, 호흡수, 혈압을 수집할 수 있는 무선 센서를 이용하여 수집된 생체 신호를 분석하는 시스템을 제안하였으며, 생체 신호를 분석하기 위하여 전문가 시스템을 사용하여 역전파 신경망을 설계 하였다. 제안된 시스템은 하드웨어 (UStar-2400 ISP, UStar-2400, Wireless sensors) 부분과 소프트웨어 부분 (Knowledge Base module, Inference Engine module, User Interface module)으로 구성되며 소프트웨어 부분은 HOST PC에 삽입된다. 그리고 시스템의 정확도를 개선하기 위하여 전방향 에러 정정 시스템(LDPC)을 구현하였다. 지식기반 모듈에서 100개의 데이터 집합을 사용하여 역전파 신경망을 훈련하였으며, 지식기반 모듈의 128개의 데이터 집합을 사용하여 실험한 결과 약 95%의 정확도를 가졌으며, 무선 센서를 사용하여 13명의 학생을 대상으로 실험한 결과 약 85%의 정확도를 획득하였다.

Environmental IoT-Enabled Multimodal Mashup Service for Smart Forest Fires Monitoring

  • Elmisery, Ahmed M.;Sertovic, Mirela
    • Journal of Multimedia Information System
    • /
    • 제4권4호
    • /
    • pp.163-170
    • /
    • 2017
  • Internet of things (IoT) is a new paradigm for collecting, processing and analyzing various contents in order to detect anomalies and to monitor particular patterns in a specific environment. The collected data can be used to discover new patterns and to offer new insights. IoT-enabled data mashup is a new technology to combine various types of information from multiple sources into a single web service. Mashup services create a new horizon for different applications. Environmental monitoring is a serious tool for the state and private organizations, which are located in regions with environmental hazards and seek to gain insights to detect hazards and locate them clearly. These organizations may utilize IoT - enabled data mashup service to merge different types of datasets from different IoT sensor networks in order to leverage their data analytics performance and the accuracy of the predictions. This paper presents an IoT - enabled data mashup service, where the multimedia data is collected from the various IoT platforms, then fed into an environmental cognition service which executes different image processing techniques such as noise removal, segmentation, and feature extraction, in order to detect interesting patterns in hazardous areas. The noise present in the captured images is eliminated with the help of a noise removal and background subtraction processes. Markov based approach was utilized to segment the possible regions of interest. The viable features within each region were extracted using a multiresolution wavelet transform, then fed into a discriminative classifier to extract various patterns. Experimental results have shown an accurate detection performance and adequate processing time for the proposed approach. We also provide a data mashup scenario for an IoT-enabled environmental hazard detection service and experimentation results.