• 제목/요약/키워드: Multimodal Sensor

검색결과 43건 처리시간 0.036초

비접촉식 터치센서와 가속도센서를 이용한 사용자의 감정적 터치 인식 인터페이스 시스템 (User's Emotional Touch Recognition Interface Using non-contact Touch Sensor and Accelerometer)

  • 구성용;임종관;권동수
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2008년도 학술대회 1부
    • /
    • pp.348-353
    • /
    • 2008
  • 인간의 자연스러운 터치 행동에서 사실적 정보를 인식하고 감정적 정보를 이해하는 터치 인터페이스 장치를 제안하고 사용자의 자연스러운 터치인식 성능을 검증하였다. 우선적으로 물리적인 터치의 종류를 구분하기 위하여 현 시스템에서 분류 가능한 터치를 분석하였고 실시간 터치 인식이 가능하도록 알고리즘을 설계하였다. 또한 앞으로 사람의 자연스러운 터치를 통해 사용자의 의도뿐 아니라 감정 상대도 이해할 수 있는 아이디어를 제안한다.

  • PDF

첩릿변환을 이용한 배관 축방향 결함검출 (Detection of Axial Defects in Pipes Using Chirplet Transform)

  • 김영완;박경조
    • 동력기계공학회지
    • /
    • 제20권4호
    • /
    • pp.26-31
    • /
    • 2016
  • The implementation of chirplet transform to locate axially aligned defects in pipes has been investigated. The results are obtained from experiments performed on a carbon steel pipe using magnetostrictive sensors. Chirplet transform is applied to the reflected signal to separate the individual modes from dispersive and multimodal waveform. The separated modes are used to calculate reflection coefficients which would be used to characterize defects. It is found that the reflection from a defect consists of the wave pulses with gradually decaying amplitudes. Also the results show that the reflection coefficient initially increases with the crack length but finally reaches an oscillating regime.

비틀림 유도파를 이용한 배관 축방향 결함 특성 규명 (Characterization of Axial Defects in Pipeline Using Torsional Guided Wave)

  • 김영완;박경조
    • 한국소음진동공학회논문집
    • /
    • 제25권6호
    • /
    • pp.399-405
    • /
    • 2015
  • In this work we use the mode decomposition technique employing chirplet transform, which is able to separate the individual modes from dispersive and multimodal waveform measured with the magnetostrictive sensor. The mode decomposition technique is also used to estimate the time-frequency centers and individual energies of the reflection, which would be used to locate and characterize axial defects. The arrival times of the separated modes are calculated and the axial defect lengths can be evaluated by using the estimated arrival time. Results from an experiment on a carbon steel pipe are presented and it is shown that the accurate and quantitative defect characterization could become enabled using the proposed technique.

멀티모달 바이오신호 측정센서 및 분석 시스템 (Multimodal biosignal measurement sensor and analysis system)

  • 정관문;문찬기;남윤영;이진석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.1049-1050
    • /
    • 2015
  • e-health보드를 이용하여 측정한 생체신호를 실시간으로 블루투스통신을 통한 무선통신을 함으로서 PC와 연결한다. PC에서 송신된 데이터를 텍스트로 저장한 뒤 c#으로 체온, 심전도, 근전도, 피층 전기 반응, 호흡 5가지의 결과 값을 그래프로 보여준다.

An Intelligent Emotion Recognition Model Using Facial and Bodily Expressions

  • Jae Kyeong Kim;Won Kuk Park;Il Young Choi
    • Asia pacific journal of information systems
    • /
    • 제27권1호
    • /
    • pp.38-53
    • /
    • 2017
  • As sensor technologies and image processing technologies make collecting information on users' behavior easy, many researchers have examined automatic emotion recognition based on facial expressions, body expressions, and tone of voice, among others. Specifically, many studies have used normal cameras in the multimodal case using facial and body expressions. Thus, previous studies used a limited number of information because normal cameras generally produce only two-dimensional images. In the present research, we propose an artificial neural network-based model using a high-definition webcam and Kinect to recognize users' emotions from facial and bodily expressions when watching a movie trailer. We validate the proposed model in a naturally occurring field environment rather than in an artificially controlled laboratory environment. The result of this research will be helpful in the wide use of emotion recognition models in advertisements, exhibitions, and interactive shows.

XML을 활용한 멀티모달 센서기반 실시간 컨텍스트 통합 시스템 (A Real-time Context Integration System for Multimodal Sensor Networks using XML)

  • 양성익;홍진혁;조성배
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2008년도 학술대회 1부
    • /
    • pp.141-146
    • /
    • 2008
  • 최근 유비쿼터스 환경에서의 다양한 서비스에 대한 연구가 활발히 진행되고 있다. 이러한 서비스들은 사용자의 컨텍스트를 해석하는 것이 중요하며, 이를 위해 PDA, GPS, 가속도 센서 등 다양한 센서들이 활용되고 있다. 가속도 센서와 같은 저급의 연속적인 데이터를 수집하는 센서는 그 데이터를 직접 활용하는 것이 어려우므로 전처리 하는 것이 중요하다. 하지만 실시간으로 전처리하고 컨텍스트를 통합하는 시스템에 대한 연구가 미흡하다. 본 논문에서는 XMI 을 활용하여 가속도 센서와 생리적 신호 센서 등과 같은 저급의 데이터를 전처리하고 컨텍스트를 통합하는 시스템을 제안한다. XML을 통하여 센서 네트워크의 구조를 정의하고, 각 센서별로 수집되는 데이터와 데이터에 해당하는 컨텍스트의 룰을 정의할 수 있다. 제안하는 시스템은 XML을 통하여 센서 네트워크에 센서를 추가할 때와 컨텍스트의 룰을 수정할 때 소스의 수정을 줄여준다. 그리고 이 시스템을 활용하여 실시간으로 데이터를 모니터링하는 시스템을 구현하여 난해한 데이터의 변화를 그래프로 표현해 데이터의 검증을 도와주며, 실시간으로 전처리의 결과를 확인하여 변화가 가능하고, 다른 외부 서비스나 어플리케이션에 사용자의 컨텍스트의 제공을 용이하게 해준다.

  • PDF

멀티모달 데이터 기반 위험 발생 유사성 비교 방법 (A Method of Comparing Risk Similarities Based on Multimodal Data)

  • 권은정;신원재;이용태;이규철
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2019년도 춘계학술대회
    • /
    • pp.510-512
    • /
    • 2019
  • 최근 공공안전 분야에서 위험상황을 감지하거나 선제적인 예측을 통해 안전을 보장하기 위한 요구사항이 대두대고 있다. 모바일 단말의 보급화로 인해 다양한 센서 데이터를 융합하여 분석할 경우 데이터의 잠재적 가치를 안전보장 측면에서 활용할 수 있다는 점에서 주목받고 있다. 스마트폰, 웨어러블 기기 등에서 발생되는 센서 데이터를 결합하여 사용자의 이동 경로 패턴, 행동 패턴을 분석하고, 사용자의 현재 위치에서 제공하는 위치 기반 범죄 위험 데이터를 융합하여 공공안전을 보장할 수 있는 효과적인 모델링 기법이 필요하다. 본 논문은 사용자의 과거 이동 궤적의 패턴과 행동 패턴을 분석하고, 사용자 별 이동 궤적들이 동일 공간 내에 다른 사용자와의 유사도를 분석하여 안전한 경로를 추천하게 된다. 본 논문은 위치기반 멀티모달 센서 데이터를 결합하여 사용자의 안전을 보장하기 위한 위험 예측 방법을 제안한다.

  • PDF

지하공동구 디지털 트윈 체계 및 요구기능 설계에 관한 연구 (A Study on the Design of Digital Twin System and Required Function for Underground Lifelines)

  • 정민우;이희석;신동빈
    • 한국콘텐츠학회논문지
    • /
    • 제21권7호
    • /
    • pp.248-258
    • /
    • 2021
  • 지하공동구의 도시 생명선 기능유지를 위해서는 24시간 모니터링을 수행해야 하며 부족한 인력을 대체하기 위한 기술개발이 필요하다. 일반적인 관리방법으로는 지하 공간 특성을 반영하기 어려워 본 연구에서는 지하공동구를 대상으로 공간정보 기반의 디지털 트윈 시스템 요구사항을 도출하였다. 물리적 공간과 가상공간으로 구분하였으며, 물리적 공간은 멀티모달 영상센서 체계 구축의 기반이 되는 센서의 종류와 배치도를, 가상공간은 지하공동구에 대한 시스템 아키텍처를 구성하였다. 그리고 업무에 따른 시스템 기능을 제시하였다. 지하공동구 디지털 트윈을 통해 재난을 예방하고, 조기에 대응하여 도시 생명선의 기능유지에 효과적일 것으로 예상한다.

Human Action Recognition Using Pyramid Histograms of Oriented Gradients and Collaborative Multi-task Learning

  • Gao, Zan;Zhang, Hua;Liu, An-An;Xue, Yan-Bing;Xu, Guang-Ping
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제8권2호
    • /
    • pp.483-503
    • /
    • 2014
  • In this paper, human action recognition using pyramid histograms of oriented gradients and collaborative multi-task learning is proposed. First, we accumulate global activities and construct motion history image (MHI) for both RGB and depth channels respectively to encode the dynamics of one action in different modalities, and then different action descriptors are extracted from depth and RGB MHI to represent global textual and structural characteristics of these actions. Specially, average value in hierarchical block, GIST and pyramid histograms of oriented gradients descriptors are employed to represent human motion. To demonstrate the superiority of the proposed method, we evaluate them by KNN, SVM with linear and RBF kernels, SRC and CRC models on DHA dataset, the well-known dataset for human action recognition. Large scale experimental results show our descriptors are robust, stable and efficient, and outperform the state-of-the-art methods. In addition, we investigate the performance of our descriptors further by combining these descriptors on DHA dataset, and observe that the performances of combined descriptors are much better than just using only sole descriptor. With multimodal features, we also propose a collaborative multi-task learning method for model learning and inference based on transfer learning theory. The main contributions lie in four aspects: 1) the proposed encoding the scheme can filter the stationary part of human body and reduce noise interference; 2) different kind of features and models are assessed, and the neighbor gradients information and pyramid layers are very helpful for representing these actions; 3) The proposed model can fuse the features from different modalities regardless of the sensor types, the ranges of the value, and the dimensions of different features; 4) The latent common knowledge among different modalities can be discovered by transfer learning to boost the performance.

재난 관련 위치 신뢰도 향상을 위한 소셜 미디어 활용 (Leveraging Social Media for Enriching Disaster related Location Trustiness)

  • 뉘엔반퀴엣;뉘엔양쯔엉;뉘엔신응억;김경백
    • 디지털콘텐츠학회 논문지
    • /
    • 제18권3호
    • /
    • pp.567-575
    • /
    • 2017
  • 위치기반 서비스는 재난 경보 시스템 및 추천시스템 등의 다양한 응용에서 중요한 역할을 한다. 이들 응용들은 위치정보(위도, 경도 등) 뿐만 아니라 위치에 대한 사건(지진, 태풍 등)의 영향력을 필요로 한다. 최근 이러한 위치에 대한 사건의 영향력을 제공하기 위해, 다양한 형태의 정보(지진 정보와 센서 정보)를 이용한 위치 신뢰도 계산 방법이 연구 되었다. 이전의 연구에서는 사건의 영향을 선형으로 감소시키는 형태로 위치 신뢰도를 계산하였다. 이 논문에서는 소셜 미디어를 추가적으로 활용하여 사건의 위치에 대한 영향력, 즉 위치 신뢰도를 향상 시키는 만드는 방법을 제안하였다. 우선 지진정보와 소셜 미디어 데이터를 수집하는 시스템을 설계하였다. 두번째로, 지진정보에 기반한 위치 신뢰도 계산 방법을 소개하였다. 최종적으로 소셜 미디어에 기반하여 공간적으로 분산되는 형태로 신뢰도를 증강시키는 방법을 통해 위치 신뢰도 정보를 더욱 풍부하게 제공하는 방법을 제안하였다.