• 제목/요약/키워드: Multimodal environment

검색결과 73건 처리시간 0.027초

Environmental IoT-Enabled Multimodal Mashup Service for Smart Forest Fires Monitoring

  • Elmisery, Ahmed M.;Sertovic, Mirela
    • Journal of Multimedia Information System
    • /
    • 제4권4호
    • /
    • pp.163-170
    • /
    • 2017
  • Internet of things (IoT) is a new paradigm for collecting, processing and analyzing various contents in order to detect anomalies and to monitor particular patterns in a specific environment. The collected data can be used to discover new patterns and to offer new insights. IoT-enabled data mashup is a new technology to combine various types of information from multiple sources into a single web service. Mashup services create a new horizon for different applications. Environmental monitoring is a serious tool for the state and private organizations, which are located in regions with environmental hazards and seek to gain insights to detect hazards and locate them clearly. These organizations may utilize IoT - enabled data mashup service to merge different types of datasets from different IoT sensor networks in order to leverage their data analytics performance and the accuracy of the predictions. This paper presents an IoT - enabled data mashup service, where the multimedia data is collected from the various IoT platforms, then fed into an environmental cognition service which executes different image processing techniques such as noise removal, segmentation, and feature extraction, in order to detect interesting patterns in hazardous areas. The noise present in the captured images is eliminated with the help of a noise removal and background subtraction processes. Markov based approach was utilized to segment the possible regions of interest. The viable features within each region were extracted using a multiresolution wavelet transform, then fed into a discriminative classifier to extract various patterns. Experimental results have shown an accurate detection performance and adequate processing time for the proposed approach. We also provide a data mashup scenario for an IoT-enabled environmental hazard detection service and experimentation results.

다중 정보를 활용하는 차량 모니터링 시스템의 구현 (Implementation of a Vehicle Monitoring System using Multimodal Information)

  • 박수완;손준우
    • 대한교통학회지
    • /
    • 제29권3호
    • /
    • pp.41-48
    • /
    • 2011
  • 차량의 각종 안전장치 및 운전자 모니터링 장치에서 운전자의 상태를 파악하려 할 때는 운전자, 자동차, 도로 환경의 측정 변수들이 통합적으로 수집되고 해석되어야 한다. 본 논문에서는 운전 상황을 통합적이고 종합적으로 분석하기 위하여 일정한 시간 주기로 운전자, 차량, 도로 주변 환경과 같은 다양한 영역으로부터 데이터를 동기화하여 수집하는 실시간 차량 모니터링 시스템을 제안한다. 제안한 시스템은 소프트 동기화 메커니즘으로 다중 정보를 동기화하여 수집한다. 이는 하나의 마스터 시간과 차량 상태와 운전자 상태 등의 다양한 영역의 데이터들의 키 값들을 동일한 시간 주기로 하나의 파일에 저장하고, 각각 다양한 영역의 데이터들은 저장할 때 마스터 시간과 함께 저장함으로써 후에 특정 시간에 운전 상황을 쉽게 찾아 볼 수 있게 한다. 본 논문에서는 구현된 시스템으로 9명의 피험자의 인지 부하 실험에서 데이터를 수집하는 예를 보인다.

멀티모달 인터페이스를 사용한 웹 게임 시스템의 구현 (Implementation of Web Game System using Multi Modal Interfaces)

  • 이준;안영석;김지인;박성준
    • 한국게임학회 논문지
    • /
    • 제9권6호
    • /
    • pp.127-137
    • /
    • 2009
  • 웹 게임은 웹 브라우저를 통해 게임을 즐길 수 있도록 해주는 게임의 한 종류로써 편리한 접근성 및 대용량의 게임데이터를 다운로드가 필요하지 않는 장점을 가지고 있다. 이러한 웹 게임은 최근 모바일 기기의 발전과 웹 2.0 시대를 맞아 새로운 성장의 기회를 가지고 있다. 본 연구에서는 이러한 웹 게임에 사용자의 직관적인 조작이 가능한 멀티모달 인터페이스 및 모바일 기기를 연동할 수 있는 새로운 형태의 시스템을 제안 한다. 본 논문에서는 웹 게임의 인터페이스로써 멀티모달 인터페이스인 Wii를 사용하였으며, 여러 사용자들이 일반 PC 및 UMPC와 같은 모바일 기기를 통해서도 게임을 즐길 수 있는 구조를 설계 하였다. 본 논문에서 제안된 시스템을 평가하기 위해 기존의 방법으로 웹 게임을 즐길 때와 멀티모달 인터페이스를 사용하는 경우에 따른 성능 평가 및 사용자 평가를 하였으며, 실험 결과 모바일 기기에서 멀티모달 인터페이스를 사용한 경우에 게임 클리어 시간 및 에러가 감소하는 결과를 얻었으며 사용자들의 흥미도 또한 가장 높게 나왔다.

  • PDF

비접촉식 제스처 기반 3D 조형 태스크를 위한 다중 모달리티 인터페이스 디자인 연구 (Multi - Modal Interface Design for Non - Touch Gesture Based 3D Sculpting Task)

  • 손민지;유승헌
    • 디자인융복합연구
    • /
    • 제16권5호
    • /
    • pp.177-190
    • /
    • 2017
  • 본 연구는 비접촉식 제스처 기반 조형 태스크의 직관성 향상을 위한 다중 모달리티 인터페이스 디자인 GSS를 제안하였다. 디자인 조형 과정 및 조형 형태에 대한 사용자 경험을 조사한 후, 기술 발전에 따른 세대별 조형 시스템을 분석하였다. 또, 비접촉 3D 조형 시스템상에서의 조형 제작 프로세스, 조형 제작 환경, 제스처와 조형 태스크 간의 관계성, 자연스러운 손 조합 패턴과 사용자 손동작 요소들을 정의하였다. 이후, 기존 비접촉 3D 조형 시스템상에서 비접촉식 제스처 인터랙션을 관찰하고 자연스러운 조형 제작을 위해 조형 작성자의 행동체계가 반영된 인터페이스의 시각적 메타포와 자연스러운 제스처 인터랙션을 유도할 수 있는 행동적 메타포를 도출하였다. 프로토타입을 개발한 후, 제안된 주요 조형 태스크별 제스처 세트의 직관성을 알아보기 위해 기존 조형 시스템들과 비교하여 사용성 평가를 진행하였다. 제안된 GSS 시스템의 제스처는 이해도, 기억성, 오류율에서 우수성을 보였다. 제스처 인터페이스는 사용자의 경험에 기반한 시각적/행동적 메타포를 바탕으로 시각적 모달리티가 함께 사용된 제스처 인터페이스를 사용자들에게 제공되어야 한다는 것을 확인하였다.

빅데이터 기반 추천시스템 구현을 위한 다중 프로파일 앙상블 기법 (A Multimodal Profile Ensemble Approach to Development of Recommender Systems Using Big Data)

  • 김민정;조윤호
    • 지능정보연구
    • /
    • 제21권4호
    • /
    • pp.93-110
    • /
    • 2015
  • 기존의 협업필터링 추천시스템 연구는 상품에 대한 고객의 평점(rating)이나 구매 여부 데이터로부터 하나의 프로파일을 생성하고 이를 기반으로 추천 성능을 향상시킬 수 있는 새로운 알고리즘을 개발하는 위주로 진행되어 왔다. 그러나 빅데이터 환경이 도래하면서 기업이 수집할 수 있는 고객 데이터가 풍부해지고 다양해짐에 따라, 보다 정확하게 고객의 선호도나 행태를 파악하는 것이 가능하게 되었고 이러한 데이터, 즉 퍼스널 빅데이터(personal big data)를 추천시스템에 활용하는 연구의 필요성이 대두되고 있다. 본 연구에서는 마케팅의 시장세분화 이론에 근거하여 퍼스널 빅데이터로부터 고객의 선호도나 행태를 다양한 관점에서 표현할 수 있는 5종의 다중 프로파일(multimodal profile)을 개발하고, 이를 활용하여 협업필터링 추천시스템의 성능을 개선하고자 한다. 제안하는 5종의 다중 프로파일은 프로파일 통합 유사도, 개별 프로파일 유사도 평균, 개별 프로파일 유사도 가중 평균이라는 세 가지 앙상블 기법을 통해 협업필터링의 이웃(neighborhood) 탐색과정에 적용된다. 실제 퍼스널 빅데이터에 본 연구에서 제안하는 방법론을 적용한 결과, 단일 프로파일을 사용하는 협업필터링 알고리즘보다 추천 성능이 상당히 개선되었으며 앙상블 방법 중에서는 개별 프로파일 유사도 가중 평균 기법이 가장 높은 추천 성능을 보여주었다. 본 연구는 빅데이터 환경에서 추천시스템을 개발하고자 할 때, 어떠한 성격의 데이터로부터 고객의 특성을 규명하는 프로파일을 만들고 이를 어떻게 결합하여 사용하는 것이 효과적인 지 처음으로 제안하였다는 점에서 그 의의가 있다.

멀티 신호를 이용한 환경 인식 성능 개선 (Improvement of Environment Recognition using Multimodal Signal)

  • 박준규;백성준
    • 한국콘텐츠학회논문지
    • /
    • 제10권12호
    • /
    • pp.27-33
    • /
    • 2010
  • 본 연구에서는 9가지 환경에서 마이크로폰과 자이로센서, 가속도센서를 이용하여 얻은 데이터를 특징 추출한 후 각 특징들을 조합하여 GMM (Gaussian Mixture Model)을 이용한 분류실험을 수행하였다. 기존의 환경 인식에 관한 연구들에서는 주로 마이크로폰을 이용한 환경음 데이터를 통해 인식주체의 환경 상황을 인식하고자 하였으나, 여러 노이즈들이 결합한 형태로 좋은 특징을 얻기 어려운 환경음의 구조적 특성으로 인해 그 인식 성능에 한계가 있었다. 이에 본 연구에서는 환경상황을 인식하기 위한 또 다른 방법으로 인식주체의 움직임 특성을 반영하기 위해 자이로센서와 가속도센서의 데이터를 특징에 추가 적용하는 방식을 제안하였다. 실험결과 따르면 마이크로폰을 통해 얻은 환경음의 특징만을 이용하는 기존의 방식들에 비해 가속도센서를 통해 얻은 데이터를 기존의 환경음 특징벡터와 조합한 경우에서 5% 이상 평균 인식률이 개선되는 것을 확인할 수 있었다.

소셜 실감 게임을 위한 이기종 스마트 플랫폼 브릿지 기술 (A Bridge Technique of Heterogeneous Smart Platform supporting Social Immersive Game)

  • 장승은;탕지아메이;김상욱
    • 한국멀티미디어학회논문지
    • /
    • 제17권8호
    • /
    • pp.1033-1040
    • /
    • 2014
  • Recently, the concept of mobile content service has changed from providing unilaterally contents for single-device to providing same contents for multi-device. This service should be able to provide diverse contents for multi-devices without platform and specification of multi-device. In this study, we propose a bridge technique of heterogeneous smart platform supporting social immersive game. It is possible to access social immersive game by using a multi-platform bridge. To achieve this, we explain techniques of device connection and data transmission between heterogeneous devices using server-client structure and UPnP. It provides an immersive game environment for multi-user, which is able to play in a public place using big screen.

우리나라 철도컨테이너 수송서비스 평가와 과제 (A Study on the Evaluations and Issues of Rail Container Transport in Korea Railway)

  • 우정욱;안준용;김형기
    • 한국철도학회논문집
    • /
    • 제12권5호
    • /
    • pp.751-760
    • /
    • 2009
  • 본 연구는 화물수송을 둘러싼 사회적 경제적 환경변화 속에서 철도물류의 활성화가 시대적 과제가 되고 있는 시점에서 철도로의 모달시프트가 기대되는 철도컨테이너수송에 주목하여 화주, 복합운송업체, 운영자를 대상으로 설문조사를 실시, 철도의 이용현황, 이용확대를 위한 개선사항, 환경문제에 대한 대응상황을 분석함으로써 철도물류서비스의 생산성 향상을 위한 개선방안, 나아가 국가정책과의 공동보조를 통한 철도화물수송으로의 모달시프트 가능성에 대하여 검토하였다.

우리나라 철도컨테이너화물 수송서비스 평가와 모달시프트 가능성에 관한 검토 (A study on the Evaluations of Rail Container Transport and Possibilities for Modal shift in Korea Railway)

  • 우정욱;안준용;김형기;김현웅
    • 한국철도학회:학술대회논문집
    • /
    • 한국철도학회 2009년도 춘계학술대회 논문집
    • /
    • pp.1728-1747
    • /
    • 2009
  • 본 연구는 화물수송을 둘러싼 사회적 경제적 환경변화 속에서 철도물류의 활성화가 시대적 과제가 되고 있는 시점에서 철도로의 모달시프트가 기대되는 철도컨테이너수송에 주목하여 화주, 복합운송업체, 운영자를 대상으로 설문조사를 실시, 철도의 미용현황, 이용확대를 위한 개선사항, 환경문제에 대한 대응 상황을 분석함으로써 철도물류서비스의 생산성 향상을 위한 개선방안, 나아가 국가정책과의 공동보조를 통한 철도화물수송으로의 모달시프트 가능성에 대하여 검토하였다.

  • PDF

Multi-objective optimization of submerged floating tunnel route considering structural safety and total travel time

  • Eun Hak Lee;Gyu-Jin Kim
    • Structural Engineering and Mechanics
    • /
    • 제88권4호
    • /
    • pp.323-334
    • /
    • 2023
  • The submerged floating tunnel (SFT) infrastructure has been regarded as an emerging technology that efficiently and safely connects land and islands. The SFT route problem is an essential part of the SFT planning and design phase, with significant impacts on the surrounding environment. This study aims to develop an optimization model considering transportation and structure factors. The SFT routing problem was optimized based on two objective functions, i.e., minimizing total travel time and cumulative strains, using NSGA-II. The proposed model was applied to the section from Mokpo to Jeju Island using road network and wave observation data. As a result of the proposed model, a Pareto optimum curve was obtained, showing a negative correlation between the total travel time and cumulative strain. Based on the inflection points on the Pareto optimum curve, four optimal SFT routes were selected and compared to identify the pros and cons. The travel time savings of the four selected alternatives were estimated to range from 9.9% to 10.5% compared to the non-implemented scenario. In terms of demand, there was a substantial shift in the number of travel and freight trips from airways to railways and roadways. Cumulative strain, calculated based on SFT distance, support structure, and wave energy, was found to be low when the route passed through small islands. The proposed model helps decision-making in the planning and design phases of SFT projects, ultimately contributing to the progress of a safe, efficient, and sustainable SFT infrastructure.