• Title/Summary/Keyword: Multimodal data

검색결과 151건 처리시간 0.031초

Multimodal Data Fusion for Alzheimers Patients Using Dempster-Shafer Theory of Evidence

  • Majumder, Dwijesh Dutta;Bhattacharya, Nahua
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 1998년도 The Third Asian Fuzzy Systems Symposium
    • /
    • pp.713-718
    • /
    • 1998
  • The paper is part of an investigation by the authors on development of a knowledge based frame work for multimodal medical image in collaboration with the All India Institute of Medical Science, new Delhi. After presenting the key aspects of the Dempster-Shafer Evidence theory we have presented implementation of registration and fusion of T₁and T₂ weighted MR images and CT images of the brain of an Alzheimer's patient for minimising the uncertainty and increasing the reliability for dianostics and therapeutic planning.

  • PDF

뇌기능 양전자방출단층촬영영상 분석 기법의 방법론적 고찰 (Methodological Review on Functional Neuroimaging Using Positron Emission Tomography)

  • 박해정
    • Nuclear Medicine and Molecular Imaging
    • /
    • 제41권2호
    • /
    • pp.71-77
    • /
    • 2007
  • Advance of neuroimaging technique has greatly influenced recent brain research field. Among various neuroimaging modalities, positron emission tomography has played a key role in molecular neuroimaging though functional MRI has taken over its role in the cognitive neuroscience. As the analysis technique for PET data is more sophisticated, the complexity of the method is more increasing. Despite the wide usage of the neuroimaging techniques, the assumption and limitation of procedures have not often been dealt with for the clinician and researchers, which might be critical for reliability and interpretation of the results. In the current paper, steps of voxel-based statistical analysis of PET including preprocessing, intensity normalization, spatial normalization, and partial volume correction will be revisited in terms of the principles and limitations. Additionally, new image analysis techniques such as surface-based PET analysis, correlational analysis and multimodal imaging by combining PET and DTI, PET and TMS or EEG will also be discussed.

MOSAICFUSION: MERGING MODALITIES WITH PARTIAL DIFFERENTIAL EQUATION AND DISCRETE COSINE TRANSFORMATION

  • GARGI TRIVEDI;RAJESH SANGHAVI
    • Journal of Applied and Pure Mathematics
    • /
    • 제5권5_6호
    • /
    • pp.389-406
    • /
    • 2023
  • In the pursuit of enhancing image fusion techniques, this research presents a novel approach for fusing multimodal images, specifically infrared (IR) and visible (VIS) images, utilizing a combination of partial differential equations (PDE) and discrete cosine transformation (DCT). The proposed method seeks to leverage the thermal and structural information provided by IR imaging and the fine-grained details offered by VIS imaging create composite images that are superior in quality and informativeness. Through a meticulous fusion process, which involves PDE-guided fusion, DCT component selection, and weighted combination, the methodology aims to strike a balance that optimally preserves essential features and minimizes artifacts. Rigorous evaluations, both objective and subjective, are conducted to validate the effectiveness of the approach. This research contributes to the ongoing advancement of multimodal image fusion, addressing applications in fields like medical imaging, surveillance, and remote sensing, where the marriage of IR and VIS data is of paramount importance.

Modelling on Multi-modal Circular Data using von Mises Mixture Distribution

  • Jang, Young-Mi;Yang, Dong-Yoon;Lee, Jin-Young;Na, Jong-Hwa
    • Communications for Statistical Applications and Methods
    • /
    • 제14권3호
    • /
    • pp.517-530
    • /
    • 2007
  • We studied a modelling process for unimodal and multimodal circular data by using von Mises and its mixture distribution. In particular we suggested EM algorithm to find ML estimates of the mixture model. Simulation results showed the suggested methods are very accurate. Applications to two kinds of real data sets are also included.

과학적 글쓰기를 활용한 논의-기반 모델링 전략의 개발 (The Development of Argument-based Modeling Strategy Using Scientific Writing)

  • 조혜숙;남정희;이동원
    • 한국과학교육학회지
    • /
    • 제34권5호
    • /
    • pp.479-490
    • /
    • 2014
  • 이 연구는 과학교육에서 의사소통을 위해 글쓰기와 논의를 활용한 논의-기반 모델링 전략의 개발을 목적으로 하였다. 논의-기반 모델링 전략은 모델링의 목적인 의사소통을 위해 자신이 만든 모델을 논의와 글쓰기를 통해 과학적 언어를 사용하여 스스로 정리하거나 표현하고, 다른 사람의 의견을 듣고 교환하는 과정을 통해 모델을 평가하고 수정하는 일련의 과정을 의미한다. 이 전략은 과학교육에서 모델링에 어려움을 느끼는 학생과 교사를 지원하기 위한 것으로 다음 네 가지 요소의 발달에 초점을 맞추었다. 첫째 여러 문제 상황을 관찰하여 문제를 연관지어 인식하는 문제인식이다. 둘째는 과학적 설명을 위해 충분한 과학개념을 구조화하여 제시하는 과학개념 구조화이며, 셋째는 주장에 대해 적절한 표상을 증거로 제시하는 주장-증거 적절성이다. 마지막은 증거제시에서 다양한 표상의 사용과 이 표상들을 전환하고 통합하는 다중표상 지수이다. 이 네 가지 요소의 발달을 위해 세 가지 stage를 구성하였다. '인지 과정'은 다중표상에 대한 이해를 위한 것이고, '해석 과정'은 다중표상 활동을 통해 증거 제시의 중요성을 인식하는 것이며, '적용 과정'은 학생들이 논의-기반 모델링을 직접 접해보는 것이다. 이 적용 과정에서는 질문 또는 문제 만들기-실험 설계 및 수행하기-관찰 통한 조사하기-자료의 분석 및 해석하기-임시 모델 설계하기-논의하기-되돌아보기-모델 평가하기-모델 수정하기의 아홉 개의 단계로 이루어진다. 논의-기반 모델링 전략은 학생들이 자신이 설계한 임시모델을 다른 사람과 공유하기 위해 증거를 바탕으로 발표하고 반박하는 논의과정을 통해 증거 제시의 필요성을 인식할 수 있다. 논의과정 후 학생들은 주장과 증거를 다중표상으로 나타내는 것에 대해 되돌아보는 과정을 거치면서 주장-증거 적절성을 높이게 된다. 또한 모델을 평가하기 위한 기준을 만들고, 이를 바탕으로 자신의 모둠이나 다른 모둠의 모델을 평가하고 그 결과를 피드백 받으면서 수정하게 된다. 이러한 일련의 과정을 거치면서 관찰한 자연세계의 현상에 대한 자신의 설명체계를 만듦으로써 과학적 지식을 형성할 수 있는 기회를 제공받을 수 있다.

논의가 강조된 일반화학실험이 대학생들의 글쓰기에서 나타난 다중 표상 및 다중 표상의 내재성에 미치는 영향 (The Impact of Argumentation-based General Chemistry Laboratory Programs on Multimodal Representation and Embeddedness in University Students' Science Writing)

  • 남정희;이동원;조혜숙
    • 한국과학교육학회지
    • /
    • 제31권6호
    • /
    • pp.931-941
    • /
    • 2011
  • 이 연구의 목적은 논의가 강조된 일반화학실험이 학생들의 글쓰기에서 나타난 다중 표상 및 다중 표상의 내재성에 미치는 영향을 알아보기 위한 것이다. 이를 위해 탐구적 과학 글쓰기 전략을 바탕으로 일반화학실험 프로그램을 개발하였고, 이 프로그램을 적용한 후, 학생들의 글쓰기에서 나타나는 다중 표상의 양식과 내재성을 비교하였다. 이 연구는 일반화학실험을 수강하는 학생들을 대상으로 화학교육과 1학년 23명을 실험집단으로, 물리교육과 1학년 16명을 비교집단으로 선정하여 총 5개의 주제를 적용하였다. 학생들이 작성한 Summary Writing에서 나타난 다중 표상의 양식과 내재성을 공변량 분석으로 비교한 결과, 양식과 내재성 모두에서 실험집단의 평균이 비교집단에 비해 통계적으로 유의미하게 높은 것으로 나타났다. 이러한 결과로부터 논의가 강조된 일반화학실험은 다중 표상 및 다중 표상의 내재성의 발달에 있어서 전통적인 실험방식에 비해 더 효과적임을 알 수 있었다. 또한 논의와 글쓰기를 지속적으로 수행하는 과정이 학생들의 과학적 개념에 대한 이해에 도움이 될 것이라 보이며, 연구 결과가 대학생을 대상으로도 효과가 있다는 것에서 프로그램의 적용 범위의 확대 측면에서 의미가 있다고 본다.

Environmental IoT-Enabled Multimodal Mashup Service for Smart Forest Fires Monitoring

  • Elmisery, Ahmed M.;Sertovic, Mirela
    • Journal of Multimedia Information System
    • /
    • 제4권4호
    • /
    • pp.163-170
    • /
    • 2017
  • Internet of things (IoT) is a new paradigm for collecting, processing and analyzing various contents in order to detect anomalies and to monitor particular patterns in a specific environment. The collected data can be used to discover new patterns and to offer new insights. IoT-enabled data mashup is a new technology to combine various types of information from multiple sources into a single web service. Mashup services create a new horizon for different applications. Environmental monitoring is a serious tool for the state and private organizations, which are located in regions with environmental hazards and seek to gain insights to detect hazards and locate them clearly. These organizations may utilize IoT - enabled data mashup service to merge different types of datasets from different IoT sensor networks in order to leverage their data analytics performance and the accuracy of the predictions. This paper presents an IoT - enabled data mashup service, where the multimedia data is collected from the various IoT platforms, then fed into an environmental cognition service which executes different image processing techniques such as noise removal, segmentation, and feature extraction, in order to detect interesting patterns in hazardous areas. The noise present in the captured images is eliminated with the help of a noise removal and background subtraction processes. Markov based approach was utilized to segment the possible regions of interest. The viable features within each region were extracted using a multiresolution wavelet transform, then fed into a discriminative classifier to extract various patterns. Experimental results have shown an accurate detection performance and adequate processing time for the proposed approach. We also provide a data mashup scenario for an IoT-enabled environmental hazard detection service and experimentation results.

다중모드 센서를 이용한 자세 및 공간인지 시스템 (Posture and Space Recognition System Using Multimodal Sensors)

  • 차주헌;김시철
    • 대한기계학회논문집A
    • /
    • 제39권6호
    • /
    • pp.603-610
    • /
    • 2015
  • 본 논문에서는 기울기 센서와 고도계 센서로 구성된 다중모드 센서를 통하여 일정 공간내의 거주자의 자세 및 행동 패턴을 수집, 분석하여 거주자의 위치를 추론함으로써, 현재 거주자가 위치한 공간을 인지하는 시스템을 제안한다. 여기에서 제안된 센서 시스템의 하드웨어 구성과 소프트웨어 알고리즘에 대하여 설명하고, 다중모드 센서를 통하여 획득한 데이터로부터 거주자의 자세 및 행동을 분석한 후에 거주자가 존재하는 공간을 추론하는 프로세스에 대하여 설명한다. 마지막으로 거주자의 자세 및 행동 분석과 공간인지 기능을 검증하기 위하여 실제 환경 실험을 통하여 본 논문에서 제안한 시스템의 효용성과 타당성을 검토한다.

RBF 기반 유사도 단계 융합 다중 생체 인식에서의 품질 활용 방안 연구 (A study of using quality for Radial Basis Function based score-level fusion in multimodal biometrics)

  • 최현석;신미영
    • 전자공학회논문지CI
    • /
    • 제45권5호
    • /
    • pp.192-200
    • /
    • 2008
  • 다중 생체 인식은 둘 이상의 생체 정보를 획득하여 이를 기반으로 개인 인증 및 신원을 확인하는 방법으로, 패턴 분류 알고리즘을 이용한 RBF 기반 유사도 단계 융합 다중 생체 인식은 입력된 생체 정보와 데이터베이스 내의 유사도를 나타내는 매칭 값을 각 단일 생체 인식 시스템으로부터 제공받아 이를 이용하여 특징 벡터를 구성하고, 특징 공간상에서 사용자와 위조자를 구분해주는 최적의 판정 경계를 탐색하여 인식을 수행하는 방법이다. 이러한 패턴 분류 알고리즘의 경우 특징 벡터를 구성하는 각 매칭값이 동일한 신뢰도를 가지고 있다는 가정 하에 고정된 판정 경계를 구성하고 분류를 수행하게 된다. 한편, 생체 인식 시스템의 인식 결과는 입력되는 생체 정보의 품질에 영향을 받을 수 있음이 기존의 연구에서 보고되고 있는데, 이는 일반적인 RBF 기반 유사도 단계 융합 다중 생체 인식 시스템을 구성하고 있는 단일 생체 인식 시스템 중 하나의 시스템에 저품질의 생체 정보가 입력되어 신뢰할 수 없는 매칭값을 출력한 경우에는 이를 기반으로 구성된 특징 벡터의 판정이 오분류 되거나 그 결과의 신뢰도가 감소될 수 있는 문제가 있다. 이에 대한 대안으로 본 논문에서는 각 단일 생체 인식 시스템에 입력되는 생체 정보의 품질을 활용하여 RBF 기반 유사도 단계 융합 다중 생체 인식 시스템에서 품질에 따라 유동적인 판정 경계를 구성하여 특징 벡터를 구성하는 각 매칭값이 판정에 미치는 영향을 조절하고자 하였다. 이를 통해 각 생체 정보가 그 품질에 따라 판정에 미치는 영향이 달리 적용될 수 있도록 하였으며, 그 결과 단일 생체 인식과 일반적인 RBF 기반 유사도 단계 융합 다중 생체 인식에 비해 보다 개선된 인식 결과와 신뢰도를 얻을 수 있었다.

멀티모달 패션 추천 대화 시스템을 위한 개선된 트랜스포머 모델 (Improved Transformer Model for Multimodal Fashion Recommendation Conversation System)

  • 박영준;조병철;이경욱;김경선
    • 한국콘텐츠학회논문지
    • /
    • 제22권1호
    • /
    • pp.138-147
    • /
    • 2022
  • 최근 챗봇이 다양한 분야에 적용되어 좋은 성과를 보이면서 쇼핑몰 상품 추천 서비스에도 챗봇을 활용하려는 시도가 많은 이커머스 플랫폼에서 진행되고 있다. 본 논문에서는 사용자와 시스템간의 대화와 패션 이미지 정보에 기반해 사용자가 원하는 패션을 추천하는 챗봇 대화시스템을 위해, 최근 자연어처리, 음성인식, 이미지 인식 등의 다양한 AI 분야에서 좋은 성능을 내고 있는 트랜스포머 모델에 대화 (텍스트) 와 패션 (이미지) 정보를 같이 사용하여 추천의 정확도를 높일 수 있도록 개선한 멀티모달 기반 개선된 트랜스포머 모델을 제안하며, 데이터 전처리(Data preprocessing) 및 학습 데이터 표현(Data Representation)에 대한 분석을 진행하여 데이터 개선을 통한 정확도 향상 방법도 제안한다. 제안 시스템은 추천 정확도는 0.6563 WKT(Weighted Kendall's tau)으로 기존 시스템의 0.3372 WKT를 0.3191 WKT 이상 크게 향상시켰다.