• 제목/요약/키워드: Multi-Modal

검색결과 630건 처리시간 0.034초

딥러닝과 설명 가능한 인공지능을 이용한 유방암 판별 (Classification of Breast Cancer using Explainable A.I. and Deep learning)

  • 하수희;유재천
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.99-100
    • /
    • 2022
  • 본 논문에서는 유방암 초음파 이미지를 학습한 multi-modal 구조를 이용하여 유방암을 판별하는 인공지능을 제안한다. 학습된 인공지능은 유방암을 판별과 동시에, 설명 가능한 인공지능 기법과 ROI를 함께 사용하여 종양의 위치를 나타내준다. 시각적으로 판단 근거를 제시하기 때문에 인공지능의 판단 신뢰도는 더 높아진다.

  • PDF

감정 인지를 위한 음성 및 텍스트 데이터 퓨전: 다중 모달 딥 러닝 접근법 (Speech and Textual Data Fusion for Emotion Detection: A Multimodal Deep Learning Approach)

  • 에드워드 카야디;송미화
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.526-527
    • /
    • 2023
  • Speech emotion recognition(SER) is one of the interesting topics in the machine learning field. By developing multi-modal speech emotion recognition system, we can get numerous benefits. This paper explain about fusing BERT as the text recognizer and CNN as the speech recognizer to built a multi-modal SER system.

멀티-뷰 영상들을 활용하는 3차원 의미적 분할을 위한 효과적인 멀티-모달 특징 융합 (Effective Multi-Modal Feature Fusion for 3D Semantic Segmentation with Multi-View Images)

  • 배혜림;김인철
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권12호
    • /
    • pp.505-518
    • /
    • 2023
  • 3차원 포인트 클라우드 의미적 분할은 각 포인트별로 해당 포인트가 속한 물체나 영역의 분류 레이블을 예측함으로써, 포인트 클라우드를 서로 다른 물체들이나 영역들로 나누는 컴퓨터 비전 작업이다. 기존의 3차원 의미적 분할 모델들은 RGB 영상들에서 추출하는 2차원 시각적 특징과 포인트 클라우드에서 추출하는 3차원 기하학적 특징의 특성을 충분히 고려한 특징 융합을 수행하지 못한다는 한계가 있다. 따라서, 본 논문에서는 2차원-3차원 멀티-모달 특징을 이용하는 새로운 3차원 의미적 분할 모델 MMCA-Net을 제안한다. 제안 모델은 중기 융합 전략과 멀티-모달 교차 주의집중 기반의 융합 연산을 적용함으로써, 이질적인 2차원 시각적 특징과 3차원 기하학적 특징을 효과적으로 융합한다. 또한 3차원 기하학적 인코더로 PTv2를 채용함으로써, 포인트들이 비-정규적으로 분포한 입력 포인트 클라우드로부터 맥락정보가 풍부한 3차원 기하학적 특징을 추출해낸다. 본 논문에서는 제안 모델의 성능을 분석하기 위해 벤치마크 데이터 집합인 ScanNetv2을 이용한 다양한 정량 및 정성 실험들을 진행하였다. 성능 척도 mIoU 측면에서 제안 모델은 3차원 기하학적 특징만을 이용하는 PTv2 모델에 비해 9.2%의 성능 향상을, 2차원-3차원 멀티-모달 특징을 사용하는 MVPNet 모델에 비해 12.12%의 성능 향상을 보였다. 이를 통해 본 논문에서 제안한 모델의 효과와 유용성을 입증하였다.

다단 연속 회전체 베어링 계의 일반화된 모드 해석 (A Generalized Modal Analysis for Multi-Stepped, Distributed-Parameter Rotor-Bearing Systems)

  • 박종혁;홍성욱
    • 소음진동
    • /
    • 제9권3호
    • /
    • pp.525-534
    • /
    • 1999
  • The present paper proposes a generalized modal analysis procedure for non-uniform, distributed-parameter rotor-bearing systems. An exact element matrix is derived for a Timoshenko shaft model which contains rotary inertia, shear deformation, gyroscopic effect and internal damping. Complex coordinates system is adopted for the convenience in formulation. A generalized orthogonality condition is provided to make the modal decomposition possible. The generalized modal analysis by using a modal decomposition delivers exact and closed form solutions both for frequency and time responses. Two numerical examples are presented for illustrating the proposed method. The numerical study proves that the proposed method is very efficient and useful for the analysis of distributed-parameter rotor-bearing systems.

  • PDF

멀티모달 실감 경험 I/O 인터랙션 시스템 개발 (Development for Multi-modal Realistic Experience I/O Interaction System)

  • 박재언;황민철;이정년;허환;정용무
    • 감성과학
    • /
    • 제14권4호
    • /
    • pp.627-636
    • /
    • 2011
  • 본 연구는 단순 입력 기반 유니모달 인터랙션의 한계를 극복하고 단순 입력 방식이 아닌 멀티모달 기반 사용자의 행위, 의도, 및 집중도를 활용하여 실감적이고 몰입도를 향상시키는 인터랙션 시스템을 제안하는데 그 목적이 있다. 본 연구의 선행연구에서 기존 문헌연구를 토대로 메타분석방법을 활용하여 인터랙션을 위한 3차원 동작 인식 기술의 정확도를 분석하여 최종적인 센서 기반 인터랙션 방법이 선정되었고, 직관적 제스쳐 인터랙션 요소를 추출하여 본 시스템에 반영하였다. 또한 생리반응을 이용한 집중력 판단 기술을 개발하여 사용자 의도를 판단하는 연구를 진행하였다. 본 연구에서 제안하는 시스템은 3부분으로 나눌 수 있다. 선행연구에서 선정된 인터랙션 요소들을 적용하여 가속도(Accelator) 센서와 연성(Flexible) 센서를 활용하여 손 동작을 인식하는 시스템을 구현하였고, 동공 인터랙션을 통한 안경형 시선 추적기를 구현하여 인터랙션이 가능하게 하였으며, 심혈관 반응과 피부 온열 반응을 측정하여 사용자의 의도를 반영한 시스템을 최종 구현하였다. 실감형 디지털 엔터테인먼트 플랫폼 기술 개발을 위한 기초 연구로서 활용이 가능할 것으로 판단된다.

  • PDF

다경간 연속 교량 구조물의 지진응답 평가를 위한 개선된 모드별 비탄성 정적 해석법에 관한 연구 (Improved Modal Pushover Analysis of Multi-span Continuous Bridge Structures)

  • 곽효경;홍성진;김영상
    • 대한토목학회논문집
    • /
    • 제26권3A호
    • /
    • pp.497-512
    • /
    • 2006
  • 본 논문에서는 구조물의 모든 진동모드를 고려하는 모드별 비탄성 정적 해석법을 바탕으로 하여 다경간 연속 교량 구조물의 내진 역량을 평가할 수 있는 간단하고 효율적인 해석 방법을 제시하였다. 동일한 항복 후 기울기비와 근사 탄성변형 형상의 개념을 새롭게 도입하여 비탄성 구조계에 모드별 중첩이론을 직접 적용함으로써 발생하던 기존의 간섭 효과를 소거시켰다. 나아가 앞서 언급한 두 가지 개념과 적절한 분포하중을 정적 해석에 사용함으로써 더욱 간편한 해석 과정을 통하여 모든 종류의 교량 구조물에 대한 동적 거동을 예측하는 것이 가능해 졌다. 마지막으로 제안한 방법의 효용성과 적용성을 확인하기 위하여 4가지의 교량 모델에 대한 비선형 시간이력 해석과 간편화된 비선형 정적 해석의 변위예측 결과를 비교 분석하였다.

Electrospray-Mass Spectrometric Analysis of Plasma Pyrophosphates Separated on a Multi-Modal Liquid Chromatographic Column

  • Lee, Su-Hyeon;Lee, Jeong-Ae;Lee, Won-Yong;Chung, Bong-Chul;Choi, Man-Ho
    • Mass Spectrometry Letters
    • /
    • 제2권4호
    • /
    • pp.92-95
    • /
    • 2011
  • Pyrophosphates are the key intermediates in the biosynthesis of isoprenoids, and their concentrations could reveal the benefits of statins in cardiovascular diseases. Quantitative analysis of five pyrophosphates, including isopentenyl pyrophosphate (IPP), dimethylallyl pyrophosphate (DMAPP), geranyl pyrophosphate (GPP), farnesyl pyrophosphate (FPP), and geranylgeranyl pyrophosphate (GGPP), was performed using liquid chromatography-tandem mass spectrometry (LC-MS/MS) in negative ionization mode. After dilution with methanol, samples were separated on a 3 ${\mu}m$ particle multi-modal $C_{18}$ column ($50{\times}2$ mm) and quantified within 10 min. The gradient elution consists of 10 mM ammonium bicarbonate and 0.5% triethylamine (TEA) in water and 0.1% TEA in 80% acetonitrile was used at the flow rate of 0.4 mL/min. Overall recoveries were 51.4-106.6%, while the limit of quantification was 0.05 ${\mu}g$/mL for GPP and FPP and 0.1 ${\mu}g$/mL for IPP, DMAPP, and GGPP. The precision (% CV) and accuracy (% bias) of the assay were 1.9-12.3% and 89.6-111.8%, respectively, in 0.05-10 ${\mu}g$/mL calibration ranges ($R^2$ > 0.993). The devised LC-MS/MS technique with the multi-modal $C_{18}$ column can be used to estimate the biological activity of pyrophosphates in plasma and may be applicable to cardiovascular events with cholesterol metabolism as well as the drug efficacy of statins.

KSR-III의 전기체 모달 시험 (Ground Vibration Test for Korea Sounding Rocket - III)

  • 우성현;김영기;이동우;문남진;김홍배
    • 한국소음진동공학회:학술대회논문집
    • /
    • 한국소음진동공학회 2002년도 춘계학술대회논문집
    • /
    • pp.441-447
    • /
    • 2002
  • KSR-III(Korea Sounding Rocket - III), which is being developed by Space Technology R&D Division of KARI(Korea Aerospace Research Institute) will be launched in late 2002. It is a three-stage, liquid propellant rocket which can reach 250 km altitude and will carry out observation of ozone layer and scientific experiments, such as microgravity experiment, and atmospheric measurement. KSR-III is believed to be an intermediate to the launch vehicle capable of carrying a satellite to its orbit. Space Test Department of KARI performed GVT(Ground Vibration Test) fer KSR-III EM at Rocket Test Building of KARI. GVT is very important for predicting the behavior of rocket in its operation, developing flight control program and performing aerodynamic analysis. This paper gives an introduction of rocket GVT configuration and information on test procedures, techniques and results of It. In this test. to simulate free-free condition, test object hung in the air laterally by 4 bungee cords specially devised. For the excitation of test object, pure random signal by two electromagnetic shakers was used and total 22 frequency response functions were achieved. Polyreference parameter estimation was performed to identify the modal parameters with MIMO(Multi-Input-Multi-Output) method. As the result of the test, low frequency mode shapes and modal parameters below 60Hz were identified

  • PDF

음성 및 제스처를 이용한 멀티 모달 명령어 인식 시스템 (Multi-Modal Instruction Recognition System using Speech and Gesture)

  • 김정현;노용완;권형준;홍광석
    • 융합신호처리학회 학술대회논문집
    • /
    • 한국신호처리시스템학회 2006년도 하계 학술대회 논문집
    • /
    • pp.57-62
    • /
    • 2006
  • 휴대용 단말기의 소형화 및 지능화와 더불어 차세대 PC 기반의 유비쿼터스 컴퓨팅에 대한 관심이 높아짐에 따라 최근에는 펜이나 음성 입력 멀티미디어 등 여러 가지 대화 모드를 구비한 멀티 모달 상호작용 (Multi-Modal Interaction MMI)에 대한 연구가 활발히 진행되고 있다. 따라서, 본 논문에서는 잡음 환경에서의 명확한 의사 전달 및 휴대용 단말기에서의 음성-제스처 통합 인식을 위한 인터페이스의 연구를 목적으로 Voice-XML과 Wearable Personal Station(WPS) 기반의 음성 및 내장형 수화 인식기를 통합한 멀티 모달 명령어 인식 시스템 (Multi-Modal Instruction Recognition System : MMIRS)을 제안하고 구현한다. 제안되어진 MMIRS는 한국 표준 수화 (The Korean Standard Sign Language : KSSL)에 상응하는 문장 및 단어 단위의 명령어 인식 모델에 대하여 음성뿐만 아니라 화자의 수화제스처 명령어를 함께 인식하고 사용함에 따라 잡음 환경에서도 규정된 명령어 모델에 대한 인식 성능의 향상을 기대할 수 있다. MMIRS의 인식 성능을 평가하기 위하여, 15인의 피험자가 62개의 문장형 인식 모델과 104개의 단어인식 모델에 대하여 음성과 수화 제스처를 연속적으로 표현하고, 이를 인식함에 있어 개별 명령어 인식기 및 MMIRS의 평균 인식율을 비교하고 분석하였으며 MMIRS는 문장형 명령어 인식모델에 대하여 잡음환경에서는 93.45%, 비잡음환경에서는 95.26%의 평균 인식율을 나타내었다.

  • PDF

다중생체인식 기법을 이용한사용자 인식률 향상 (Improvement of User Recognition Rate using Multi-modal Biometrics)

  • 금명환;이규원;이봉환
    • 한국정보통신학회논문지
    • /
    • 제12권8호
    • /
    • pp.1456-1462
    • /
    • 2008
  • 단일 생체인식 시스템의 인식률을 높이는 것은 생체인식 방법마다 취약점이 있기 때문에 그 한계가 있기 마련이다. 얼굴 인식의 경우 조명과 같은 환경적 요인으로 인식률이 저하될 수 있으며, 화자 확인의 경우도 잡음과 같은 환경적 요인으로 인식률이 크게 저하될 수 있다. 따라서 두 가지 이상의 생체특징을 결합하여 다중 생체인식 시스템을 구현함으로써 그 취약점을 보완하는 추세에 있다. 본 논문에서는 얼굴 인식과 화자 확인 시스템을 결합하여 다중 생체인식 시스템을 구현하였고, 일반적인 가중치합 알고리즘에 환경 변수를 적용하여 기존의 다중 생체 인식 시스템보다 인식률을 향상시켰다. 본 시스템은 비밀키 기반의 애플릿으로 구현되어 있으므로 웹 상의 사용자 인증을 필요로 하는 응용에 활용될 수 있다.