• Title/Summary/Keyword: 모달 응답

Search Result 73, Processing Time 0.024 seconds

Fusion-in-Decoder for Open Domain Multi-Modal Question Answering (FiD를 이용한 멀티 모달 오픈 도메인 질의 응답)

  • Eunhwan Park;Sung-Min Lee;Daeryong Seo;Donghyeon Jeon;Inho Kang;Seung-Hoon Na
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.95-99
    • /
    • 2022
  • 오픈 도메인 질의 응답 (ODQA, Open-Domain Question Answering)은 주어진 질문에 대한 답을 찾는 과업으로서 질문과 관련있는 지식을 찾는 "검색" 단계를 필요로 한다. 최근 이미지, 테이블 등의 검색을 요구하는 멀티 모달 ODQA에 대한 연구가 많이 진행되었을 뿐만 아니라 산업에서의 중요도 또한 높아지고 있다. 본 논문은 여러 종류의 멀티 모달 ODQA 중에서도 테이블 - 텍스트 기반 멀티 모달 ODQA 데이터 집합으로 Fusion-in-Decoder (FiD)를 이용한 멀티 모달 오픈 도메인 질의 응답 연구를 제안하며 베이스라인 대비 최대 EM 20.5, F1 23.2 향상을 보였다.

  • PDF

Effect of Modal Filter Error on the Vibration Control Characteristics (모달필터 오차가 진동제어 특성에 미치는 영향)

  • 황재혁;김준수;김두만
    • Proceedings of the Korean Society for Noise and Vibration Engineering Conference
    • /
    • 1995.10a
    • /
    • pp.241-248
    • /
    • 1995
  • 본 연구에서 얻어진 주된 결과를 요약하면 다음과 같다. 1) 모달필터의 오차로 인해 모달상태 추정에 오차가 발생할 때, 폐루프 진동제어계가 Lyapunov 점근 안정성을 갖기 위한 필요충분 조건식(26)을 유도하였다. 2) 모달필터의 오차가 클수록 폐루프 진동제어계의 안정성은 점점 나빠지게 된다. 3) 모달필터의 오차 .DELTA.D가 존재할 때, L$_{\infty}$-놈 이론을 적용하여 진동제어 응답성능의 오차의 상한, 식(32)를 유도하였다. 4) 응답성능 오차의 상한은 모달필터 오차 .DELTA.D의 크기에 비례하고 있으며, 비례계수는 모달공간에서의 제어기법이 종류에 따라 다르다.

  • PDF

MMA: Multi-modal Message Aggregation for Korean VQA (MMA: 한국어 시각적 질의응답을 위한 멀티 모달 메시지 통합)

  • Park, Sungjin;Park, Chanjun;Seo, Jaehyung;Lim, Heuiseok
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.468-472
    • /
    • 2020
  • 시각적 질의응답(Visual Question Answering, VQA)은 주어진 이미지에 연관된 다양한 질문에 대한 올바른 답변을 예측하는 기술이다. 해당 기술은 컴퓨터 비전-자연어 처리 연구분야에서 활발히 연구가 진행되고 있으며, 질문의 의도를 정확히 파악하고, 주어진 이미지에서 관련 단서 정보를 찾는 것이 중요하다. 또한, 서로 이질적인 특성을 지닌 정보(이미지 객체, 객체 위치, 질문)를 통합하는 과정도 중요하다. 본 논문은 질문의 의도에 알맞은 정보를 효율적으로 사용하기 위해 멀티 모달 입력 이미지 객체, 객체 위치, 질문)에 대한 Multi-modal Message Aggregation (MMA) 제안하며 이를 통해 한국어 시각적 질의응답 KVQA에서 다른 모델보다 더 좋은 성능을 확인하였다.

  • PDF

A Speed Increasing Test of BIMODALTRAM for Dynamic Response Analysis of Pipe-truss Bridges (파이프 트러스교의 동적특성 분석을 위한 바이모달트램 주행실험연구)

  • Kim, Hee-Ju;Jun, Myung-Il;Cho, Eun-Sang;Hwang, Won-Sup
    • Journal of the Korean Society for Railway
    • /
    • v.14 no.2
    • /
    • pp.137-142
    • /
    • 2011
  • A bimodal tram is a new design vehicle introduced to improve a current transportation system, and it has advantages of a bus and a subway. A pipe truss bridge, an exclusive road of the bimodal tram, is constructed for introduction of the bimodal tram. An analysis of dynamic response characteristics is required because this new bridge has never constructed before. A speed increasing test on the pipe truss bridge was conducted with attaching a sensor to bottom of the bridge. Also, Dynamic response characteristics were analyzed by measuring displacements, the maximum vertical and horizontal acceleration about the new bridge through the experiment.

Design and Implementation of an Active Multi-modal Presentation System (능동적 멀티모달 프르젠테이션 시스템 설계 및 구현)

  • 손문식;이지근;이은숙;김희숙;정석태;정성태
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2002.11b
    • /
    • pp.661-664
    • /
    • 2002
  • 최근 인터넷의 대중화와 웹 기술이 발달함에 따라, 인간친화적인 프리젠테이션을 위하여 캐릭터 에이전트를 이용한 멀티모달 프리젠테이션에 대한 연구가 활성화 되고 있다. 그런데, 기존의 멀티모달 프리젠테이션 시스템은 정보제공자의 일방적인 프리젠테이션방식을 사용하기 때문에 청중과의 쌍방향 통신은 미비한 실정이다. 따라서, 본 논문에서는 캐릭터 에이전트를 이용하여 정보제공자와 청중 사이에 질의와 응답이 실시간으로 가능하도록 하는 능동적 멀티모달 프리젠이션 시스템을 설계 및 구현하고자 한다.

  • PDF

Transfer Learning-based Multi-Modal Fusion Answer Selection Model for Video Question Answering System (비디오 질의 응답 시스템을 위한 전이 학습 기반의 멀티 모달 퓨전 정답 선택 모델)

  • Park, Gyu-Min;Park, Seung-Bae
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.548-553
    • /
    • 2021
  • 비디오 질의 응답은 입력으로 주어진 비디오와 질문에 적절할 정답을 제공하기 위해 텍스트, 이미지 등 다양한 정보처리가 요구되는 대표적인 multi-modal 문제이다. 질의 응답 시스템은 질의 응답의 성능을 높이기 위해 다수의 서로 다른 응답 모듈을 사용하기도 하며 생성된 정답 후보군 중 가장 적절할 정답을 선택하는 정답 선택 모듈이 필요하다. 정답 선택 모듈은 응답 모듈의 서로 다른 관점을 고려하여 응답 선택을 선택할 필요성이 있다. 하지만 응답 모듈이 black-box 모델인 경우 정답 선택 모듈은 응답 모듈의 parameter와 예측 분포를 통해 지식을 전달 받기 어렵다. 그리고 학습 데이터셋은 응답 모듈이 학습에 사용했기 때문에 과적합 문제로 각 모듈의 관점을 학습하기엔 어려우며 학습 데이터셋 이외 비교적 적은 데이터셋으로 학습해야 하는 문제점이 있다. 본 논문에서는 정답 선택 성능을 높이기 위해 전이 학습 기반의 멀티모달 퓨전 정답 선택 모델을 제안한다. DramaQA 데이터셋을 통해 성능을 측정하여 제안된 모델의 우수성을 실험적으로 증명하였다.

  • PDF

A Proposal of Model Updating Method for Steel Frame Using Global/Local Responses (전역적/국부 응답을 이용한 철골조의 모델 업데이팅 기법 제안)

  • Oh, Byung-Kwan;Choi, Se-Woon;Kim, Yousok;Park, Hyo-Seon
    • Journal of the Computational Structural Engineering Institute of Korea
    • /
    • v.28 no.4
    • /
    • pp.401-408
    • /
    • 2015
  • Conventional model updating methods for the structures have used global structural responses which are modal parameters obtained through vibration measurements. Although models updated by modal parameters estimate global structural responses accurately, they have difficulties to predict local responses for safety assesment of structural members. The safety of structural members in the structures has been evaluated through the stress estimation based on strain measurements. Thus, this study additionally uses measured strain responses of structural members to perform model updating besides modal parameters. In the proposed method, the objective functions are set to the differences of the global and local responses obtained from updated model and measurement and those functions are minimized by NSGA-II, one of the multi-objective optimization techniques. The strain responses predicted from updated model are used for safety assessment of the steel frame structures. The proposed method are verified by numerical and experimental studies through the impact hammer tests for a steel frame specimen.

Impact of the Aerodynamic Characteristics of Twin Buildings on Wind Responses (트윈 빌딩의 공력 특성이 풍응답에 미치는 영향 평가)

  • Kim, Bub-Ryur
    • Journal of the Computational Structural Engineering Institute of Korea
    • /
    • v.33 no.1
    • /
    • pp.1-7
    • /
    • 2020
  • The wind responses of twin buildings are determined by the characteristics of wind loads and the dynamic characteristics of the structural systems of the buildings. In this study, the characteristics of wind pressure that influence wind responses were identified for two different spacings between the twin buildings using a wind tunnel test and the proper orthogonal decomposition (POD) method. Structural dynamic characteristics were also identified using 3D structural system modeling. The double modal transformation method was utilized to evaluate the characteristics of wind pressure for across-wind and along-wind conditions and the effect of the dynamic characteristics of each structure on the wind responses. The channeling and vortex effects were identified through the POD method. Across-wind loads were significantly affected by the spacings between the twin buildings, whereas along-wind loads were minimally affected. Similarly, while using the double modal transformation method, a significant difference was noticed in case of the cross-participation coefficients in the across-wind direction condition for the different spacings between the buildings; however, the along-wind direction condition showed negligible difference. Therefore, the spacing between the two buildings plays a more important role in across-wind responses compared to along-wind responses.

Verification of Damage Detection Using In-Service Time Domain Response (사용중 시간영역응답을 이용한 손상탐지이론의 검증)

  • Choi, Sang-Hyun;Kim, Dae-Hyork;Park, Nam-Hoi
    • Journal of the Korean Society of Hazard Mitigation
    • /
    • v.9 no.5
    • /
    • pp.9-13
    • /
    • 2009
  • Modal parameters including resonant frequencies and mode shapes are heavily utililized in most damage identification throries for structural health monitoring. However, extracting modal parameters from dynamic responses needs postprocessing which inevitably involves errors in curve-fitting resonants as well as transforming the domain of responses. In this paper, the applicability of a damage identification method based on free vibration responses to the in-sevice responses is experimentally verified. The experiment is performed via applying periodic and nonperiodic moving loads to a simply supported beam and displacement responses are measured. The moving load is simulated using steel balls and a downhill device. The damage identification results show that the in-service response may be applicable to identifying damage in the beam.

Seismic Evaluation of Structural Integrity of Main Cooling-Water Pump by Response Spectrum Analysis (응답스펙트럼법을 이용한 지진하중을 받는 원전용 주냉각수펌프의 내진 건전성 평가)

  • Chung, Chul-Sup
    • Transactions of the Korean Society of Mechanical Engineers A
    • /
    • v.34 no.11
    • /
    • pp.1773-1778
    • /
    • 2010
  • To evaluate the structural integrity of the main cooling-water pump of a nuclear power plant under different seismic conditions, the seismic analysis was performed in accordance with IEEE-STD-344 code. The finite element computer program, ANSYS, was used to perform both mode frequency analysis and response spectrum analysis for the pump assembly. The natural frequencies, the mode shapes, and the mode participation factors were obtained from the results of the mode frequency analysis. The stresses resulting from various loadings and their combinations were within the allowable limits specified in the above-mentioned IEEE code. The results of the seismic evaluation fully satisfied the structural acceptance criteria of the IEEE code. Thus, it was proved that the structural integrity of the pump assembly was satisfactory.