• 제목/요약/키워드: Multimodal model

검색결과 136건 처리시간 0.028초

Predicting Session Conversion on E-commerce: A Deep Learning-based Multimodal Fusion Approach

  • Minsu Kim;Woosik Shin;SeongBeom Kim;Hee-Woong Kim
    • Asia pacific journal of information systems
    • /
    • 제33권3호
    • /
    • pp.737-767
    • /
    • 2023
  • With the availability of big customer data and advances in machine learning techniques, the prediction of customer behavior at the session-level has attracted considerable attention from marketing practitioners and scholars. This study aims to predict customer purchase conversion at the session-level by employing customer profile, transaction, and clickstream data. For this purpose, we develop a multimodal deep learning fusion model with dynamic and static features (i.e., DS-fusion). Specifically, we base page views within focal visist and recency, frequency, monetary value, and clumpiness (RFMC) for dynamic and static features, respectively, to comprehensively capture customer characteristics for buying behaviors. Our model with deep learning architectures combines these features for conversion prediction. We validate the proposed model using real-world e-commerce data. The experimental results reveal that our model outperforms unimodal classifiers with each feature and the classical machine learning models with dynamic and static features, including random forest and logistic regression. In this regard, this study sheds light on the promise of the machine learning approach with the complementary method for different modalities in predicting customer behaviors.

과학적 글쓰기를 활용한 논의-기반 모델링 전략의 개발 (The Development of Argument-based Modeling Strategy Using Scientific Writing)

  • 조혜숙;남정희;이동원
    • 한국과학교육학회지
    • /
    • 제34권5호
    • /
    • pp.479-490
    • /
    • 2014
  • 이 연구는 과학교육에서 의사소통을 위해 글쓰기와 논의를 활용한 논의-기반 모델링 전략의 개발을 목적으로 하였다. 논의-기반 모델링 전략은 모델링의 목적인 의사소통을 위해 자신이 만든 모델을 논의와 글쓰기를 통해 과학적 언어를 사용하여 스스로 정리하거나 표현하고, 다른 사람의 의견을 듣고 교환하는 과정을 통해 모델을 평가하고 수정하는 일련의 과정을 의미한다. 이 전략은 과학교육에서 모델링에 어려움을 느끼는 학생과 교사를 지원하기 위한 것으로 다음 네 가지 요소의 발달에 초점을 맞추었다. 첫째 여러 문제 상황을 관찰하여 문제를 연관지어 인식하는 문제인식이다. 둘째는 과학적 설명을 위해 충분한 과학개념을 구조화하여 제시하는 과학개념 구조화이며, 셋째는 주장에 대해 적절한 표상을 증거로 제시하는 주장-증거 적절성이다. 마지막은 증거제시에서 다양한 표상의 사용과 이 표상들을 전환하고 통합하는 다중표상 지수이다. 이 네 가지 요소의 발달을 위해 세 가지 stage를 구성하였다. '인지 과정'은 다중표상에 대한 이해를 위한 것이고, '해석 과정'은 다중표상 활동을 통해 증거 제시의 중요성을 인식하는 것이며, '적용 과정'은 학생들이 논의-기반 모델링을 직접 접해보는 것이다. 이 적용 과정에서는 질문 또는 문제 만들기-실험 설계 및 수행하기-관찰 통한 조사하기-자료의 분석 및 해석하기-임시 모델 설계하기-논의하기-되돌아보기-모델 평가하기-모델 수정하기의 아홉 개의 단계로 이루어진다. 논의-기반 모델링 전략은 학생들이 자신이 설계한 임시모델을 다른 사람과 공유하기 위해 증거를 바탕으로 발표하고 반박하는 논의과정을 통해 증거 제시의 필요성을 인식할 수 있다. 논의과정 후 학생들은 주장과 증거를 다중표상으로 나타내는 것에 대해 되돌아보는 과정을 거치면서 주장-증거 적절성을 높이게 된다. 또한 모델을 평가하기 위한 기준을 만들고, 이를 바탕으로 자신의 모둠이나 다른 모둠의 모델을 평가하고 그 결과를 피드백 받으면서 수정하게 된다. 이러한 일련의 과정을 거치면서 관찰한 자연세계의 현상에 대한 자신의 설명체계를 만듦으로써 과학적 지식을 형성할 수 있는 기회를 제공받을 수 있다.

복합수단운송을 고려한 화물통행수요분석 방안 (Freight Demand Analysis for Multimodal Shipments)

  • 홍다희;박민철;이정엽;한진석;강재원
    • 대한교통학회지
    • /
    • 제30권4호
    • /
    • pp.85-94
    • /
    • 2012
  • 최근 화물운송은 물류비용절감뿐만 아니라 화물운송효율화, 녹색물류를 추구하고 있으며, 이를 지원하기 위한 방안으로 물류시설 경유 및 다수단간 복합운송을 지향하는 교통물류정책들이 활발히 논의되고 있다. 이러한 추세에 따라 관련 화물통행수요 분석 방안의 변화가 필요한 시점에 이르렀다. 그러나 국내에서는 화물통행수요모형 개발에 대한 논의가 미흡한 상황이며, 특히 중간경유지에서의 수단간 환적 등의 물류활동을 고려하고 있지 않아 물동량 추정의 신뢰성 및 현실성에 한계가 있다. 따라서 본 연구에서는 화물의 순물동량과 총물동량을 고려하여 복합수단교통망에서의 물류시설 경유여부 및 수단간 환적 등의 물류활동을 분석할 수 있는 화물통행수요분석 방안을 제시하였다. 또한 사례품목에 개발된 방법론을 적용함으로써 물류시설 신설 또는 변경에 따른 수단간 전환 효과를 분석에 본 방안의 적용가능성을 살펴보았다.

복합수단 대중교통 네트워크의 연계성 평가 모형 (A Model for Evaluating the Connectivity of Multimodal Transit Networks)

  • 박준식;강성철
    • 대한교통학회지
    • /
    • 제28권3호
    • /
    • pp.85-98
    • /
    • 2010
  • 대중교통 네트워크가 점점 더 복합수단화됨에 따라 네트워크의 연계성이 중요한 개념으로 대두되고 있다. 본 연구에서는 복합수단 대중교통 네트워크의 연계성을 평가하는 계량모형을 제시하였다. 이를 위하여 우선 대중교통 노선의 평가지표로 노선연장, 수송용량, 통행속도를 선정하고 이들의 곱을 노선의 연계강도로 정의하였다. 또한 사회 네트워크 분석에서 사용되는 노드의 중심성 지표 중 하나인 degree centrality 개념을 대중교통 네트워크에 적합하게 수정하였다. 노선의 연계강도와 그 노선이 서비스하는 정류장의 degree centrality를 접목하여 정류장의 연계정도를 나타내는 지수를 개발하였다. 이를 토대로 복합수단 대중교통 네트워크 내의 노선 및 지역의 연계성 지수도 도출하였다. 또한 정류장의 연계성 지수와 이용자수용비율 함수를 이용하여 환승센터의 연계성을 평가하는 방법도 제시하였다. 사례연구 결과 본 연구에서 개발된 연계성 평가 모형은 복합수단 대중교통 네트워크의 특성을 제대로 반영하고 있으며, 대중교통 네트워크 내의 정류장, 노선, 지역의 연계성을 적절하게 평가할 수 있고, 또한 환승센터의 서비스수준 산정에 활용될 수 있음을 확인하였다.

Multimodal Attention-Based Fusion Model for Context-Aware Emotion Recognition

  • Vo, Minh-Cong;Lee, Guee-Sang
    • International Journal of Contents
    • /
    • 제18권3호
    • /
    • pp.11-20
    • /
    • 2022
  • Human Emotion Recognition is an exciting topic that has been attracting many researchers for a lengthy time. In recent years, there has been an increasing interest in exploiting contextual information on emotion recognition. Some previous explorations in psychology show that emotional perception is impacted by facial expressions, as well as contextual information from the scene, such as human activities, interactions, and body poses. Those explorations initialize a trend in computer vision in exploring the critical role of contexts, by considering them as modalities to infer predicted emotion along with facial expressions. However, the contextual information has not been fully exploited. The scene emotion created by the surrounding environment, can shape how people perceive emotion. Besides, additive fusion in multimodal training fashion is not practical, because the contributions of each modality are not equal to the final prediction. The purpose of this paper was to contribute to this growing area of research, by exploring the effectiveness of the emotional scene gist in the input image, to infer the emotional state of the primary target. The emotional scene gist includes emotion, emotional feelings, and actions or events that directly trigger emotional reactions in the input image. We also present an attention-based fusion network, to combine multimodal features based on their impacts on the target emotional state. We demonstrate the effectiveness of the method, through a significant improvement on the EMOTIC dataset.

Multimodal Sentiment Analysis for Investigating User Satisfaction

  • 황교엽;송쯔한;박병권
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제32권3호
    • /
    • pp.1-17
    • /
    • 2023
  • Purpose The proliferation of data on the internet has created a need for innovative methods to analyze user satisfaction data. Traditional survey methods are becoming inadequate in dealing with the increasing volume and diversity of data, and new methods using unstructured internet data are being explored. While numerous comment-based user satisfaction studies have been conducted, only a few have explored user satisfaction through video and audio data. Multimodal sentiment analysis, which integrates multiple modalities, has gained attention due to its high accuracy and broad applicability. Design/methodology/approach This study uses multimodal sentiment analysis to analyze user satisfaction of iPhone and Samsung products through online videos. The research reveals that the combination model integrating multiple data sources showed the most superior performance. Findings The findings also indicate that price is a crucial factor influencing user satisfaction, and users tend to exhibit more positive emotions when content with a product's price. The study highlights the importance of considering multiple factors when evaluating user satisfaction and provides valuable insights into the effectiveness of different data sources for sentiment analysis of product reviews.

인간의 언어와 얼굴 표정에 통하여 자동적으로 감정 인식 시스템 새로운 접근법 (Automatic Human Emotion Recognition from Speech and Face Display - A New Approach)

  • 딩�E령;이영구;이승룡
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(B)
    • /
    • pp.231-234
    • /
    • 2011
  • Audiovisual-based human emotion recognition can be considered a good approach for multimodal humancomputer interaction. However, the optimal multimodal information fusion remains challenges. In order to overcome the limitations and bring robustness to the interface, we propose a framework of automatic human emotion recognition system from speech and face display. In this paper, we develop a new approach for fusing information in model-level based on the relationship between speech and face expression to detect automatic temporal segments and perform multimodal information fusion.

A Multimodal Fusion Method Based on a Rotation Invariant Hierarchical Model for Finger-based Recognition

  • Zhong, Zhen;Gao, Wanlin;Wang, Minjuan
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권1호
    • /
    • pp.131-146
    • /
    • 2021
  • Multimodal biometric-based recognition has been an active topic because of its higher convenience in recent years. Due to high user convenience of finger, finger-based personal identification has been widely used in practice. Hence, taking Finger-Print (FP), Finger-Vein (FV) and Finger-Knuckle-Print (FKP) as the ingredients of characteristic, their feature representation were helpful for improving the universality and reliability in identification. To usefully fuse the multimodal finger-features together, a new robust representation algorithm was proposed based on hierarchical model. Firstly, to obtain more robust features, the feature maps were obtained by Gabor magnitude feature coding and then described by Local Binary Pattern (LBP). Secondly, the LGBP-based feature maps were processed hierarchically in bottom-up mode by variable rectangle and circle granules, respectively. Finally, the intension of each granule was represented by Local-invariant Gray Features (LGFs) and called Hierarchical Local-Gabor-based Gray Invariant Features (HLGGIFs). Experiment results revealed that the proposed algorithm is capable of improving rotation variation of finger-pose, and achieving lower Equal Error Rate (EER) in our homemade database.

Empirical Study of Multimodal Transport Route Choice Model in Freight Transport between Korea and Mongolia

  • Ganbat, Enkhtsetseg;Kim, Hwan-Seong
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2015년도 추계학술대회
    • /
    • pp.241-242
    • /
    • 2015
  • According to globalization of world economy on distribution and sales, logistics and transportation parts are play important role. Especially, it important to know and study how to choose right transport route and which is the key factor of route choice model in multimodal transport system. Thus this study aims to consider 4 main factors: cost, delivery time, freight, and logistics service factors additionally dividing into 13 sub factors and object is forwarders between Mongolia and Korean freight transport. The survey is based on AHP through interview with company officials. The paper provides empirical insights about current status of Mongolian forwarders and difference of the important factors between transportation modes. Result shows that time factor is role factor to choose transport route and then cost factors. Additionally, this study shows 2 different route choose factors between air transport and shipping transport forwarders.

  • PDF

이미지와 PPG 데이터를 사용한 멀티모달 딥 러닝 기반의 운전자 졸음 감지 모델 (Driver Drowsiness Detection Model using Image and PPG data Based on Multimodal Deep Learning)

  • 최형탁;백문기;강재식;윤승원;이규철
    • 데이타베이스연구회지:데이타베이스연구
    • /
    • 제34권3호
    • /
    • pp.45-57
    • /
    • 2018
  • 주행 중에 발생하는 졸음은 큰 사고로 직결될 수 있는 매우 위험한 운전자 상태이다. 졸음을 방지하기 위하여 운전자의 상태를 파악하는 전통적인 졸음 감지 방법들이 존재하지만 운전자들이 가지는 개개인의 특성을 모두 반영한 일반화 된 운전자 상태 인식에는 한계가 있다. 최근에는 운전자의 상태를 인식하기 위한 딥 러닝기반의 상태인식 연구들이 제안되었다. 딥 러닝은 인간이 아닌 기계가 특징을 추출하여 보다 일반화된 인식모델을 도출할 수 있는 장점이 있다. 본 연구에서는 운전자의 상태를 파악하기 위해 이미지와 PPG를 동시에 학습하여 기존 딥 러닝 방식보다 정확한 상태 인식 모델을 제안한다. 본 논문은 운전자의 이미지와 PPG 데이터가 졸음 감지에 어떤 영향을 미치는지, 함께 사용되었을 때 학습 모델의 성능을 향상시키는지 실험을 통해 확인하였다. 이미지만을 사용했을 때 보다 이미지와 PPG를 함께 사용하였을 때 3%내외의 정확도 향상을 확인했다. 또한, 운전자의 상태를 세 가지로 분류하는 멀티모달 딥 러닝 기반의 모델을 96%의 분류 정확도를 보였다.