• Journal of Information Processing Systems
• /
• 제17권4호
• /
• pp.754-771
• /
• 2021

In the task of continuous dimension emotion recognition, the parts that highlight the emotional expression are not the same in each mode, and the influences of different modes on the emotional state is also different. Therefore, this paper studies the fusion of the two most important modes in emotional recognition (voice and visual expression), and proposes a two-mode dual-modal emotion recognition method combined with the attention mechanism of the improved AlexNet network. After a simple preprocessing of the audio signal and the video signal, respectively, the first step is to use the prior knowledge to realize the extraction of audio characteristics. Then, facial expression features are extracted by the improved AlexNet network. Finally, the multimodal attention mechanism is used to fuse facial expression features and audio features, and the improved loss function is used to optimize the modal missing problem, so as to improve the robustness of the model and the performance of emotion recognition. The experimental results show that the concordance coefficient of the proposed model in the two dimensions of arousal and valence (concordance correlation coefficient) were 0.729 and 0.718, respectively, which are superior to several comparative algorithms.

• 한국과학교육학회지
• /
• 제34권6호
• /
• pp.583-592
• /
• 2014

이 연구는 글쓰기를 활용한 논의-기반 모델링 전략이 학생들의 모델링 능력에 미치는 영향을 알아보는 것을 목적으로 하였다. 또한 논의-기반 모델링 전략에서 다중표상의 적용여부가 학생들의 모델링 능력에 미치는 효과를 비교하였다. 이를 위해 남녀공학 중학교 1학년 세 개 학급(66명) 중 두 개 학급(43명)은 실험집단으로, 한 개 학급(23명)은 비교집단으로 선정하였다. 논의-기반 모델링 전략을 적용한 두 개 실험집단 중에서 한 개 학급은 AbRM집단(Argument-based multimodal Representation and Modeling, 논의-기반 다중표상 및 모델링 집단, 22명), 다른 한 개 학급은 AbM집단(Argument-based Modeling, 논의-기반 모델링 집단, 21명), 나머지 한 개 학급은 비교집단(23명)으로 선정하였다. 논의-기반 모델링 전략은 인지 과정, 해석 과정, 적용과정으로 구성되어 있다. 실험집단은 논의-기반 모델링 전략의 인지과정과 해석 과정을 공통적으로 수행하고 적용 과정에서 차이를 두었다. AbRM집단은 논의-기반 다중표상 및 모델링을 적용하였고, AbM 집단은 논의-기반 모델링을 적용했으며, 비교집단은 전통적 수업방식을 적용하였다. 논의-기반 모델링 전략이 학생들의 모델링 능력에 미치는 영향을 분석한 결과, AbRM집단의 경우 통합적 모델링 수준에서 다른 두 집단보다 통계적으로 유의미하게 높았고, AbM집단은 비교집단보다 유의미하게 높았다. 모델링 능력 검사의 하위요소인 문제인식, 과학개념 구조화, 주장-증거 적절성, 다중표상 지수에서 AbRM집단의 경우 모든 하위요소에서 AbM집단과 비교집단 보다 통계적으로 유의미하게 높았으며, 그 다음으로 AbM집단이 비교집단 보다 통계적으로 유의미하게 높았다. 이러한 결과로부터 논의-기반 모델링 전략은 모델링의 목적인 의사소통을 위해 자신이 만든 모델을 논의와 글쓰기를 통해 과학적 언어를 사용하여 스스로 정리하거나 표현하고, 다른 사람의 의견을 듣고 교환하는 과정을 통해 모델을 평가하고 수정하는 일련의 과정을 통해서 학생들의 모델링 능력의 향상에 효과적임을 보여주었다.

• Communications for Statistical Applications and Methods
• /
• 제14권3호
• /
• pp.517-530
• /
• 2007

We studied a modelling process for unimodal and multimodal circular data by using von Mises and its mixture distribution. In particular we suggested EM algorithm to find ML estimates of the mixture model. Simulation results showed the suggested methods are very accurate. Applications to two kinds of real data sets are also included.

• 지능정보연구
• /
• 제25권1호
• /
• pp.163-177
• /
• 2019

스마트폰이 널리 보급되고 현대인들의 생활 속에 깊이 자리 잡으면서, 스마트폰에서 수집된 다종 데이터를 바탕으로 사용자 개인의 행동을 인식하고자 하는 연구가 활발히 진행되고 있다. 그러나 타인과의 상호작용 행동 인식에 대한 연구는 아직까지 상대적으로 미진하였다. 기존 상호작용 행동 인식 연구에서는 오디오, 블루투스, 와이파이 등의 데이터를 사용하였으나, 이들은 사용자 사생활 침해 가능성이 높으며 단시간 내에 충분한 양의 데이터를 수집하기 어렵다는 한계가 있다. 반면 가속도, 자기장, 자이로스코프 등의 물리 센서의 경우 사생활 침해 가능성이 낮으며 단시간 내에 충분한 양의 데이터를 수집할 수 있다. 본 연구에서는 이러한 점에 주목하여, 스마트폰 상의 다종 물리 센서 데이터만을 활용, 딥러닝 모델에 기반을 둔 사용자의 동행 상태 인식 방법론을 제안한다. 사용자의 동행 여부 및 대화 여부를 분류하는 동행 상태 분류 모델은 컨볼루션 신경망과 장단기 기억 순환 신경망이 혼합된 구조를 지닌다. 먼저 스마트폰의 다종 물리 센서에서 수집한 데이터에 존재하는 타임 스태프의 차이를 상쇄하고, 정규화를 수행하여 시간에 따른 시퀀스 데이터 형태로 변환함으로써 동행 상태분류 모델의 입력 데이터를 생성한다. 이는 컨볼루션 신경망에 입력되며, 데이터의 시간적 국부 의존성이 반영된 요인 지도를 출력한다. 장단기 기억 순환 신경망은 요인 지도를 입력받아 시간에 따른 순차적 연관 관계를 학습하며, 동행 상태 분류를 위한 요인을 추출하고 소프트맥스 분류기에서 이에 기반한 최종적인 분류를 수행한다. 자체 제작한 스마트폰 애플리케이션을 배포하여 실험 데이터를 수집하였으며, 이를 활용하여 제안한 방법론을 평가하였다. 최적의 파라미터를 설정하여 동행 상태 분류 모델을 학습하고 평가한 결과, 동행 여부와 대화 여부를 각각 98.74%, 98.83%의 높은 정확도로 분류하였다.

• 지능정보연구
• /
• 제29권1호
• /
• pp.203-214
• /
• 2023

우리나라 관세청은 효과적인 원스톱(One-stop) 업무 처리가 가능한 전자통관 시스템으로 효율적으로 업무처리를 하고 있지만 기술의 발달과 비대면 서비스의 증가로 매년 수출입건수가 증가하고 있으며 그에 따른 업무량도 폭증하고 있는 실정으로 이에 따른 보다 효과적인 방법이 매우 필요하다. 수입과 수출은 모든 물품에 대한 분류 및 세율 적용을 위한 HS Code(Harmonized system code)가 필요하고 해당 HS Code를 분류하는 품목 분류는 전문지식과 경험이 필요한 업무 난이도가 높고 관세 통관절차에서 중요한 부분이다. 이에 본 연구는 품목 분류 의뢰서의 물품명, 물품상세설명, 물품 이미지 등의 다양한 유형의 데이터 정보를 활용하여 멀티모달 표현 학습(Multimodal representation learning) 기반으로 정보를 잘 반영할 수 있도록 딥러닝 모델을 학습 및 구축하여 HS Code를 분류 및 추천해 줌으로써 관세 업무 부담을 줄이고 신속한 품목 분류를 하여 통관절차에 도움을 줄 것으로 기대한다.

• International Journal of Advanced Culture Technology
• /
• 제11권4호
• /
• pp.442-448
• /
• 2023

Artificial Intelligence (AI) technology has recently grown explosively and is being used in a variety of application fields. Accordingly, the number of AI models is rapidly increasing. AI models are adapted and developed to fit a variety of data types, tasks, and environments, and the variety and volume of models continues to grow. The need to share models and collaborate within the AI community is becoming increasingly important. Collaboration is essential for AI models to be shared and improved publicly and used in a variety of applications. Therefore, with the advancement of AI, the introduction of Model Hub has become more important, improving the sharing, reuse, and collaboration of AI models and increasing the utilization of AI technology. In this paper, we collect data on the model hub and analyze the characteristics of the model hub and the AI models provided. The results of this research can be of great help in developing various multimodal AI models in the future, utilizing AI models in various fields, and building services by fusing various AI models.

• 융합정보논문지
• /
• 제7권6호
• /
• pp.113-121
• /
• 2017

IT 기술의 발달로 유해 멀티미디어가 무분별하게 유포되고 있다. 또한 선정적, 폭력적 유해 콘텐츠는 청소년에게 약 영향을 끼친다. 따라서 본 논문에서는 선정성, 폭력성이 드러나는 영상 콘텐츠 차단을 위한 다중 기법을 제안한다. 다중 기법 내에는 선정성, 폭력성을 검출하는 두 가지 모듈이 있다. 선정성 검출 모듈 내에는 성인 점수와 외설점수를 기반으로 선정성을 검출하는 모델이 있다. 폭력성 검출을 위한 모듈 내에는 RGB 영역을 이용한 피 검출 모델과 폭력적인 움직임은 방향과 크기 변화가 크다는 것에 착안한 움직임 추출 모델 두 가지가 있다. 이와 같은 총 세가지 모델의 검출 결과에 따라 해당 콘텐츠의 유해 여부를 판단한다. 본 논문의 유해 콘텐츠 차단 다중 기법은 무분별하게 유포되는 선정적, 폭력적 유해 콘텐츠를 차단한다.

• 한국콘텐츠학회논문지
• /
• 제22권1호
• /
• pp.138-147
• /
• 2022

최근 챗봇이 다양한 분야에 적용되어 좋은 성과를 보이면서 쇼핑몰 상품 추천 서비스에도 챗봇을 활용하려는 시도가 많은 이커머스 플랫폼에서 진행되고 있다. 본 논문에서는 사용자와 시스템간의 대화와 패션 이미지 정보에 기반해 사용자가 원하는 패션을 추천하는 챗봇 대화시스템을 위해, 최근 자연어처리, 음성인식, 이미지 인식 등의 다양한 AI 분야에서 좋은 성능을 내고 있는 트랜스포머 모델에 대화 (텍스트) 와 패션 (이미지) 정보를 같이 사용하여 추천의 정확도를 높일 수 있도록 개선한 멀티모달 기반 개선된 트랜스포머 모델을 제안하며, 데이터 전처리(Data preprocessing) 및 학습 데이터 표현(Data Representation)에 대한 분석을 진행하여 데이터 개선을 통한 정확도 향상 방법도 제안한다. 제안 시스템은 추천 정확도는 0.6563 WKT(Weighted Kendall's tau)으로 기존 시스템의 0.3372 WKT를 0.3191 WKT 이상 크게 향상시켰다.

• Journal of information and communication convergence engineering
• /
• 제20권3호
• /
• pp.174-180
• /
• 2022

Emotion recognition is an essential component of complete interaction between human and machine. The issues related to emotion recognition are a result of the different types of emotions expressed in several forms such as visual, sound, and physiological signal. Recent advancements in the field show that combined modalities, such as visual, voice and electroencephalography signals, lead to better result compared to the use of single modalities separately. Previous studies have explored the use of multiple modalities for accurate predictions of emotion; however the number of studies regarding real-time implementation is limited because of the difficulty in simultaneously implementing multiple modalities of emotion recognition. In this study, we proposed an emotion recognition system for real-time emotion recognition implementation. Our model was built with a multithreading block that enables the implementation of each modality using separate threads for continuous synchronization. First, we separately achieved emotion recognition for each modality before enabling the use of the multithreaded system. To verify the correctness of the results, we compared the performance accuracy of unimodal and multimodal emotion recognitions in real-time. The experimental results showed real-time user emotion recognition of the proposed model. In addition, the effectiveness of the multimodalities for emotion recognition was observed. Our multimodal model was able to obtain an accuracy of 80.1% as compared to the unimodality, which obtained accuracies of 70.9, 54.3, and 63.1%.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 춘계학술대회
• /
• pp.416-418
• /
• 2022

신경교종(glioma)은 신경교세포에서 발생하는 뇌 종양으로 low grade glioma와 예후가 나쁜 high grade glioma로 분류된다. 자기공명영상(magnetic Resonance Imaging, MRI)은 비침습적 수단으로 이를 이용한 신경교종 진단에 대한 연구가 활발히 진행되고 있다. 또한, 단일 modality의 정보 한계를 극복하기 위해 다중 modality를 조합하여 상호 보완적인 정보를 얻는 연구도 진행되고 있다. 본 논문은 네가지 modality(T1, T1Gd, T2, T2-FLAIR)의 MRI 영상에 입력단 fusion을 적용한 3D CNN 기반의 모델을 제안한다. 학습된 모델은 검증 데이터에 대해 정확도 0.8926, 민감도 0.9688, 특이도 0.6400, AUC 0.9467의 분류 성능을 보였다. 이를 통해 여러 modality 간의 상호관계를 학습하여 신경교종의 등급을 효과적으로 분류함을 확인하였다.