• 정보처리학회 논문지
• /
• 제13권4호
• /
• pp.174-180
• /
• 2024

본 논문에서는 wav2vec 2.0과 KcELECTRA 모델을 활용하여 멀티모달 학습을 통한 감정 분류 방법을 탐색한다. 음성 데이터와 텍스트 데이터를 함께 활용하는 멀티모달 학습이 음성만을 활용하는 방법에 비해 감정 분류 성능을 유의미하게 향상시킬 수 있음이 알려져 있다. 본 연구는 자연어 처리 분야에서 우수한 성능을 보인 BERT 및 BERT 파생 모델들을 비교 분석하여 텍스트 데이터의 효과적인 특징 추출을 위한 최적의 모델을 선정하여 텍스트 처리 모델로 활용한다. 그 결과 KcELECTRA 모델이 감정 분류 작업에서 뛰어난 성능이 보임을 확인하였다. 또한, AI-Hub에 공개되어 있는 데이터 세트를 활용한 실험을 통해 텍스트 데이터를 함께 활용하면 음성 데이터만 사용할 때보다 더 적은 양의 데이터로도 더 우수한 성능을 달성할 수 있음을 발견하였다. 실험을 통해 KcELECTRA 모델을 활용한 경우가 정확도 96.57%로 가장 우수한 성능을 보였다. 이는 멀티모달 학습이 감정 분류와 같은 복잡한 자연어 처리 작업에서 의미 있는 성능 개선을 제공할 수 있음을 보여준다.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제5권2호
• /
• pp.157-163
• /
• 2005

In this paper, we present the multimodal system based on the fusion of two user-friendly biometric modalities: Iris and Face. In order to reach robust identification and verification we are going to combine two different biometric features. we specifically apply 2-D discrete wavelet transform to extract the feature sets of low dimensionality from iris and face. And then to obtain Reduced Joint Feature Vector(RJFV) from these feature sets, Direct Linear Discriminant Analysis (DLDA) is used in our multimodal system. In addition, the Synergetic Neural Network(SNN) is used to obtain matching score of the preprocessed data. This system can operate in two modes: to identify a particular person or to verify a person's claimed identity. Our results for both cases show that the proposed method leads to a reliable person authentication system.

• 대한화학회지
• /
• 제61권4호
• /
• pp.211-217
• /
• 2017

The purpose of this study was to examine UK students' use of multimodal representations in science. Students were asked to explain their understandings of the scientific concept and presentation of the multimodal representations in a science Assessing Pupils' Progress (APP) task. Participants of this study were fifty-four Year 7 students taught by the same teacher. Students from one class (27 students) were assigned to the experimental group, and then they received instruction encouraging the using of multimodal representations as evidences to support students' claims. One class (27 students) was assigned to the control group and they received instruction with traditional teaching methods. Both groups performed an APP task for assessment. The samples of APP assessments produced by students both from the experimental and control groups were analyzed using an analysis framework of multimodal representations, embeddedness in evidence and understanding of scientific concepts. Data analysis indicated that the students in the experimental group performed better than that of the control group on embeddedness of multimodal representations in the APP task. In addition, there was a significant difference between the two groups in the evaluation of understand of the scientific concepts.

• Journal of Animal Science and Technology
• /
• 제63권6호
• /
• pp.1443-1452
• /
• 2021

This study aimed to investigate the effects of the multimodal group intervention that combined animal-assisted therapy (AAT) and integrated play therapy (IPT) on depression and self-esteem in undergraduate university students. The subjects were 40 students attending animal-related and social welfare departments of universities located in a metropolitan city. The multimodal intervention program was conducted for eight sessions (twice a week, 60 min each) in the experimental group. Data analysis was conducted using the independent sample t-test, ANCOVA, and paired sample t-test for pre- and post-test. Therefore, the multimodal intervention program applying AAT and IPT showed positive effects on depression and self-esteem in university students. Based on these results, this study proposed the operation of multidisciplinary education and practical and policy utilization methods to reduce depression among university students and help improve their self-esteem.

• 대한화학회지
• /
• 제56권4호
• /
• pp.500-508
• /
• 2012

이 연구의 목적은 다중 표상 수업이 고등학생들의 글쓰기에서 나타난 다중 표상의 내재성에 미치는 영향을 알아보기 위한 것이다. 이 연구는 광역시에 위치한 고등학교 자연계열 2학년 2개 학급 학생 74명을 대상으로 수행하였으며, 2개 학급 중 1개 학급 41명을 실험집단으로, 다른 1개 학급 33명을 비교집단으로 선정하였다. 실험집단에는 2차시의 다중 표상 수업과 7가지 주제에 대한 전통적인 방식의 수업을 처치하였고, 비교집단에는 다중 표상 수업을 제외하고 실험집단과 동일하게 수업을 진행하였다. 학생들이 작성한 Summary Writing의 분석 결과, 다중 표상의 내재성에 대한 실험집단의 평균이 비교집단에 비해 통계적으로 유의미하게 높은 것으로 나타났다.

• 한국항해항만학회:학술대회논문집
• /
• 한국항해항만학회 2004년도 춘계학술대회 논문집
• /
• pp.421-426
• /
• 2004

다국적기업의 증가는 물류환경을 국제복합운송체계로 이끌고 있다. 기반시설이 잘 갖추어진 유럽의 경우에는 제2의 실크로드를 개발하기위한 노력이 끊임없이 행해지고 있다. 본 논문에서는 국제복합운송의 중요성에 대해 설명하고, 유럽 복합운송 체계에 대한 분석을 통해 국내 및 동북아 복합운송체계를 제안한다. 이를 위해 유럽 복합운송 사례를 분석하고 TAR의 북부 노선을 통해 한반도 남단을 기점으로 하는 노선의 경제적 효과와 이를 철도와 항만 및 공항으로 연결하는 복합운송 모델을 개발한다. 실질적으로 본 연구의 실효성을 증명할 수치적 근거가 부족하나, 본 논문에서는 기존에 제시되지 않았던 구체적인 복합운송 모델을 개발 및 제안함으로써, ESCAP에서 수행하게 될 시범 컨테이너 전용열차 운행 프로젝트를 통해 노선별 거리, 시간, 비용, 세금, 통관절차, 환적시설 등의 정보를 차후 경제성평가 연구에 활용할 수 있을 것으로 기대한다.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제6권4호
• /
• pp.304-313
• /
• 2006

This paper describes a novel way of applying capacitive sensing technology to a mobile user interface. The key idea is to use grip-pattern, which is naturally produced when a user tries to use the mobile device, as a clue to determine an application to be launched. To this end, a capacitive touch sensing system is carefully designed and installed underneath the housing of the mobile device to capture the information of the user's grip-pattern. The captured data is then recognized by dedicated recognition algorithms. The feasibility of the proposed user interface system is thoroughly evaluated with various recognition tests.

• ETRI Journal
• /
• 제44권3호
• /
• pp.426-437
• /
• 2022

To understand the multilateral characteristics of human behavior and physiological markers related to physical, emotional, and environmental states, extensive lifelog data collection in a real-world environment is essential. Here, we propose a data collection method using multimodal mobile sensing and present a long-term dataset from 22 subjects and 616 days of experimental sessions. The dataset contains over 10 000 hours of data, including physiological, data such as photoplethysmography, electrodermal activity, and skin temperature in addition to the multivariate behavioral data. Furthermore, it consists of 10 372 user labels with emotional states and 590 days of sleep quality data. To demonstrate feasibility, human activity recognition was applied on the sensor data using a convolutional neural network-based deep learning model with 92.78% recognition accuracy. From the activity recognition result, we extracted the daily behavior pattern and discovered five representative models by applying spectral clustering. This demonstrates that the dataset contributed toward understanding human behavior using multimodal data accumulated throughout daily lives under natural conditions.

• 한국전자통신학회논문지
• /
• 제14권1호
• /
• pp.69-80
• /
• 2019

본 논문은 PnP(plug and play) 기술을 지원하는 멀티모달 센서 플랫폼을 제안하였다. PnP 기술은 센서 모듈이 연결이 되면 자동으로 인식하여 응용프로그램을 사용하여 손쉬운 센서 제어를 제공한다. 멀티모달 플랫폼을 검증하기 위해, 펌웨어를 사용하여 센서를 실험하였다. 센서 모듈이 연결되면 펌웨어는 센서 모듈을 인지하여 센서 데이터를 읽는다. 따라서, PnP 기술 지원을 통해 소프트웨어 설정 없이 자동으로 센서를 연동할 수 있게 된다. 측정한 센서 데이터는 다양한 왜곡에 의해 오류를 가지고 있다. 따라서, 본 논문은 다항식 계산을 통해 센서의 오류를 보상하고자 한다. 다항식 보상기의 계수를 찾기 위해 유전자 알고리즘 방식을 사용하였다. 실험결과 악조건에서 97%의 오류를 제거하였다. 또한, 제안하는 플랫폼은 다양한 프로토콜의 센서를 지원하기 위해 UART, I2S, I2C, SPI, GPIO를 지원한다.

• 한국철도학회:학술대회논문집
• /
• 한국철도학회 2011년도 정기총회 및 추계학술대회 논문집
• /
• pp.607-613
• /
• 2011

This paper reviews search methods of multiple reasonable paths to implement multimodal public transportation network of Seoul. Such a large scale multimodal public transportation network as Seoul, the computation time of path finding algorithm is a key and the result of path should reflect route choice behavior of public transportation passengers. Search method of alternative path is divided by removing path method and deviation path method. It analyzes previous researches based on the complexity of algorithm for large-scale network. Applying path finding algorithm in public transportation network, transfer and loop constraints must be included to be able to reflect real behavior. It constructs the generalized cost function based on the smart card data to reflect travel behavior of public transportation. To validate the availability of algorithm, experiments conducted with Seoul metropolitan public multimodal transportation network consisted with 22,109 nodes and 215,859 links by using the deviation path method, suitable for large-scale network.