• The Journal of the Korea institute of electronic communication sciences
• /
• v.17 no.6
• /
• pp.1137-1144
• /
• 2022

In this study, an artificial intelligence(AI) was developed to help with facial expression practice in order to express emotions. The developed AI used multimodal inputs consisting of sentences and facial images for deep neural networks (DNNs). The DNNs calculated similarities between the emotions predicted by the sentences and the emotions predicted by facial images. The user practiced facial expressions based on the situation given by sentences, and the AI provided the user with numerical feedback based on the similarity between the emotion predicted by sentence and the emotion predicted by facial expression. ResNet34 structure was trained on FER2013 public data to predict emotions from facial images. To predict emotions in sentences, KoBERT model was trained in transfer learning manner using the conversational speech dataset for emotion classification opened to the public by AIHub. The DNN that predicts emotions from the facial images demonstrated 65% accuracy, which is comparable to human emotional classification ability. The DNN that predicts emotions from the sentences achieved 90% accuracy. The performance of the developed AI was evaluated through experiments with changing facial expressions in which an ordinary person was participated.

• Proceedings of the Korean Information Science Society Conference
• /
• 2011.06b
• /
• pp.216-219
• /
• 2011

인터넷 기술이 빠르게 발전하고 변화하여 현재는 많은 수의 컨텐츠와 프로그램 채널이 IP 네트워크를 통해 제공되면서 컨텐츠 서비스 사업자들은 좀 더 향상된 추천시스템이 필요하게 되었다. 그리고 사용자 참여중심의 인터넷 환경인 Web 2.0 시대가 도래하면서 사용자가 직접 생성한 정보들을 활용하는 다양한 연구가 진행되고 있다. 본 논문에서는 타겟 아이템에 대해 인터넷 상에 수많은 사용자들이 생성한 정보들을 ConceptNet을 활용하여 감정벡터를 추출하고 장르별로 분류하는 방법을 결합한 새로운 형태의 영화 추천시스템을 제안한다. 공개용 영화 데이터인 MovieLens 데이터 셋을 이용하여 실험하였고 성능평가는 RMSE 방법과 다양한 추천평가방법으로 기존 협업 필터링 추천시스템과 비교하였으며 실험 결과 기존방식보다 향상된 성능을 보였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2011.06a
• /
• pp.259-262
• /
• 2011

최근 들어 소리의 세기나 하모니, 템포, 리듬 등의 다양한 음악 신호 특성을 기반으로 한 음악 무드 분류에 대한 연구가 활발하게 진행되고 있다. 본 논문에서는 음악 무드 분류의 정확도를 높이기 위하여 음악 신호 특성과 더불어 노래 가사와 소셜 네트워크 상에서의 사용자 평가 등을 함께 고려하는 멀티 모달 음악 무드 분류 기법을 제안한다. 이를 위해, 우선 음악 신호 특성에 대해 퍼지 추론 기반의 음악 무드 추출 기법을 적용하여 다수의 가능한 음악 무드를 추출한다. 다음으로 음악 가사에 대해 TF-IDF 기법을 적용하여 대표 감정 키워드를 추출하고 학습시킨 가사 무드 분류기를 사용하여 가사 음악 무드를 추출한다. 마지막으로 소셜 네트워크 상에서의 사용자 태그 등 사용자 피드백을 통한 음악 무드를 추출한다. 특정 음악에 대해 이러한 다양한 경로를 통한 음악 무드를 교차 분석하여 최종적으로 음악 무드를 결정한다. 음악 분류를 기반한 자동 음악 추천을 수행하는 사용자 만족도 평가 실험을 통해서 제안하는 기법의 효율성을 검증한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.55-58
• /
• 2023

본 논문에서는 스마트 미러 사용자의 얼굴 인식, 표정 인식, 얼굴형 인식을 활용하여 감정에 적절한 멘트와 화장법을 제공하는 시스템의 개발 내용에 관해 기술한다. 이 시스템을 사용함으로써 사람들은 자신의 감정을 정확하게 인지할 뿐만 아니라 위로와 공감을 받을 수 있으며, 자신의 스타일에 적절한 화장법을 추천받을 수 있다. 스마트 미러를 통해, 사용자는 자기 이해도가 늘어나게 되어 스스로에게 더욱 집중할 수 있고 화장법을 찾는 시간이나 화장에 실패할 가능성이 줄어들어 시간과 비용을 절약할 수 있게 될 것이다.

• Annual Conference on Human and Language Technology
• /
• 2009.10a
• /
• pp.56-60
• /
• 2009

오늘날 인터넷은 개인의 감정, 의견을 서로 공유할 수 있는 공간이 되고 있다. 하지만 인터넷에는 너무나 방대한 문서가 존재하기 때문에 다른 사용자들의 감정, 의견 정보를 개인의 의사 결정에 활용하기가 쉽지 않다. 최근 들어 감정이나 의견을 자동으로 추출하기 위한 연구가 활발하게 진행되고 있으며, 감정 분석에 관한 기존 연구들은 대부분 어구의 극성(polarity) 정보가 있는 감정 사전을 사용하고 있다. 하지만 인터넷에는 나날이 신조어가 새로 생기고 언어 파괴 현상이 자주 일어나기 때문에 사전에 기반한 방법은 한계가 있다. 본 논문은 감정 분석 문제를 긍정과 부정으로 구분하는 이진 분류 문제로 본다. 이진 분류 문제에서 탁월한 성능을 보이는 Support Vector Machines(SVM)을 사용하며, 문서들 간의 유사도 계산을 위해 문장의 부분 문자열을 비교하는 문자열 커널을 사용한다. 실험 결과, 실제 영화평에서 제안된 모델이 비교 대상으로 삼은 Bag of Words(BOW) 모델보다 안정적인 성능을 보였다.

• 한국HCI학회:학술대회논문집
• /
• 2008.02a
• /
• pp.348-353
• /
• 2008

This paper proposes a novel touch interface for recognizing user's touch pattern and understanding emotional information by eliciting natural user interaction. To classify physical touches, we represent the similarity between touches by analyzing touches based on its dictionary meaning and design the algorithm to recognize various touch patterns in real time. Finally we suggest the methodology to estimate user's emotional state based on touch.

• Design Convergence Study
• /
• v.15 no.1
• /
• pp.233-246
• /
• 2016

Mobile health industry has been combined with IT technology and is attracting attention. The health application has been developed to provide users a healthy life style. First of all, 5 mobile health applications were selected and reviewed in terms of their service trend. It turned out that none of those applications had any emotional data but physical one. Secondly, to extract users' emotion, technological researches were sorted into different categories. And the result implied that text-based emotion recognition technology is the most suitable for the mobile health service. To implement the service, the application was designed and developed the process of emotion recognition system based on the contents of the research. One-dimension emotion model, which is the standard of classifying emotional data and social network service, was set up as a source. In last, to suggest the usage of health application has been combined with persuasive technology. As a result, this paper prospered a overall service process, concrete service scheme and a guidelines containing 15 services in accordance with the five emotions and time. It is expected to become a direction for indicators considering a psychological individual context.

• Annual Conference of KIPS
• /
• 2013.11a
• /
• pp.1452-1454
• /
• 2013

최근 스마트 기기와 SNS가 대중화가 되면서, 이를 기반으로 사용자의 감정 분석을 통한 추천 연구가 활발하게 진행되어 지고 있다. 본 논문에서는 감정표현단어 500여개와 이모티콘을 활용하여 감정 범주를 9가지로 분류하고, 트위터광장의 여러 유명인사 트위터 타임라인의 텍스트를 가져온 후, 감정상태 분석으로 감정 범주를 카운트 한다. 이를 통해, 한사람의 감정상태의 수치를 나타내고, 추후 음악, 음식, 문화 활동 등을 다양하게 추천할 수 있는 감정상태분석모듈을 설계 및 구현한다.

• Annual Conference of KIPS
• /
• 2015.04a
• /
• pp.108-111
• /
• 2015

아직까지도 도서 구매자의 대다수는 도서를 구매할 시 오프라인 서점을 이용하며, 외부 의견은 도서 구매 결정에 커다란 영향을 마치는 것으로 나타났다. 이에 따라 대표적 외부 의견인 도서의 리뷰를 가공 분석하여 제공하는 모바일 기반의 시스템의 필요성이 대두되었다. 하지만 현재 마켓에 등록된 애플리케이션의 대다수는 도서에 대한 사용자의 리뷰를 제공하지 않거나 분류 분석되지 않은 상태의 리뷰를 제공한다. 따라서 본 논문에서는 각 도서의 리뷰를 수집하여 리뷰의 긍정 부정적 감정 추이를 분석하고 그 결과를 리뷰 핵심어에 따라 분류된 도서 평가 기준 별로 제공하며 이를 통해 사용자의 도서 구매 결정과 여러 도서간의 도서 선택에 도움을 줄 수 있는 모바일 애플리케이션을 설계하였다.

• Proceedings of the Korea Contents Association Conference
• /
• 2012.05a
• /
• pp.3-4
• /
• 2012

사용자 중심의 man machine interface 기술의 발전은 사용자 인터페이스 기술과 인간공학의 접목으로 인하여 많은 진전이 있으며 계속 진행되고 있다. 근래의 정보전달은 사운드와 텍스트 또는 영상을 통하여 이루어지고 있으나, 감성적인 측면에서의 정보전달에 관한 연구는 활발하지 못한 실정이다. 특히, Human Computer Interaction분야에서 음성이나 표정의 전달에 관한 감성연구는 초기단계로 이모티콘이나 플래쉬콘 등이 감정전달을 위하여 사용되고 있으나 부자연스럽고 기계적인 실정이다. 본 연구는 사용자와 상호작용에서 컴퓨터 또는 응용소프트웨어 등이 자신의 가상객체(Software Robot, Sobot)를 활용하여 인간친화적인 상호작용을 제공하기위한 기반연구로써 한글에서 감성어를 추출하여 분류하고 처리하는 기술을 개발하여 컴퓨터가 전달하고자하는 정보에 인공감정을 이입시켜 사용자들의 감성만족도를 향상시키는데 적용하고자한다.