• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.35-37
• /
• 2019

최근 딥 러닝의 급격한 발전과 함께 얼굴표정인식 기술이 상당한 진보를 이루었다. 그러나 기존 얼굴표정인식 기법들은 제한된 환경에서 취득한 인위적인 동영상에 대해 주로 개발되었기 때문에 실제 wild 한 환경에서 취득한 동영상에 대해 강인하게 동작하지 않을 수 있다. 이런 문제를 해결하기 위해 3D CNN, 2D CNN 그리고 RNN 의 새로운 결합으로 이루어진 Deep neural network 구조를 제안한다. 제안 네트워크는 주어진 동영상으로부터 두 가지 서로 다른 CNN 을 통해서 영상 내 공간적 정보뿐만 아니라 시간적 정보를 담고 있는 특징 벡터를 추출할 수 있다. 그 다음, RNN 이 시간 도메인 학습을 수행할 뿐만 아니라 상기 네트워크들에서 추출된 특징 벡터들을 융합한다. 상기 기술들이 유기적으로 연동하는 제안된 네트워크는 대표적인 wild 한 공인 데이터세트인 AFEW 로 실험한 결과 49.6%의 정확도로 종래 기법 대비 향상된 성능을 보인다.

• 한국정보통신학회논문지
• /
• 제23권11호
• /
• pp.1482-1484
• /
• 2019

We present a method for transmitting 3D object information in real time in a telepresence system. Three-dimensional object information consists of a large amount of point cloud data, which requires high performance computing power and ultra-wideband network transmission environment to process and transmit such a large amount of data in real time. In this paper, multiple users can transmit object motion and facial expression information in real time even in small network bands by using GANs (Generative Adversarial Networks), a non-supervised learning machine learning algorithm, for real-time transmission of 3D point cloud data. In particular, we propose the creation of an object similar to the original using only the feature information of 3D objects using conditional GANs.

• 한국정보통신학회논문지
• /
• 제26권8호
• /
• pp.1255-1258
• /
• 2022

Recently, immersive VR/AR contents have actively increased, and various services related to VR/AR allow users to experience remote places. For example, if failure situations occur frequently in factory of the remote site, mixed reality (MR) with a synthetic virtual human expert in reconstructed remote location can help immediate maintenance task with interaction between the operator and the virtual expert. In this paper, we present a technique for synthesizing the virtual human after capturing a 360-degree panorama of a remote environment, and analyze the effects to apply a method of guiding virtual human by interaction types. According to this paper, it was shown that co-presence level significantly increased when verbal, facial expression, and non-verbal animation of the virtual human was all expressed.

• International Journal of Internet, Broadcasting and Communication
• /
• 제14권1호
• /
• pp.142-151
• /
• 2022

In this paper, a model combined with explanatory artificial intelligence (xAI) models was presented to secure the reliability of machine learning-based sentiment analysis and prediction. The applicability of the proposed model was tested and described using the IMDB dataset. This approach has an advantage in that it can explain how the data affects the prediction results of the model from various perspectives. In various applications of sentiment analysis such as recommendation system, emotion analysis through facial expression recognition, and opinion analysis, it is possible to gain trust from users of the system by presenting more specific and evidence-based analysis results to users.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 춘계학술발표대회
• /
• pp.655-657
• /
• 2022

본 논문은 유튜브에 업로드 된 운동 영상을 시청하는 사람의 얼굴 영역을 YoloV3을 이용하여 얼굴 영상에서 눈 및 입술영역을 검출하는 방법을 연구하여, YoloV3은 딥 러닝을 이용한 물체 검출 방법으로 기존의 특징 기반 방법에 비해 성능이 우수한 것으로 알려져 있다. 본 논문에서는 영상을 다차원적으로 분리하고 클래스 확률(Class Probability)을 적용하여 하나의 회귀 문제로 접근한다. 영상의 1 frame을 입력 이미지로 CNN을 통해 텐서(Tensor)의 그리드로 나누고, 각 구간에 따라 객체인 경계 박스와 클래스 확률을 생성해 해당 구역의 눈과 입을 검출한다. 검출된 이미지 감성 분석을 통해, 운동 영상 중 하이라이트 부분을 자동으로 선별하는 시스템을 설계하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.232-234
• /
• 2021

최근 휴먼-컴퓨터 인터페이스, 가상현식, 증강현실, 지능형 자동차등에서 얼굴표정 인식에 대한 연구가 활발히 진행되고 있다. 얼굴표정인식 연구는 대부분 맨얼굴을 대상으로 하고 있지만 최근 코로나-19로 인해 마스크 착용한 사람들이 많아지면서, 마스크를 착용했을 때의 표정인식에 대한 필요성이 증가하고 있다. 본 논문은 마스크를 착용했을 때에도 실시간으로 표정 분류가 가능한 시스템개발을 목표로 구동에 필요한 알고리즘을 조사했고, 그 중 Tiny-YOLOv3와 ResNet50 알고리즘을 이용하기로 했다. 얼굴과 표정 데이터셋 등에서 모은 이미지 데이터를 사용하여 실행해 보고 그 적절성 및 성능에 대해 평가해 보았다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제63차 동계학술대회논문집 29권1호
• /
• pp.33-36
• /
• 2021

본 논문에서는 인간의 표정과 목소리를 기반으로 한 감정 분석기를 제안한다. 제안하는 분석기들은 수많은 인간의 표정 중 뚜렷한 특징을 가진 표정 7가지를 별도의 클래스로 구성하며, DNN 모델을 수정하여 사용하였다. 또한, 음성 데이터는 학습 데이터 증식을 위한 Data Augmentation을 하였으며, 학습 도중 과적합을 방지하기 위해 콜백 함수를 사용하여 가장 최적의 성능에 도달했을 때, Early-stop 되도록 설정했다. 제안하는 표정 감정 분석 모델의 학습 결과는 val loss값이 0.94, val accuracy 값은 0.66이고, 음성 감정 분석 모델의 학습 결과는 val loss 결과값이 0.89, val accuracy 값은 0.65로, OpenCV 라이브러리를 사용한 모델 테스트는 안정적인 결과를 도출하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 춘계학술대회
• /
• pp.701-703
• /
• 2022

본 논문에서는 지도 학습에 기반을 둔 다중 클래스 이미지 장면 분류 방법을 제시한다. 데이터 세트에서 콘볼루션 뉴런 네트워크 모델에 학습시켜 다중 클래스 사람의 표정 장면 이미지를 분류하였으며, 실험에서는 최적화된 CNN 모델을 Google image 데이터 세트에 분류하여 유의미한 결과를 얻을 수 있었다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제67차 동계학술대회논문집 31권1호
• /
• pp.365-368
• /
• 2023

본 논문에서는 타블렛을 이용해 사용자로부터 주름 스케치를 입력받아 피부 패턴을 고려한 사실적인 얼굴 주름을 생성 할 수 있는 인터페이스를 제안한다. 주름을 생성하고 싶은 모델의 normal map에 간단한 스케치를 하면 해당 모델의 피부 패턴을 고려해 스케치를 주름으로 생성해준다. 또한, 얼굴 부위별 주름 형태를 분석하여 부위별 생성되는 주름의 형태가 다르고, 나이 설정을 통해 나이에 맞는 잔주름 및 주름 형태를 변형 한다. 본 논문에서 제안하는 방법을 이용한 주름 생성 방식은 주름에 대한 자세한 지식이 없는 사용자라도 간단한 스케치만 한다면 자동 계산을 통해 실시간으로 주름을 생성해주며, 얼굴 패턴에 따른 사실적인 주름이 생성되는 결과를 보여준다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2008년도 추계학술발표대회
• /
• pp.649-651
• /
• 2008

상황인식 컴퓨팅 기술은 넓게 보면 유비쿼터스 컴퓨팅 기술의 일부분으로 볼 수 있다. 그러나 상황인식 컴퓨팅 기술의 적용측면에 대한 접근 방법이 유비쿼터스 컴퓨팅과는 다르다고 할 수 있다. 지금까지 연구된 상황인식 컴퓨팅 기술은 지정된 공간에서 상황을 발생시키는 객체를 식별하는 일과 식별된 객체가 발생하는 상황의 인식에 주된 초점을 두고 있다. 또한, 상황정보로는 객체의 위치 정보만을 주로 사용하고 있다. 그러나 본 논문에서는 객체의 얼굴표정을 상황정보로 사용하여 감성을 인식할 수 있는 상황인식 미들웨어로서 CM-FEIP의 구조를 제안한다. CM-FEIP의 가상공간 모델링은 상황 모델링과 서비스 모델링으로 구성된다. 또한, 얼굴표정의 인식기술을 기반으로 온톨로지를 구축하여 객체의 감성을 인식한다. 객체의 얼굴표정을 상황정보로 사용하고, 무표정일 경우에는 여러 가지 환경정보(온도, 습도, 날씨 등)를 이용한다. 온톨로지를 구축하기 위하여 OWL 언어를 사용하여 객체의 감성을 표현하고, 감성추론 엔진은 Jena를 사용한다.