• 정보과학회 논문지
• /
• 제42권11호
• /
• pp.1459-1466
• /
• 2015

잠금화면은 현대인들이 모바일 플랫폼에서 가장 자주 대면하는 인터페이스 중 하나이다. 조사에 따르면 스마트폰 사용자들은 일일 평균 150번 잠금해제를 수행하지만[1], 패턴인식, 비밀번호와 같은 잠금화면 인터페이스등은 보안 및 인증의 목적을 제외하곤 별 다른 이익을 제공하지 못하는 것이 현 실정이다. 본 논문에서는 보안용도의 기존 잠금화면을 전방 카메라를 활용한 얼굴 및 표정인식 어플리케이션으로 대체하여 표정 데이터를 수집한 뒤 실시간 표정 및 감정 변화 피드백을 제공하는 인터페이스를 제시한다. 본 연구에선 Quantified Lockscreen 어플리케이션을 통한 실험을 통해 1) 잠금화면을 활용한 비침습적인 인터페이스를 통해 연속적인 표정데이터 획득과 감정패턴을 분석할 수 있는 것을 검증했으며 2) 개인화된 학습 및 분석으로 표정인식 및 감정 검출의 정확도를 개선하였으며 3) 표정으로부터 추론된 감정 데이터의 타당성을 강화하기 위한 양괄식 검증기법을 도입하여 감정 검출의 다중채널 및 다중입력 방법론의 가능성을 확인하였다.

• 한국지능시스템학회논문지
• /
• 제19권5호
• /
• pp.667-673
• /
• 2009

본 논문에서는 전처리 기반 히스토그램 거리측정에 의한 효율적인 얼굴표정 인식기법을 제안하였다. 여기서 전처리는 중심이동과 히스토그램 평활화에 의해 인식성능을 개선하기 위함이고, 히스토그램 사이의 거리측정은 영상 상호간의 유사도를 측정하기 위함이다. 특히 중심이동은 1차 모멘트 평형에 기반을 둔 것으로 불필요한 배경을 제거시켜 위치나 크기 변화에 강건한 인식을 위함뿐만 아니라 거리의 측정부하를 줄이기 위함이다. 히스토그램 평활화는 조명의 세기에 의한 영상의 명암대비 감소에 강건한 인식을 위함이다. 제안된 기법을 320*243 픽셀의 72개(4명*18장) 표정얼굴을 대상으로 히스토그램 사이의 유사도 측정을 위해서 city-block, Euclidean, 그리고 ordinal 거리를 각각 이용하였다. 실험결과, 제안된 기법은 중심이동 및 히스토그램 평활화의 전처리를 거치지 않는 기법보다 우수한 인식성능이 있으며, ordinal 거리가 가장 높은 인식성능이 있음을 확인하였다.

• 전기전자학회논문지
• /
• 제26권3호
• /
• pp.430-436
• /
• 2022

본 논문에서는 다중 체온 감지용 지능형 카메라를 제안한다. 제안하는 카메라는 광학(4056*3040) 및 열화상(640*480) 2종의 카메라로 구성되고 획득된 영상으로부터 사람의 표정 및 체온을 분석하여 이상 증상을 감지한다. 광학 및 열화상카메라는 동시에 운영되며 광학 영상에서 객체를 검출한 후 얼굴영역을 도출하여 표정분석을 수행한다. 열화상카메라는 광학카메라에서 얼굴영역으로 판단한 좌표 값을 적용하고 해당영역의 최고 온도를 측정하여 화면에 표출한다. 이상 징후 감지는 분석된 표정 3가지(무표정, 웃음, 슬픔)와 체온 값을 활용하여 판단하며 제안된 장비의 성능을 평가하기 위해 광학영상 처리부는 Caltech, WIDER FACE, CK+ 데이터셋을 3종의 영상처리 알고리즘(객체검출, 얼굴영역 검출, 표정분석)에 적용하였다. 실험결과로 객체검출률, 얼굴영역 검출률, 표정분석률 각각 91%, 91%, 84%을 도출하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제15권1호
• /
• pp.7-15
• /
• 2009

본 논문에서는 표정을 매개변수 공간에서 표현하고 응용하기 위한 새로운 방법을 제안한다. 컴퓨터 애니메이션 분야에서 복잡한 얼굴 표정을 보다 간단하게 표현하기 위해 표정을 매개변수화 하기 위한 다양한 연구들이 이루어졌다. 본 논문에서는 사람의 얼굴 표정을 포착한 데이터를 이용하여 표정을 구성하는 간단한 몇 개의 주요 움직임을 분석한다. 이를 위해 먼저 표정 매개 변수화를 애니메이션에 효과적으로 적용하기 위해 필요한 요구사항을 정리하고, 기존 연구들의 제한점을 파악한다. 본 논문에서는 많은 양의 표정 데이터에 독립 요소 분석(independent component analysis)기법을 적응함으로써 사람의 표정을 나타내는 독립적인 움직임을 추출하고 표정의 매개변수 공간을 구성한다. 또한 얼굴의 비선형적 움직임을 보다 정확하게 근사하기 위한 변형 모델과 데이터를 기반으로 변형 모델을 학습하기 위한 방법을 제안한다. 이러한 과정을 통하여 직관적으로 일반 사용자도 쉽게 표정을 제어할수 있는 매개변수 집합과 변형 모델을 얻을 수 있다.

• Journal of Information Technology Applications and Management
• /
• 제21권4호
• /
• pp.203-223
• /
• 2014

This study proposes a novel context-aware recommender system, which is designed to recommend the items according to the customer's responses to the previously recommended item. In specific, our proposed system predicts the user's emotional state from his or her responses (such as facial expressions and movements) to the previous recommended item, and then it recommends the items that are similar to the previous one when his or her emotional state is estimated as positive. If the customer's emotional state on the previously recommended item is regarded as negative, the system recommends the items that have characteristics opposite to the previous item. Our proposed system consists of two sub modules-(1) emotion prediction module, and (2) responsive recommendation module. Emotion prediction module contains the emotion prediction model that predicts a customer's arousal level-a physiological and psychological state of being awake or reactive to stimuli-using the customer's reaction data including facial expressions and body movements, which can be measured using Microsoft's Kinect Sensor. Responsive recommendation module generates a recommendation list by using the results from the first module-emotion prediction module. If a customer shows a high level of arousal on the previously recommended item, the module recommends the items that are most similar to the previous item. Otherwise, it recommends the items that are most dissimilar to the previous one. In order to validate the performance and usefulness of the proposed recommender system, we conducted empirical validation. In total, 30 undergraduate students participated in the experiment. We used 100 trailers of Korean movies that had been released from 2009 to 2012 as the items for recommendation. For the experiment, we manually constructed Korean movie trailer DB which contains the fields such as release date, genre, director, writer, and actors. In order to check if the recommendation using customers' responses outperforms the recommendation using their demographic information, we compared them. The performance of the recommendation was measured using two metrics-satisfaction and arousal levels. Experimental results showed that the recommendation using customers' responses (i.e. our proposed system) outperformed the recommendation using their demographic information with statistical significance.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제12권8호
• /
• pp.235-242
• /
• 2023

최근 들어 영유아를 대상으로 한 비대면 상담이 증가함에 따라 감정인식 보조 도구로 CNN기반 딥러닝 모델을 많이 사용하고 있다. 하지만 대부분의 감정인식 모델은 성인 데이터 위주로 학습되어 있어 영유아 및 청소년을 대상으로 적용하기에는 성능상의 제약이 있다. 본 논문에서는 이러한 성능제약의 원인을 분석하기 위하여 XAI 기법 중 하나인 LIME 기법을 통해 성인 대비 영유아와 청소년의 감정인식을 위한 얼굴 표정의 특징을 분석한다. 뿐만 아니라 남녀 집단에도 동일한 실험을 수행함으로써 성별 간 얼굴 표정의 특징을 분석한다. 그 결과로 연령대별 실험 결과와 성별별 실험 결과를 CNN 모델의 사전 훈련 데이터셋의 데이터 분포를 바탕으로 설명하고 균형 있는 학습 데이터의 중요성을 강조한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제37권7호
• /
• pp.578-583
• /
• 2010

본 논문에서는 소스코드의 코딩 스타일을 검사하고 코딩 스타일 점수를 얼굴 표정을 이용해 시각화하는 시스템인 StyleVisualizer 를 제안한다. StyleVisualizer 는 스타일 평가 점수에 따라 몇 가지 얼굴로 표현한다. 웃는 표정은 소스코드가 코딩 표준을 잘 준수했음을 의미한다. StyleVisualizer 의 효과를 알아보기 위해 두 분반의 실용 컴퓨터 교과목 수강생을 대상으로 실험을 진행하였다. 실험에서는 StyleVisualizer 를 사용한 분반과 사용하지 않은 분반에 대해 코딩 표준 준수에 대한 오류 비율을 비교했다. 실험결과, StyleVisualizer 를 사용한 경우 30% 이상 오류 비율이 감소하였다. 논문에서 제안하는 시스템은 학생들에게 자신들의 프로그램에 대한 시각화된 결과를 피드백해 줌으로써 코딩 표준을 준수하고 가독성이 높은 프로그램을 작성하는 능력을 기르는 데 도움을 줄 수 있을 것으로 기대된다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제14권2호
• /
• pp.27-33
• /
• 2008

본 논문에서는 입력으로 들어온 사람의 얼굴 영상으로부터 간략하면서도 인물의 특성이 잘 반영되도록 스타일화된 일러스트레이션 영상을 만드는 방법을 제시한다. 이를 위해 입력으로 들어온 영상으로부터 얼굴 영역 및 각 구성요소들을 인식하고, 그 결과를 효과적인 스타일화에 이용한다. 실제 스타일화는 크게 주요 부분을 간단한 톤으로 표현해주는 톤 그리기 부분과 해당 부분을 적은 선으로 효과적으로 묘사하는 선 그리기 부분으로 나뉘며, 이 두 부분에 머리카락이 나 옷 부분 등에 추가적인 효과를 더하여 이루어진다. 이러한 스타일화 과정은 일반적으로 사람이 그린 그림과 같이 극도의 추상화과정을 거쳐 보다 적은 표현으로 대상의 특징을 잘 살려주는 것을 목적으로 한다. 이를 위해 여백을 살리는 간단한 표현으로도 대상을 효과적으로 묘사하는 동양화 기법을 응용한다.

• 전기전자학회논문지
• /
• 제25권3호
• /
• pp.430-436
• /
• 2021

비접촉형 체온 측정 시스템은 광학 및 열화상 카메라를 활용하여 집단시설의 발열성 질병을 관리하는 핵심 요소 중 하나이다. 기존 체온 측정 시스템은 딥러닝 기반 얼굴검출 알고리즘이 사용되어 얼굴영역의 단순 체온 측정에는 활용할 수 있지만, 의사표현이 어려운 영유아의 이상 징후를 인지하는데 한계가 있다. 본 논문에서는 기존의 체온 측정 시스템에서 영유아의 이상징후 감지를 위해 표정인식 알고리즘을 개선한다. 제안된 방법은 객체탐지 모델을 사용하여 영상에서 영유아를 검출한 후 얼굴영역을 추출하고 표정인식의 핵심 요소인 눈, 코, 입의 좌표를 획득한다. 이후 획득된 좌표를 기반으로 선택적 샤프닝 필터를 적용하여 표정인식을 진행한다. 실험결과에 따르면 제안된 알고리즘은 UTK 데이터셋에서 무표정, 웃음, 슬픔 3가지 표정에 대해 각각 2.52%, 1.12%, 2.29%가 향상되었다.

• 한국심리학회지 : 문화 및 사회문제
• /
• 제20권4호
• /
• pp.347-364
• /
• 2014

본 연구는 얼굴자극의 검사단계 표정변화와 검사 지연시간, 그리고 배경변화가 얼굴재인에 미치는 효과를 검증하기 위해 수행되었다. 실험 1에서는 학습단계에서 부정 표정 얼굴을 학습하고 검사단계에서 동일한 얼굴의 부정 표정과 중성 표정얼굴에 대한 재인 검사가 실시되었다. 실험 2에서는 학습단계에서 부정 표정 얼굴을 학습하고 검사단계에서 부정 표정과 긍정 표정얼굴에 대한 재인 검사가 실시되었다. 실험 3에서는 학습단계에서 중성 표정 얼굴을 학습하고, 검사단계에서 부정 표정과 중성 표정 얼굴에 대한 재인 검사가 실시되었다. 세 실험 모두 참가자들은 즉시 검사와 지연 검사 조건에 할당되었고, 재인검사에서 목표 얼굴자극들은 배경이 일치 조건으로 또한 불일치 조건으로 제시되었다. 실험 1과 실험2 모두에서 부적 표정에 대한 재인율이 높았다. 실험 3에서 중성 표정에 대한 재인율이 높았다. 즉, 세 개실험 모두에서 표정 일치 효과가 나타났다. 학습단계에서 제시된 얼굴 표정의 정서와는 상관없이 검사단계에서 표정이 학습단계와 일치할 때 얼굴 재인율은 증가하였다. 또한 표정 변화에 따른 효과는 배경 변화에 따라 상이하게 나타났다. 본 연구 결과로 얼굴은 표정이 달라지면 기억하기 힘들며, 배경의 변화와 시간 지연에 따라 영향을 받는 다는 점을 확인하였다.