• International Journal of Contents
• /
• 제18권3호
• /
• pp.11-20
• /
• 2022

Human Emotion Recognition is an exciting topic that has been attracting many researchers for a lengthy time. In recent years, there has been an increasing interest in exploiting contextual information on emotion recognition. Some previous explorations in psychology show that emotional perception is impacted by facial expressions, as well as contextual information from the scene, such as human activities, interactions, and body poses. Those explorations initialize a trend in computer vision in exploring the critical role of contexts, by considering them as modalities to infer predicted emotion along with facial expressions. However, the contextual information has not been fully exploited. The scene emotion created by the surrounding environment, can shape how people perceive emotion. Besides, additive fusion in multimodal training fashion is not practical, because the contributions of each modality are not equal to the final prediction. The purpose of this paper was to contribute to this growing area of research, by exploring the effectiveness of the emotional scene gist in the input image, to infer the emotional state of the primary target. The emotional scene gist includes emotion, emotional feelings, and actions or events that directly trigger emotional reactions in the input image. We also present an attention-based fusion network, to combine multimodal features based on their impacts on the target emotional state. We demonstrate the effectiveness of the method, through a significant improvement on the EMOTIC dataset.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 추계학술대회
• /
• pp.226-228
• /
• 2021

구글사에서 출시된 ML Kit API의 Pose detection를 사용한 영상기반 낙상 알고리즘을 제안한다. Pose detection 알고리듬을 사용하여 추출된 신체의 33개의 3차원 특징점을 활용하여 낙상을 인식한다. 추출된 특징점을 분석하여 낙상을 인식하는 알고리듬은 k-NN을 사용한다. 영상의 크기와 영상내의 인체의 크기에 영향을 받지 않도록 정규화과정을 거치며 특징점들의 상대적인 움직임을 분석하여 낙상을 인식한다. 본 실험을 위해 사용한 13개의 테스트 영상중 13개의 영상에서 낙상을 인식하여 100%의 성공률을 보였다.

• The Journal of Asian Finance, Economics and Business
• /
• 제8권3호
• /
• pp.1405-1416
• /
• 2021

The study uses an innovative management perspective to investigate the environment of higher education institutions to ensure the survival of universities in Cambodia. This has led Cambodian universities to expand their educational offerings to students in Years 2, 3 and 4. The data was collected through a Google Forms survey to facilitate and accelerate data collection. The sample of 500 students come from three higher education institution by employing multi-stage sampling technique of probability and non-probability sampling methods to ensure representation of the research population. The data were analyzed by using Confirmatory Factor Analysis (CFA) and Structural Equation Model (SEM) to investigate the impact of these determinants on students' satisfaction and loyalty, via answering 54 questions. The results showed that the three Cambodian universities perform well in terms of satisfactory conditions such as transformative quality and university image. There are four issues to which universities need to pay attention, namely, teaching methods, infrastructure facilities, learning material, and academic environment that are yet to meet the needs of students. This study contributes to the principle of innovative management in the context of Cambodian academic environment. The results help to fathom the depth of enhancing quality and institutional survival.

• 한국컴퓨터정보학회논문지
• /
• 제26권12호
• /
• pp.77-84
• /
• 2021

본 논문에서는 영상 데이터, 비콘 데이터의 결합을 통해 집단시설에서 출입이 허용된 승인자와 비승인자를 구분하는 시스템을 제안한다. IP 카메라를 통해 수집된 영상 데이터는 YOLOv4를 사용하여 사람 객체를 추출하고, 애플리케이션을 통해 비콘의 신호 데이터(UUID, RSSI)를 수집하여 핑거프린팅 기반의 라디오 맵을 구성한다. 비콘은 신호의 불안전성을 보완해 위치 파악의 정확도를 향상하기 위하여 CNN-LSTM 기반의 학습을 진행한 후 사용자 위치 데이터를 추출한다. 이후 도출된 위치 데이터와 사람 객체가 추출된 영상 데이터를 매핑해 실시간으로 비승인자를 추적한다. 본 논문의 결과로 93.47%의 정확도를 보였으며, 향후 코로나19로 사용이 증가한 QR코드 등의 출입 인증 절차와 융합해 인증 절차를 거치지 않은 사람을 추적하는 확장성까지 기대할 수 있다.

• 한국터널지하공간학회 논문집
• /
• 제23권4호
• /
• pp.253-263
• /
• 2021

콘크리트 구조물은 노후화와 외부 환경에 의한 요인으로 훼손된다. 이 같은 훼손은 가장 먼저 균열로 나타나고 향후에는 박락으로도 진행된다. 이러한 콘크리트 손상은 구조물이 갖는 본래의 설계 지지력을 감소시키는 주된 원인으로 작용할 수 있어 구조물의 안정성에 부정적인 영향을 미친다. 이러한 종류의 손상이 지속되면 안전사고로도 이어질 가능성이 있어 적절한 보수와 보강이 필요하다. 이를 위해서는 구조물에 대한 정확하고 객관적인 상태 점검이 이루어져야 하며 손상 영역을 탐지할 수 있는 센서 기술 또한 필요하다. 따라서 본 논문에서는 박락을 탐지할 수 있는 딥러닝 기반의 영상처리 알고리즘을 제안했다. 연구 과정에서 298장의 박락 영상을 확보하였으며, 이 가운데 253장을 학습용으로 사용했고, 나머지 45장을 테스트용으로 사용하였다. 아울러 본 논문에서는 탐지 성능을 향상하기 위해 향상된 손실함수와 데이트 증강 기법을 적용하였다. 그 결과 콘크리트 박락의 탐지 성능이 80.19%의 평균 중첩 정확도로 나타났다. 본 논문에서는 딥러닝 기반의 영상 처리 기법을 통해 콘크리트 박락을 탐지하는 기술을 개발했고, 향상된 손실 함수와 데이터 증강 기법으로 성능을 향상시키는 방법을 제안했다. 이 같은 기술은 향후 구조물의 정확한 점검과 진단에 활용될 것으로 기대된다.

• 한국시뮬레이션학회논문지
• /
• 제30권2호
• /
• pp.41-48
• /
• 2021

농촌 인구의 감소와 고령화가 지속되면서 농업 생상성 향상의 중요성이 높아지고 있는 가운데, 농작물 품질에 대한 조기 예측은 농업 생산성 및 수익성 향상에 중요한 역할을 할 수 있다. 최근 CNN 기반의 딥러닝 기술 및 전이 학습을 활용하여 농작물의 질병을 분류하거나 수확량을 예측하는 연구가 활발하게 진행되고 있지만, 수확 후 농작물의 품질을 식재단계에서 조기에 예측하는 연구는 찾아보기 힘들다. 본 연구에서는 건강 기능성 식품으로 주목받고 있는 새싹삼을 대상으로, 수확 후 새싹삼의 품질을 식재단계에서 조기에 예측하는 모델을 제안한다. 이를 위하여 묘삼의 이미지를 촬영한 후 수경재배를 통해 새싹삼을 재배하였고, 수확 후 새싹삼의 품질을 분류하여 실험 데이터를 수집하였다. 다수의 CNN 기반의 사전 학습된 모델을 활용하여 새싹삼 조기 품질 예측 모델을 구축하고, 수집된 데이터를 이용하여 각 모델의 학습 및 예측 성능을 비교 분석하였다. 분석 결과 모든 예측 모델에서 80% 이상의 예측 정확도를 보였으며, 특히 ResNet152V2 기반의 예측 모델에서 가장 높은 정확도를 보였다. 본 연구를 통해 인력에 의존하던 기존의 묘삼 선별 작업을 자동화하여 새싹삼의 품질을 높이고 생산량을 증대시켜 농가의 수익창출에 기여할 수 있을 것으로 기대된다.

• 한국전자거래학회지
• /
• 제26권2호
• /
• pp.19-43
• /
• 2021

공연예술 기관에서의 공연에 대한 흥행 예측은 공연예술 산업 및 기관에서 매우 흥미롭고도 중요한 문제이다. 이를 위해 출연진, 공연장소, 가격 등 정형화된 데이터를 활용한 전통적인 예측방법론, 데이터마이닝 방법론이 제시되어 왔다. 그런데 관객들은 공연안내 포스터에 의하여 관람 의도가 소구되는 경향이 있음에도 불구하고, 포스터 이미지 분석을 통한 흥행 예측은 거의 시도되지 않았다. 그러나 최근 이미지를 통해 판별하는 CNN 계열의 딥러닝 방법이 개발되면서 포스터 분석의 가능성이 열렸다. 이에 본 연구의 목적은 공연 관련 포스터 이미지를 통해 흥행을 예측할 수 있는 딥러닝 방법을 제안하는 것이다. 이를 위해 KOPIS 공연예술 통합전산망에 공개된 포스터 이미지를 학습데이터로 하여 Pure CNN, VGG-16, Inception-v3, ResNet50 등 딥러닝 알고리즘을 통해 예측을 수행하였다. 또한 공연 관련 정형데이터를 활용한 전통적 회귀분석 방법론과의 앙상블을 시도하였다. 그 결과 흥행 예측 정확도 85%를 상회하는 높은 판별 성과를 보였다. 본 연구는 공연예술 분야에서 이미지 정보를 활용하여 흥행을 예측하는 첫 시도이며 본 연구에서 제안한 방법은 연극 외에 영화, 기관 홍보, 기업 제품 광고 등 포스터 기반의 광고를 하는 영역으로도 적용이 가능할 것이다.

• 대한토목학회논문집
• /
• 제43권1호
• /
• pp.99-107
• /
• 2023

최근 건설 현장의 안전사고 비율은 전체 산업에서 가장 높은 비중을 차지한다. 인공지능 기술을 건설 현장에 접목하기 위해서는 기초 학습 자료로 활용될 수 있는 데이터셋 확보가 필수적이다. 본 논문에서는 실제 현장 확보를 통해 원천 데이터를 수집하였으며, 토목 현장에서 주로 운용되고 있는 주요 건설장비 객체를 선정하고 약 9만장의 정지영상 데이터셋 가공을 통해 최적의 학습 데이터셋 구축을 완료하였다. 또한, 객체 인식분야의 대표적인 모델인 YOLO를 활용하여 구축된 데이터의 검증 작업을 수행하였고 90 % 근접한 검출 성능을 확인해 데이터 신뢰성을 확보하였다. 본 연구에서 사용되는 학습 데이터셋은 공공데이터포털에서 활용 가능하도록 공개를 완료하였다. 본 데이터셋은 향후 건설안전 분야의 객체 인식 기술의 건설현장 적용을 위한 기반 데이터로 활용 가능하리라 판단된다.

• 전기전자학회논문지
• /
• 제24권2호
• /
• pp.492-496
• /
• 2020

안개가 낀 악조건의 날씨에서는 가시성이 저하되어 카메라로 포착한 정보들을 정확히 인식하기 어렵다. 안개 낀 날씨에서도 사물인식, 차선 인식 등 카메라 기반의 기기들이 정상 동작할 수 있도록 안개제거 연구가 활발히 진행되고 있다. 본 논문에서는 안개 영상에서 밝기와 채도의 차이가 영상의 깊이에 따라 비선형적으로 증가한다는 분석을 통해 깊이 맵 추정을 위한 비선형 모델을 제시한다. 비선형 모델의 안개 제거 방법은 여러 가지 안개제거 방법과의 정량적 수치평가(MSE, SSIM, TMQI)를 통해 동등 이상의 결과를 보여줌으로써 우수한 성능을 자랑한다.

• 대한임베디드공학회논문지
• /
• 제16권5호
• /
• pp.209-214
• /
• 2021

Panoptic segmentation, which is now widely used in computer vision such as medical image analysis, and autonomous driving, helps understanding an image with holistic view. It identifies each pixel by assigning a unique class ID, and an instance ID. Specifically, it can classify 'thing' from 'stuff', and provide pixel-wise results of semantic prediction and object detection. As a result, it can solve both semantic segmentation and instance segmentation tasks through a unified single model, producing two different contexts for two segmentation tasks. Semantic segmentation task focuses on how to obtain multi-scale features from large receptive field, without losing low-level features. On the other hand, instance segmentation task focuses on how to separate 'thing' from 'stuff' and how to produce the representation of detected objects. With the advances of both segmentation techniques, several panoptic segmentation models have been proposed. Many researchers try to solve discrepancy problems between results of two segmentation branches that can be caused on the boundary of the object. In this survey paper, we will introduce the concept of panoptic segmentation, categorize the existing method into two representative methods and explain how it is operated on two methods: top-down method and bottom-up method. Then, we will analyze the performance of various methods with experimental results.