• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.180-182
• /
• 2021

본 논문은 눈 랜드마크 위치 검출과 시선 방향 벡터 추정이 하나의 딥러닝 네트워크로 통합된 시선 추정 네트워크를 제안한다. 제안하는 네트워크는 Stacked Hourglass Network[1]를 백본(Backbone) 구조로 이용하며, 크게 랜드마크 검출기, 특징 맵 추출기, 시선 방향 추정기라는 세 개의 부분으로 구성되어 있다. 랜드마크 검출기에서는 눈 랜드마크 50개 포인트의 좌표를 추정하며, 특징 맵 추출기에서는 시선 방향 추정을 위한 눈 이미지의 특징 맵을 생성한다. 그리고 시선 방향 추정기에서는 각 출력 결과를 조합하고 이를 통해 최종 시선 방향 벡터를 추정한다. 제안하는 네트워크는 UnityEyes[2] 데이터셋을 통해 생성된 가상의 합성 눈 이미지와 랜드마크 좌표 데이터를 이용하여 학습하였으며, 성능 평가는 실제 사람의 눈 이미지로 구성된 MPIIGaze[3] 데이터 셋을 이용하였다. 실험을 통해 시선 추정 오차는 0.0396 MSE(Mean Square Error)의 성능을 보였으며, 네트워크의 추정 속도는 42 FPS(Frame Per Second)를 나타내었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.271-274
• /
• 2021

Fisheye 카메라로 촬영된 영상은 일반 영상보다 넓은 시야각을 갖는 장점으로 여러 분야에서 활용되고 있다. 그러나 fisheye 카메라로 촬영된 영상은 어안렌즈의 곡률로 인하여 영상의 중앙 부분은 팽창되고 외곽 부분은 축소되는 방사 왜곡이 발생하기 때문에 영상을 활용함에 있어서 어려움이 있다. 이러한 방사 왜곡을 보정하기 위하여 기존 영상처리 분야에서는 렌즈의 곡률을 수학적으로 계산하여 보정하기도 하지만 이는 각각의 렌즈마다 왜곡 파라미터를 추정해야 하기 때문에, 개별적인 GT (Ground Truth) 영상이 필요하다는 제한 사항이 있다. 이에 본 논문에서는 렌즈의 종류마다 GT 영상을 필요로 하는 기존 기술의 제한 사항을 극복하기 위하여, fisheye 영상만을 입력으로 하여 왜곡계수를 계산하는 딥러닝 네트워크를 제안하고자 한다. 또한, 단일 왜곡계수를 왜곡모델로 활용함으로써 layer 수를 크게 줄일 수 있는 경량화 네트워크를 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.324-326
• /
• 2021

증강현실은 현실 공간에 가상의 객체를 합성한 영상을 생성하는 기술이다. 증강현실 기술에 대한 지속적인 수요 증가와 기술 발전이 이루어져 왔으며, 앞으로 사용자에게 현실을 기반으로 생성된 이질감이 느껴지지 않는 정교한 영상을 제공할 수 있으리라 기대할 수 있다. 본 논문에서는 증강현실 기술로 생성된 합성 영상이 정교한 영상임을 판단할 수 있는 객관적인 기준을 마련하기 위해 기존의 머신 러닝 기반의 이미지 분류 모델들로 합성 이미지 예측에 대한 실험을 진행하고 그 결과를 비교한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.105-108
• /
• 2021

Generative adversarial networks (GANs) have reached a great result at creating the synthesis image, especially in the face generation task. Unlike other deep learning tasks, the input of GANs is usually the random vector sampled by a probability distribution, which leads to unstable training and unpredictable output. One way to solve those problems is to employ the label condition in both the generator and discriminator. CelebA and FFHQ are the two most famous datasets for face image generation. While CelebA contains attribute annotations for more than 200,000 images, FFHQ does not have attribute annotations. Thus, in this work, we introduce a method to learn the attributes from CelebA then predict both soft and hard labels for FFHQ. The evaluated result from our model achieves 0.7611 points of the metric is the area under the receiver operating characteristic curve.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.650-651
• /
• 2020

본 논문은 YOLO v4 알고리즘을 이용하여 산업 현장에서 근로자의 개인 보호장비를 검출하는 방법을 제시한다. 학습데이터 주석은 사람 영역, 안전모, 안전 조끼 혹은 벨트 영역을 검출하도록 처리하였으며, 학습데이터 2,198개, 검증데이터 275개를 학습하는 데 이용하였다. 실험 결과 학습 반복 수 10,000번을 기준으로 81.81%의 mAP가 나옴을 확인하였다. 추후 정확도 개선을 위해 학습데이터 구축 및 전·후처리 알고리즘 관련 연구를 수행할 예정이다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.647-649
• /
• 2020

본 논문에서는 홀로그램 영상 콘텐츠의 지적재산권 보호를 위하여 워터마킹을 딥 러닝을 기반으로 하는 네트워크로 수행한다고 가정하고, 이 네트워크를 학습시킬 때 학습 데이터 세트를 어떻게 구성하는 것이 워터마킹 네트워크에 가장 효율적인지에 대해, JPEG Pleno에서 표준 데이터 세트로 제공하고 있는 홀로그램들을 사용하여 분석한다. 이 홀로그램들의 표준편차에 따라 학습 데이터세트의 구성을 달리하여 동일한 워터마킹 네트워크에 학습시킨 후 학습에 사용되지 않은 시험 데이터세트를 시험하여 나온 결과의 비가시성과 워터마크, 데이터의 추출률을 비교함으로써 학습 데이터세트 구축 방식에 대해 분석한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.697-700
• /
• 2020

고위험의 재난 상황에서 사람이 상황을 판단하고, 요구조자를 탐색하며, 구조하는 것은 추가 피해를 발생시킬 수 있다. 따라서 재난 상황에서도 이동과 접근이 용이한 무인항공에 관한 연구와 개발이 활발히 이루어지고 있다. 재난 상황에서 신속하게 대처하기 위해서는 선제적 상황인지 기술이 필요하다. 이에 본 논문은 구조 및 대피를 위해 사람, 자동차, 자전거 등의 객체를 인식하고 중복 인식을 피하기 위해 추적하는 딥러닝 기반 다중 객체 추적 시스템을 제안한다. 2019 인공지능 R&D 그랜드 챌린지 상황인지 부문에서의 대회 결과로 실험 성능을 증명한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.1040-1042
• /
• 2021

최근 디지털 교과서를 중심으로 교육 인프라가 전환되었다. 본 연구는 디지털 교과서의 상용화와 맞춤형 교육을 제공하기 위해 가상현실 기반 맞춤형 언어학습 시스템을 제안하였다. VR 에서 말하기, 듣기, 쓰기의 상호작용이 가능한 시스템을 구현하였고 자기주도적 맞춤형 학습이 가능하도록 학습요소를 시각화 하였다. 본 연구에서 제안한 자기주도적 맞춤형 학습이 가능해짐에 따라 코로나-19 로 인해 양극화된 교육 격차의 해소가 가능할 것이다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.327-330
• /
• 2021

본 논문은 RGB 영상 데이터셋의 일부만을 지도학습하여(Sparsely-supervised learning) Annotation 되지 않은 영상에 대해 손-객체의 3D 포즈를 복원하기 위한 방법을 제안한다. 기존의 연구에서는 손-객체의 포즈에 해당하는 6DoF 만을 학습 데이터로 활용한다. 이와 달리, 본 논문에서는 정확도 향상을 위해 복원된 결과를 동일한 입력 영상 내에서 비교 가능하도록 3D 모델로 복원한 결과를 입력 영상의 마스크로 만들어 학습에 반영하였다. 구체적으로 추정된 포즈로 만들어낸 마스크를 입력 영상에 적용한 결과와 Ground-truth 포즈를 적용한 영상을 학습 시에 손실 함수에 반영하였다. 비교 실험을 통해 제안된 방법이 해당 방법을 적용하지 않은 경우 보다 3D 매쉬 오차가 적었음을 확인할 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.36-39
• /
• 2020

최근 딥 러닝을 이용한 방법들이 이미지 분류에서 뛰어난 성능을 보임에 따라, 복잡한 특징을 담고 있는 얼굴 이미지에 대해 이를 적용하려는 시도가 늘어나고 있다. 특히, 이미지로부터 주요한 특징들을 추출하여 간결하게 이미지를 대표할 수 있는 이미지 기술자 (Image descriptor)를 딥 러닝을 통해 생성하는 연구가 인기를 끌고 있다. 이는 딥 러닝 끝 단에 있는 Fully-connected layer 의 출력으로 얻을 수 있으며 이미지의 의미론적 상관관계를 이용하여 학습된다. 구체적으로, 이미지 기술자는 실수형 벡터 데이터로서, 한 장의 이미지를 수치화 하여 비슷한 이미지 사이에는 벡터 거리가 가깝게, 서로 다른 이미지 사이에는 벡터 거리가 멀게 구성된다. 본 연구에서는 미리 학습된 인공 신경망을 통과시켜 얻은 얼굴 이미지 기술자를 활용하여 멤버 분류를 위한 두 개의 인공 신경망을 학습하는 것을 목표로 한다. 제안된 방법을 검증하기 위해 얼굴 인식에 널리 사용되는 벤치 마크 데이터셋을 활용하였고, 그 결과 제안된 방법이 높은 정확도로 멤버를 분류할 수 있다는 것을 확인하였다.