• ETRI Journal
• /
• 제44권2호
• /
• pp.327-338
• /
• 2022

Classification models for human action recognition require robust features and large training sets for good generalization. However, data augmentation methods are employed for imbalanced training sets to achieve higher accuracy. These samples generated using data augmentation only reflect existing samples within the training set, their feature representations are less diverse and hence, contribute to less precise classification. This paper presents new data augmentation and action representation approaches to grow training sets. The proposed approach is based on two fundamental concepts: virtual video generation for augmentation and representation of the action videos through robust features. Virtual videos are generated from the motion history templates of action videos, which are convolved using a convolutional neural network, to generate deep features. Furthermore, by observing an objective function of the genetic algorithm, the spatiotemporal features of different samples are combined, to generate the representations of the virtual videos and then classified through an extreme learning machine classifier on MuHAVi-Uncut, iXMAS, and IAVID-1 datasets.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권5호
• /
• pp.217-228
• /
• 2023

비디오 개체 분할은 비디오를 구성하는 영상 프레임 각각에 대해 관심 개체 분할을 수행해야 할 뿐만 아니라, 해당 비디오를 구성하는 프레임 시퀀스 전체에 걸쳐 개체들에 대한 정확한 트래킹을 요구하기 때문에 난이도가 높은 기술이다. 특히 드라마 비디오에서 인물 개체 분할은 다양한 장소와 시간대에서 상호 작용하는 복수의 주요 등장인물들에 대한 정확한 트래킹을 요구하는 특징을 가지고 있다. 또한, 드라마 비디오 인물 개체분할은 주연 인물들과 조연 혹은 보조 출연 인물들 간의 등장 빈도에 상당한 차이가 있어 일종의 클래스 불균형 문제도 있다. 본 논문에서는 미생 드라마 비디오들을 토대로 구축한 인물 개체 분할 데이터 집합인 MHIS를 소개하고, 등장인물 클래스 간의 심각한 데이터 불균형 문제를 효과적으로 해결하기 위한 새로운 비디오 데이터 보강 기법인 CDVA를 제안한다. 기존의 비디오 데이터 보강 기법들과는 달리, 새로운 CDVA 보강 기법은 비디오들의 시-공간적 맥락을 충분히 고려해서 목표 인물이 삽입되어야 할 배경 클립 내의 위치를 결정함으로써, 보다 더 현실적인 보강 비디오들을 생성한다. 따라서 본 논문에서 제안하는 새로운 비디오 데이터 보강 기법인 CDVA는 비디오 개체 분할을 위한 심층 신경망 모델의 성능을 효과적으로 향상시킬 수 있다. 본 논문에서는 MHIS 데이터 집합을 이용한 다양한 정량 및 정성 실험들을 통해, 제안 비디오 데이터 보강 기법의 유용성과 효과를 입증한다.

• 방송공학회논문지
• /
• 제27권1호
• /
• pp.13-19
• /
• 2022

동영상 객체 분할(VOS) 기술은 연속된 레이블링 데이터를 필요로 하며, 현재 공개된 데이터셋으로 훈련된 VOS방법은 그 성능이 제한된다. 이 문제를 해결하기 위해 본 논문에서는 간단하면서도 효과적인 동영상 데이터 증강 기술들을 제안한다. 첫번째 증강 기술은 영상 내에서 객체를 제외한 배경을 다른 영상의 배경으로 대체하는 기법이고, 두번째 기술은 학습될 동영상 데이터의 순서를 무작위 확률로 뒤집어 역 재생되는 영상을 학습시키는 기법이다. 두 증강 기술은 객체 분할 시 배경 정보에 강인한 추정을 가능하게 하였고, 추가 데이터 없이 기존 모델의 성능을 향상시킬 수 있음을 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 1998년도 Proceedings of International Workshop on Advanced Image Technology
• /
• pp.147-153
• /
• 1998

This paper provides a method for video augmentation using image interpolation. In computer graphics or augmented reality, 3D information of a model object is necessary to generate 2D views of the model, which are then inserted into or overlayed on environmental views or real video frames. However, we do not require any three dimensional model but images of the model object at some locations to render views according to the motion of video camera which is calculated by an SFM algorithm using point matches under weak-perspective (scaled-orthographic) projection model. Thus, a linear view interpolation algorithm is applied rather than a 3D ray-tracing method to get a view of the model at different viewpoints from model views. In order to get novel views in a way that agrees with the camera motion the camera coordinate system is embedded into model coordinate system at initialization time on the basis of 3D information recovered from video images and model views, respectively. During the sequence, motion parameters from video frames are used to compute interpolation parameters, and rendered model views are overlayed on corresponding video frames. Experimental results for real video frames and model views are given. Finally, discussion on the limitations of the method and subjects for future research are provided.

• 한국멀티미디어학회논문지
• /
• 제9권4호
• /
• pp.421-433
• /
• 2006

본 논문에서는 비디오에서 비보정 3차원 좌표의 복원과 카메라의 움직임 추정을 통하여 가상 객체를 비디오에 자연스럽게 합성하는 방법을 제안한다. 비디오의 장면에 부합되도록 가상 객체를 삽입하기 위해서는 장면의 상대적인 구조를 얻어야 하고 비디오 프레임의 흐름에 따른 카메라 움직임의 변화도 추정해야 한다. 먼저 특장점을 추적하고 비보정 절차를 수행하여 카메라 파라메터와 3차원 구조를 복원한다. 각 프레임에서 카메라 파라메터들을 고정시켜 촬영하고 이들 카메라 파라메터는 일정 프레임 동안 불변으로 가정하였다. 제안된 방법으로 세 프레임 이상에서 작은 수의 특징점 만으로도 올바른 3차원 구조를 얻을 수 있었다. 가상객체의 삽입 위치는 초기 프레임에서 특정 면의 모서리점의 대응점을 지정하여 결정한다. 가상 객체의 투사 영역을 계산하고 이 영역에 이음새가 없도록 텍스처를 혼합하여 가상객체와 비디오의 부자연스러운 합성 문제를 해결하였다. 제안 방법은 비보정 절차를 선형으로만 구현하여 기존의 방법에 비해서 안정성과 수행속도의 면에서 우수하다. 실제 비디오 스트림에 대한 다양한 실험을 수행한 결과 여러 증강현실 응용 시스템에 유용하게 사용될 수 있음을 입증하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 추계학술대회
• /
• pp.521-523
• /
• 2021

데이터 증강은 데이터셋의 양이 충분하지 않을 때 소량의 데이터를 활용하여 데이터의 양을 늘리는 기법이다. 인터넷의 보급으로 인해 손쉽게 얻을 수 있는 데이터는 많아졌지만 의학과 같이 데이터의 수집이 곤란한 분야도 여전히 남아 있다. 블랙 스크린 감지 모델에서 사용하는 비디오 월 컨트롤러에서 블랙 스크린이 발생한 이미지도 수집하기 어려운 데이터인데, 이는 비디오 월 컨트롤러를 운용하고 있는 중에 블랙 스크린이 발생하는 빈도가 낮기 때문이다. 따라서 본 논문에서는 비디오 월 컨트롤러에서 수집한 소량의 블랙 스크린 이미지를 활용하여 DCGAN을 훈련한 후 DCGAN의 생성자로 대량의 데이터셋을 생성하는 모델을 제안한다.

• 한국멀티미디어학회논문지
• /
• 제14권2호
• /
• pp.329-338
• /
• 2011

증강현실에서 다양한 미디어의 결합으로 보다 향상된 현실감 있는 멀티미디어 데이터가 요구되고 있다. 기존의 미디어 정보에 텍스트 및 음성과 비디오 등 다양한 미디어를 결합한 멀티미디어 정보에 대한 첨단 기술이 미디어 산업 전반에 주도적인 위치를 점하고 있다. 특히 인터넷에서의 다양한 의사전달 수단 및 시각화에 대한 관심과 가상공간에서의 의사 표현을 위한 실시간 상호작용 시스템 구축 및 3차원 콘텐츠, 증강현실 기술에 대한 서비스 요구가 증가되고 있다. 이러한 서비스들은 기존 콘텐츠에서 입체감 형성을 위한 3차원 공간구조의 복원에 필요한 깊이 값 생성에 어려움이 있다. 그러므로 2차원 영상을 이용하여 효율적인 Depth-map 생성에 관한 연구가 필요하다. 본 논문에서는 2차원 영상을 이용하여 3차원 공간구조 복원에 필요한 Depth-map 생성기법의 단점을 보완하여, 기존 알고리즘에서 정의 되지 않은 영상 내 소실점 위치에 따른 갚아 방향의 정의를 통한 개선된 Depth-map 생성 기법을 제안하였다.

• 한국콘텐츠학회논문지
• /
• 제13권6호
• /
• pp.1-8
• /
• 2013

증강현실에서 움직이는 가상 모델을 증강물로 활용하려면 대개 별도의 모델링이나 애니메이션 도구 사용이 필요하며 이는 매우 전문적이고 복잡한 작업이다. 본 논문에서는 그러한 과정 없이 동적 가상 객체를 증강 환경에 삽입할 수 있는 방법으로 비디오 객체 기반 저작 방법을 제시한다. 그랩컷과 그로컷을 통합 적용하여 대상물의 초기 영역을 분리한 후, 스냅컷을 이용해 프레임간 경계선 변화를 자동 추적하여 동작이 담긴 연속 프레임을 실사 비디오에 증강하는 방식이다. 실험결과로, 몇 단계의 메뉴 선택과 경계선 오류 정정 스케치만으로 특정 비디오 객체 컷아웃 및 증강 객체 저작이 가능함을 보였다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2006년도 하계종합학술대회
• /
• pp.685-686
• /
• 2006

Recently, various AR-based product design methodologies have been introduced. In this paper, we propose technologies for enhancing robust augmentation and immersive realization of virtual objects. A robust augmentation technology is developed for various lighting conditions and a partial solution is proposed for the hand occlusion problem that occurs when the virtual objects overlay the user' hands. It provides more immersive or natural images to the users. Finally, vibratory haptic cues by page motors as well as button clicking force feedback by modulating pneumatic pressures are proposed while interacting with virtual widgets. Also our system reduces gabs between modeling spaces and user spaces. An immersive game-phone model is selected to demonstrate that the users can control the direction of the car in the racing game by tilting a tangible object with the proposed augmented haptic and robust non-occluded visual feedback. The proposed methodologies will be contributed to the immersive realization of the conventional AR system.

• 한국인터넷방송통신학회논문지
• /
• 제24권1호
• /
• pp.49-54
• /
• 2024

데이터 불균형은 분류 문제에서 흔히 마주치는 문제로, 데이터셋 내의 클래스간 샘플 수의 현저한 차이에서 기인한다. 이러한 데이터 불균형은 일반적으로 분류 모델에서 과적합, 과소적합, 성능 지표의 오해 등의 문제를 야기한다. 이를 해결하기 위한 방법으로는 Resampling, Augmentation, 규제 기법, 손실 함수 조정 등이 있다. 본 논문에서는 손실 함수 조정에 대해 다루며 특히, 불균형 문제를 가진 Multi-Class 블랙박스 동영상 데이터에서 여러 구성의 손실 함수(Cross Entropy, Balanced Cross Entropy, 두 가지 Focal Loss 설정: 𝛼 = 1 및 𝛼 = Balanced, Asymmetric Loss)의 성능을 I3D, R3D_18 모델을 활용하여 비교하였다.