Abstract
This paper presents a deep learning based group synchronization that supports networked immersive interactions between remote users. The goal of group synchronization is to enable all participants to synchronously interact with others for increasing user presence Most previous methods focus on NTP-based clock synchronization to enhance time accuracy. Moving average filters are used to control media playout time on the synchronization server. As an example, the exponentially weighted moving average(EWMA) would be able to track and estimate accurate playout time if the changes in input data are not significant. However it needs more time to be stable for any given change over time due to codec and system loads or fluctuations in network status. To tackle this problem, this work proposes the Deep Group Synchronization(DeepGroupSync), a group synchronization based on deep learning that models important features from the data. This model consists of two Gated Recurrent Unit(GRU) layers and one fully-connected layer, which predicts an optimal playout time by utilizing the sequential playout delays. The experiments are conducted with an existing method that uses the EWMA and the proposed method that uses the DeepGroupSync. The results show that the proposed method are more robust against unpredictable or rapid network condition changes than the existing method.
본 논문에서는 네트워크 환경에서 원격사용자들의 몰입형 상호작용을 위한 딥러닝 기반의 그룹 동기화 기법을 제안한다. 그룹 동기화의 목적은 사용자의 몰입감을 높이기 위해서 모든 참여자가 동시에 상호작용이 가능하게 하는 것이다. 기존 방법은 시간 정확도를 향상을 위해 대부분 NTP(Network Time Protocol) 기반의 시간 동기화 방식에 초점이 맞추어져 있다. 동기화 서버에서는 미디어 재생 시간을 제어하기 위해 이동 평균 필터를 사용한다. 그 한 예로서, 지수 가중평균 방법은 입력 데이터의 변화가 크지 않으면 정확하게 재생 시간을 추종하고 예측하나 네트워크, 코덱, 시스템 상태의 급격한 변화가 있을 때는 안정화를 위해 더 많이 시간이 필요하다. 이런 문제점을 개선하기 위해서 데이터의 특성을 반영할 수 있는 딥러닝 기반의 그룹 동기화 기법인 DeepGroupSync를 제안한다. 제안한 딥러닝 모델은 시계열의 재생 지연 시간을 이용하여 최적의 재생 시간을 예측하는 두 개의 GRU(gated recurrent unit) 계층과 하나의 완전 연결 계층으로 구성된다. 실험에서는 기존의 지수 가중평균 기반 방법과 제안한 DeepGroupSync 방법에 대한 성능을 평가한다. 실험 결과로부터 예상하지 못한 급격한 네트워크 조건 변화에 대해서 제안한 방법이 기존 방법보다 더 강건함을 볼 수 있다.
