KIPS Transactions on Computer and Communication Systems (정보처리학회논문지:컴퓨터 및 통신 시스템)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Deep Learning Based Group Synchronization for Networked Immersive Interactions

네트워크 환경에서의 몰입형 상호작용을 위한 딥러닝 기반 그룹 동기화 기법

  • 이중재 ((재)실감교류인체감응솔루션연구단)
  • Received : 2022.10.24
  • Accepted : 2022.10.25
  • Published : 2022.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

This paper presents a deep learning based group synchronization that supports networked immersive interactions between remote users. The goal of group synchronization is to enable all participants to synchronously interact with others for increasing user presence Most previous methods focus on NTP-based clock synchronization to enhance time accuracy. Moving average filters are used to control media playout time on the synchronization server. As an example, the exponentially weighted moving average(EWMA) would be able to track and estimate accurate playout time if the changes in input data are not significant. However it needs more time to be stable for any given change over time due to codec and system loads or fluctuations in network status. To tackle this problem, this work proposes the Deep Group Synchronization(DeepGroupSync), a group synchronization based on deep learning that models important features from the data. This model consists of two Gated Recurrent Unit(GRU) layers and one fully-connected layer, which predicts an optimal playout time by utilizing the sequential playout delays. The experiments are conducted with an existing method that uses the EWMA and the proposed method that uses the DeepGroupSync. The results show that the proposed method are more robust against unpredictable or rapid network condition changes than the existing method.

본 논문에서는 네트워크 환경에서 원격사용자들의 몰입형 상호작용을 위한 딥러닝 기반의 그룹 동기화 기법을 제안한다. 그룹 동기화의 목적은 사용자의 몰입감을 높이기 위해서 모든 참여자가 동시에 상호작용이 가능하게 하는 것이다. 기존 방법은 시간 정확도를 향상을 위해 대부분 NTP(Network Time Protocol) 기반의 시간 동기화 방식에 초점이 맞추어져 있다. 동기화 서버에서는 미디어 재생 시간을 제어하기 위해 이동 평균 필터를 사용한다. 그 한 예로서, 지수 가중평균 방법은 입력 데이터의 변화가 크지 않으면 정확하게 재생 시간을 추종하고 예측하나 네트워크, 코덱, 시스템 상태의 급격한 변화가 있을 때는 안정화를 위해 더 많이 시간이 필요하다. 이런 문제점을 개선하기 위해서 데이터의 특성을 반영할 수 있는 딥러닝 기반의 그룹 동기화 기법인 DeepGroupSync를 제안한다. 제안한 딥러닝 모델은 시계열의 재생 지연 시간을 이용하여 최적의 재생 시간을 예측하는 두 개의 GRU(gated recurrent unit) 계층과 하나의 완전 연결 계층으로 구성된다. 실험에서는 기존의 지수 가중평균 기반 방법과 제안한 DeepGroupSync 방법에 대한 성능을 평가한다. 실험 결과로부터 예상하지 못한 급격한 네트워크 조건 변화에 대해서 제안한 방법이 기존 방법보다 더 강건함을 볼 수 있다.

Keywords

References

  1. Google [Internet], https://developers.google.com/glass/, visited in October 2022.
  2. Meta [Internet], https://www.meta.com/en/, visited in October 2022.
  3. Microsoft [Internet], https://www.microsoft.com/en-us/mesh visited in October 2002.
  4. SteamVR [Internet], https://steamcommunity.com/steamvr, visited in October 2022.
  5. J. D. N. Dionisio, W. G. Burns III, and R. Gilbert., "3D virtual worlds and the metaverse: Current status and future possibilities," ACM Computing Surveys (CSUR), Vol.45, No.3, 2013, pp.1-38.
  6. R. Steinmetz and M. Thomas, "Multimedia synchronization techniques: Experiences based on different system structures," ACM SIGCOMM Computer Communication Review, Vol.22, No.3, pp.90-91, 1992. https://doi.org/10.1145/142267.142336
  7. D. L. Mills, "Network time protocol version 4 reference and implementation guide," Electrical and Computer Engineering Technical Report 06-06-1, 2006.
  8. K. B. Lee and J. Eldson, "Standard for a precision clock synchronization protocol for networked measurement and control systems," IEEE Standard 1588, 2004.
  9. T. Y. Lee, E. Lee, J. Surh, J. J. Lee, and B. J. You, "Balanced clock skew compensation for immersive networked interactions based on inter media synchronization levels," In 2018 10th Computer Science and Electronic Engineering (CEEC), pp.119-124, 2018.
  10. Z. Huang, K. Nahrstedt, and R. Steinmetz, "Evolution of temporal multimedia synchronization principles: A historical viewpoint," ACM Transactions on Multimedia Computing Communcations and Applications, Vol.9, Nol.1s, pp.1-23, 2013.
  11. H. M. M. M. Lwin, Y. Ishibashi, and K.T. Mya, "Human perception of group synchronization error in remote learning dependencies of voice and video contents in one-way communication," International Journal of Communications, Network and System Sciences, Vol.15, No.3, pp.31-42, 2022. https://doi.org/10.4236/ijcns.2022.153003
  12. S. N. Givigi, K. M. Cabral, and P. T. Jardine, "Group synchronization in coordination tasks via network control methods," IFAC-PapersOnLine, Vol.53, No.2, pp. 10182-10187, 2020. https://doi.org/10.1016/j.ifacol.2020.12.2746
  13. P. Cisar, S. Bosnjak, and S. M. Cisar, "EWMA algorithm in network practice," International Journal of Computers Communications & Control, Vol.5, No.2, pp.160-170, 2010. https://doi.org/10.15837/ijccc.2010.2.2471
  14. K. Cho, B. Van Merrienboer, D. Bahdanau, and Y. Bengio, "On the properties of neural machine translation: Encoder-decoder approaches," arXiv preprint arXiv:1409.1259, 2014.
  15. P. J. Huber, "Robust estimation of a location parameter," Breakthroughs in statistics (pp.492-518), Springer, New York, NY, 1992.