The Journal of the Institute of Internet, Broadcasting and Communication (한국인터넷방송통신학회논문지)

The Institute of Internet, Broadcasting and Communication (한국인터넷방송통신학회)
권호 표지
DOI QR코드

DOI QR Code

A Study on the Internet Broadcasting Image Processing based on Offloading Technique on the Mobile Environments

모바일 환경에서 오프로딩 기술 기반 인터넷 방송 영상 처리에 관한 연구

  • Kang, Hong-gue (Dept. of Broadcasting & visual art, Joongbu University)
  • 강홍규 (중부대학교 방송영상학과)
  • Received : 2018.10.04
  • Accepted : 2018.12.08
  • Published : 2018.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

Offloading is a method of communicating, processing, and receiving results from some of the applications performed on local computers to overcome the limitations of computing resources and computational speed.Recently, it has been applied in mobile games, multimedia data, 360-degree video processing, and image processing for Internet broadcasting to speed up processing and reduce battery consumption in the mobile computing sector. This paper implements a viewer that enables users to convert various flat-panel images and view contents in a wireless Internet environment and presents actual results of an experiment so that users can easily understand the images. The 360 degree spherical image is successfully converted to a plane image with Double Panorama, Quad, Single Rectangle, 360 Overview + 3 Rectangle depending on the image acquisition position of the 360 degree camera through the interface. During the experiment, more than 100 360 degree spherical images were successfully converted into plane images through the interface below.

오프로딩(offloading)은 컴퓨팅 자원 및 계산 속도의 한계를 극복하기 위해 로컬 컴퓨터에서 수행하는 어플리케이션의 일부를 컴퓨팅 자원과 처리능력이 우수한 원격지 컴퓨터에 전달하여 처리한 후 결과를 반환받는 방식이다. 최근에는 컴퓨팅 자원과 처리능력에 한계를 갖고 있는 모바일 컴퓨팅 분야에서 처리속도를 높이고 배터리 소모를 줄이기 위해 모바일 게임, 멀티미디어 데이터, 360도 동영상 처리, 인터넷 방송용 이미지 처리 분야에서 응용되고 있다. 본 논문에서는 모바일 장치에서 촬영된 360도 구면 영상을 사용자가 쉽게 영상 내용을 이해할 수 있도록 다양한 평면 영상을 변환하고 내용을 확인할 수 있는 뷰어를 무선 인터넷 환경에서 오프로딩 기술을 적용하여 구현하고 실제 실험 결과를 제시한다. 360도 구면 영상은 인터페이스를 통해 360도 카메라의 영상 획득 위치에 따라 Double Panorama, Quad, Single Rectabgle, 360 Overview + 3 Rectangle로 평면영상으로 변환이 성공적으로 수행된다. 실험과정에서 100가지 이상의 360도 구면 영상을 아래 인터페이스를 통해 평면 영상으로 변환을 성공적으로 진행하였다.

Keywords

OTNBBE_2018_v18n6_63_f0001.png 이미지

그림 1. 오프로딩을 통한 어플리케이션 개발 Fig. 1. Application Development through Offloading

OTNBBE_2018_v18n6_63_f0002.png 이미지

그림 2. 360도 영상 처리 오프로딩 시스템 Fig. 2. 360 Degree Image Processing Offloading System

OTNBBE_2018_v18n6_63_f0003.png 이미지

그림 3. 360 영상 뷰어 처리 과정 Fig. 3. 360 Degree Image Viewer Processing Procedure

OTNBBE_2018_v18n6_63_f0004.png 이미지

그림 4. 평면 뷰어의 메뉴 및 기능 Fig. 4. Plain Viewer Menus and Functions

OTNBBE_2018_v18n6_63_f0005.png 이미지

그림 5. 360도 원본 영상 Fig. 5. 360 Degree Original Image

OTNBBE_2018_v18n6_63_f0006.png 이미지

그림 6. Quad 뷰 평면 변환 영상 Fig. 6. Quad View Plain Transformation Image

OTNBBE_2018_v18n6_63_f0007.png 이미지

그림 7. 프레임별 오탐지 수준 Fig. 7. Error Detection Level per Frames

References

  1. Hoang T. Dinh, Chonho Lee, Dusit Niyato, and Ping Wang, "A survey of mobile cloud computing: architecture, applications, and approaches". in Wireless Communications and Mobile Computing, John Wiley & Sons, Ltd., 2011.
  2. Alexey Rudenko, Peter Reiher, Gerald J. Popek and Geoffery H. Kuenning, "Saving Portable Computer Battery Power through Remote Process Execution", Mobile Computing and Communication Review, Vol. 2, pp.19-26, 1998. https://doi.org/10.1145/584007.584008
  3. Karthik Kumar, Jibang Liu, Yung-Hsiang Lu, Bharat Bhargava, "A Survey of Computation Offloading for Mobile Systems", Journal of Mobile Networks and Applications, Vol. 18, Issue 1, pp.129-140, 2012.
  4. Eduardo Cuervo, Aruna Balasubramanian, Dae-ki Cho,Alec Wolman, Stefan Saroiu, Ranveer Chandra, Paramvir Bahl, "MAUI: Making Smartphones Last Longer with Code Offload", International Conference on Mobile Systems, Applications, and Services(MobiSys '10), pp.49-62 2010.
  5. Byung-Gon Chun, Sunghwa Ihm, Petros Maniatis, "CloneCloud: Elastic Execution between Mobile Device and Cloud", International Conference on Mobile Systems, Applications, and Services(MobiSys '11), pp.301-314, 2011.
  6. R.Kemp, N. Palmer, T. Keilman, and H. pal, "Cuckoo: A Computation Offloading Framework for Smartphones", In Proc. of MobiCASE, 2010.
  7. Sokol Kosta, Andrius Aucinas, Pan Hui, Richard Mortier, Xinwen Zhang, "ThinkAir: Dynamic resource allocation and parallel execution in the cloud for mobile code offloading", In Proc. of INFOCOM'12, pp. 945-953, 2012.
  8. Aki Saarinen, Matti Siekkinen, Yu Xiao, Jukka K. Nurminen, Matti Kemppainen, Pan Hui, "SmartDiet: offloading popular apps to save energy", In Proc. of ACM SIGCOMM '12, pp. 297-298, 2012.
  9. G. Tong, J. Gu, "Locating objects in spherical panoramic images," IEEE International Conference on Robotics and Biomimetics, pp. 818-823, 2011.
  10. Gabriele Fangi, "Photogrammetric Processing of Spherical Panoramas," The Photogrammetric Record, Vol. 28, Issue 143, pp. 293-311, September. 2013. https://doi.org/10.1111/phor.12031
  11. J. Cruz-Mota, I. Bogdanova, B. Paquier, M. Bierlaire, J.-P. Thiran, Scale invariant feature transform on the sphere: Theory and applications, IJCV, Vol. 98(2), pp. 217-241, 2012. https://doi.org/10.1007/s11263-011-0505-4