• ETRI Journal
• /
• 제44권1호
• /
• pp.62-72
• /
• 2022

In this study, we propose a multi-GPU-based 8KVR stitching system that operates in real time on both local and cloud machine environments. The proposed system first obtains multiple 4 K video inputs, decodes them, and generates a stitched 8KVR video stream in real time. The generated 8KVR video stream can be downloaded and rendered omnidirectionally in player apps on smartphones, tablets, and head-mounted displays. To speed up processing, we adopt group-of-pictures-based distributed decoding/encoding and buffering with the NV12 format, along with multi-GPU-based parallel processing. Furthermore, we develop several algorithms such as equirectangular projection-based color correction, real-time CG overlay, and object motion-based seam estimation and correction, to improve the stitching quality. From experiments in both local and cloud machine environments, we confirm the feasibility of the proposed 8KVR stitching system with stitching speed of up to 83.7 fps for six-channel and 62.7 fps for eight-channel inputs. In addition, in an 8KVR live streaming test on the 5G MEC/cloud, the proposed system achieves stable performances with 8 K@30 fps in both indoor and outdoor environments, even during motion.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2003년도 학술회의 논문집 정보 및 제어부문 A
• /
• pp.155-158
• /
• 2003

This paper proposes a quality-of-service(QoS)-adaptive proxy-switching scheme for multimedia streaming over the Internet. characteristic of multimedia-object about that effect on weight and transport-time causes Streaming Application is restricted to high-quality-service. But using of Proxy or Cache can reduce restraint of media stream. However previous scheme propose only structure of proxy and skill of streaming-object. It couldn't propose proper scheme about limited cache and proxy error occasion. We propose adaptive-proxy-switching mechanism for solution about some problems that caused by single-proxy and limited cache in case of streaming service.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권1호
• /
• pp.414-435
• /
• 2017

As network adaptive streaming technology becomes increasingly common, transport protocol also becomes important in guaranteeing the quality of multimedia streaming. At the same time, because of the appearance of high-quality video such as Ultra High Definition (UHD), preventing buffering as well as preserving high quality while deploying a streaming service becomes important. The Internet Engineering Task Force recently published Multipath TCP (MPTCP). MPTCP improves the maximum transmission rate by simultaneously transmitting data over different paths with multiple TCP subflows. However, MPTCP cannot preserve high quality, because the MPTCP subflows slowly increase the transmission rate, and upon detecting a packet loss, drastically halve the transmission rate. In this paper, we propose a new multipath congestion control scheme for high-quality multimedia streaming. The proposed scheme preserves high quality of video by adaptively adjusting the increasing parameter of subflows according to the network status. The proposed scheme also increases network efficiency by providing load balancing and stability, and by supporting fairness with single-flow congestion control schemes.

• 방송공학회논문지
• /
• 제10권4호통권29호
• /
• pp.548-556
• /
• 2005

무선 네트워크 환경은 채널의 페이딩 현상 및 채널 잡음으로 인해 다량의 패킷 손실 및 전송 지연의 변동이 유발되며 이는 스트리밍 미디어의 급격한 화질 열화를 발생시킨다. 이러한 채널 변동이 심한 무선 네트워크 환경에서 성공적으로 미디어를 전송하기 위해서는 유동적이고 네트워크에 적응적인 전송 기법이 필요하다. 따라서 본 논문에서는 무선 채널의 변동에 적응적이고 패킷 손실을 최소화하는 패킷 단위 interleaved FEC와 delay-constrained ARQ로 이루어진 응용계층 레벨에서의 네트워크적응형 전송오류 제어 기법을 제안한다. 또한 제안 기법을 포함한 각종 전송오류 제어 (혼합) 기법들을 검증하기 위해 시뮬레이션 툴을 개발하였다. 이를 통해 전송 계층에서의 전송오류 제어 성능을 확인하고, 전송되는 영상에 대한 객관적인 품질 평가를 진행한다. 진행된 시뮬레이션 결과를 통해 제안된 전송오류 제어 기법이 전송 계층에서의 전송오류 제어 성능을 향상시키며, 나아가서 전송되는 영상의 품질을 개선함을 확인한다.

• 한국멀티미디어학회논문지
• /
• 제7권3호
• /
• pp.368-376
• /
• 2004

본 논문에서는, 현재 윈도우즈 미디어 기술(Windows media technology)이 스트리밍 미디어를 작성, 배포, 재생할 수 있도록 구성 된 포괄적인 개발 도구이기는 하지만 프로그램 기능상의 고난도로 인하여 일반 사용자들이 쉽게 접근하지 못하는 점을 고려, 쉽게 스트리밍 미디어를 작성 할 수 있게 해주는 저작도구를 개발한 내용을 소개한다. 기존의 마이크로소프트사의 ASF(Advanced Systems Format) 저작도구는 사용자가 직접 삽입 시간을 입력해야 하고 ASX(ASF Stream Redirector) 파일을 저작하려면 별도의 응용프로그램을 사용해야 했다. 본 저작도구는 ASF 파일 제작시 사용자의 입력을 최소화하기 위해 마커와 스크립트 커맨드 정보입력 인터페이스를 쉽게 접근할 수 있도록 설계하였으며 마커와 스크립트 커맨드의 삽입을 간단히 마우스의 조작만으로 시간과 위치를 계산할 수 있는 기능을 구현하였다. 또한, ASX 파일 생성 마법사를 사용하여 ASX 파일을 직접 코딩하지 않고도 사용자가 원하는 기능으로 ASX 파일을 저작할 수 있으며, 최종적으로 템플릿을 이용하여 ASF, ASX파일이 삽입된 웹 페이지를 간단히 생성할 수 있고 생성과 동시에 브라우저에서 확인할 수 있는 기능을 구현하였다. 본 저작도구의 장점 은 ASF 파일의 마커와 스크립트 커맨드를 편리하게 삽입하고 편집할 수 있는 InfoSlider와 자신이 원하는 템플릿을 선택할 수 있는 ASX 파일 생성 마법사를 활용하여 윈도우즈 미디어 기술에 대한 지식이 없는 사용자들도 멀티미디어 컨텐트를 손쉽게 저작할 수 있게 해주는 점이다.

• 정보과학회 논문지
• /
• 제43권4호
• /
• pp.470-479
• /
• 2016

UCC(User Created Contents) 형태의 다양한 영상 미디어 데이터가 증가함에 따라 의미 있는 서비스를 제공하기 위해 많은 분야에서 활발한 연구가 진행 중이다. 그 중 시맨틱 웹 기반의 미디어 분류에 대한 연구가 진행되고 있지만 기존의 미디어 온톨로지는 메타 정보를 이용하기 때문에 정보의 부재에 따른 한계점이 있다. 따라서 본 논문에서는 영상에서 인지되는 객체를 정하고 그 조합으로 구성된 서술 논리 기반의 온톨로지를 구축하고 영상의 장면에 따른 순서 기반의 규칙을 정의하여 이벤트 인지에 대한 기틀을 제안한다. 또한 증가하는 미디어 데이터에 대한 처리를 위해 분산 인-메모리 기반 프레임워크인 아파치 스파크 스트리밍을 이용하여, 영상 분류를 병렬로 처리하는 방법에 대해 설명한다. 유튜브에서 추출한 영상을 대상으로 대용량 미디어 온톨로지 데이터를 생성하고, 이를 이용하여 제시된 기법에 대한 성능 평가를 진행하여 타당성을 입증한다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제7권1호
• /
• pp.24-37
• /
• 2001

본 논문에서는 통합 멀티미디어 스트리밍 프레임워크(Integrated Streaming Service Architecture : ISSA)의 주요 모듈인 전송 및 세션 관리자의 구현에 대한 개발 경험을 소개한다. ISSA는 유니캐스팅/멀티캐스팅 환경의 VOD 시스템과 실시간 방송시스템(라이브캐스팅)과 같은 통합 멀티미디어 스트리밍 서비스 응용을 개발하기 위한 스트리밍 프레임워크이며 RTP/RTCP, RTSP 등의 표준 실시간 전송 프로토콜을 사용함으로써 사용자에게 범용성을 제공한다. ISSA는 다양한 형태의 미디어를 지원하며, 이기종 운영체제와 네트워크에 독립적으며, 실시간 멀티미디어 데이타베이스와 연동하여 사용자에게 데이타베이스 서비스를 제공할 수 있다. 전송 관리자는 ISSA에서 다양한 형식의 멀티미디어 데이타를 알맞게 분해, 조립하는 기능과 패킷화된 미디어 데이타를 실시간으로 전달하는 역할을 수행하며 RTP 프로토콜을 이용하여 구현되었다. 세션 관리자는 미디어 채널의 생성과 제어를 담당하는 기능과 멀티미디어 데이타베이스를 위한 트랜잭션 전송기능을 담당하는 기능을 제공하여 각각 RTSP와 RTTP 프로토콜을 이용하여 구현되었다. 전송관리자와 세션 관리자는 네트워크 인터페이스를 통해 송수신 기능을 수행함으로써 다양한 네트워크 프로그래밍 인터페이스를 지원할 수 있는 유연한 구조를 지니고 있다.

• 한국인터넷방송통신학회논문지
• /
• 제12권5호
• /
• pp.275-281
• /
• 2012

스마트폰의 대중화로 모바일기기에서의 음악을 듣기 위한 스트리밍 서비스가 주요시 되고 있다. 애플 iOS에서는 Apple의 HTTP Live Streaming 방식을 사용하고 안드로이드에서는 RTSP(Real-time Streaming Protocol) 방식을 사용한다. 모바일 실시간 스트리밍을 지원하기 위해 와우자 미디어 서버를 사용하게 되는데, 이는 애플과 안드로이드 모바일 스트리밍 모두를 지원한다. 본 논문에서는 스마트폰 자체의 녹음 기능을 통해 유저 스스로가 노래를 녹음하고, 이를 스트리밍 서버에 업로드 하여 유저가 선택한 노래를 실시간으로 스트리밍 모바일 재생 서비스가 가능하고, 노래공유 SNS 기능을 제공하는 스마트폰 앱의 설계 및 구현에 대해 기술하고자 한다.

• 방송공학회논문지
• /
• 제27권6호
• /
• pp.914-922
• /
• 2022

본 논문에서는 5G 이동통신망을 전송채널로 활용하는 4K UHD(Ultra High Definition) 상용 스트리밍 장치를 구성하고 성능시험 결과를 제시한다. 스트리밍 장치는 전송품질에 대한 모니터링 기능을 제공하는 RTP(Realtime Transport Protocol)를 전송 프로토콜로 적용하여 적응형 스트리밍 기능을 제공한다. 또한, 전송채널의 대역폭 변화에 최적화된 인코딩을 위하여 영상신호의 인코딩률을 조절할 수 있는 기능을 제공하며, 세 개의 5G 이동통신망과 인터페이스 되어 특정 채널에서의 장애 발생 시 다른 채널을 통해 스트리밍하는 자동 절체 기능도 제공한다. 성능시험을 통하여 4K UHD 신호에 대한 H.265 인코딩률은 48.69Mbps, Glass-to-Glass 평균 지연시간은 293.60ms, 립싱크를 위한 비디오 및 오디오의 평균 시간 차이는 120ms 수준임이 확인되어, 개발제품이 5G 이동통신망을 통한 4K UHD 스트리밍 장치로 적용될 수 있음을 보인다.

• 한국통신학회논문지
• /
• 제34권5B호
• /
• pp.517-525
• /
• 2009

인터넷을 통하여 다른 서비스에 비해 상대적으로 많은 대역폭을 필요로 하는 비디오 스트리밍 서비스를 제공할 경우, 다른 플로우들과의 형평성을 제공하면서 비디오 서비스의 품질을 보장해야한다. 이를 위하여 본 논문에서는 스케일러블 비디오 압축 스트림에 대한 멀티채널 TCP-friendly 스트리밍 기법을 제안하였다. 제안 구조는 스케일러블 비디오 코딩으로 압축된 비디오 정보를 기본계층(baseline layer)은 TCP를 이용하여 손실 없이 전송하고 상위계층(enhancement layer)는 TFRC (TCP friendly rate control)을 이용하여 전송하도록 하였다. 이때, TFRC로 전송되는 상위계층 레이어에 대한 전송률은 수신측 재생버퍼의 상태와 전송 미디어의 계층별 부호화율을 고려하여 적응적으로 결정되도록 제안하였다. 시뮬레이션 결과를 통하여, 이러한 적응적 전송률 제어를 통하여 제안 스트리밍 방식이 기존 방식에 비해 네트워크 상황변화에 신속히 적응하고 혼잡상황에서도 일정수준의 서비스 품질을 보장함을 확인 할 수 있다.