• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2014년도 추계학술대회
• /
• pp.203-205
• /
• 2014

UHD 영상 콘텐츠는 FHD 영상에 비해 생생하고 더 좋은 고화질의 영상을 제공하지만 영상정보의 데이터 양은 4K UHD 경우 4 배 이상이다. 이러한 초대용량의 UHD 영상을 기존의 병렬/분산 처리를 이용하여 비디오 코딩 한다면 UHD 의 초대용량 특성으로 인하여 연산량 부하가 발생하게 된다. 따라서 UHD 영상은 기존의 분산처리 방식이 아닌 초대용량 데이터를 빠르게 처리 할 수 있는 새로운 분산 처리기술이 필요하다. 본 논문은 UHD 콘텐츠를 빠르게 트랜스코딩 할 수 있는 클라우드 기반 UHD 영상 트랜스코딩 시스템을 제안한다. 본 논문에서 제안하는 UHD 영상 트랜스코딩 시스템은 다음 3 가지 패킷 분석기, 분산 트랜스코더, 스트림 합성기로 구성된다. 패킷 분석기는 입력 영상을 분석하여 오디오와 비디오 스트림을 분할하고 비디오 스트림은 분산처리를 할 수 있도록 영상 패킷을 분할한다. 분산 트랜스코더는 클라우드 환경을 이용하여 분할된 영상 패킷들을 분산 디코드 및 인코드 처리한다. 스트림 합성기는 트랜스코딩이 완료된 비디오 스트림과 패킷 분석기에서 획득하였던 오디오 스트림을 합성하는 기능을 한다. 제시하는 방안을 적용하여 클라우드 기반 영상 트랜스 코딩 시스템을 구현하였으며, 구현된 시스템은 대용량의 UHD 영상을 빠른 속도로 트랜스코딩이 가능하다.

• 전자통신동향분석
• /
• 제26권1호
• /
• pp.80-88
• /
• 2011

데이터의 효과적인 활용이 경쟁력 확보에 주요한 요인이나, 데이터 폭증은 유용한 정보를 얻는데 필요한 처리 시간의 지연을 야기하고 있다. 개인 맞춤형 서비스, 방범 방재 서비스 등 모니터링 & 대응 서비스를 위해 분석할 데이터의 양이 급증하고 있으며, 텍스트, 영상, 오디오 등 비정형 데이터에 대한 실시간 분석 필요성이 증대하고 있다. 대량의 폭증하는 데이터에 대한 실시간 분석 처리 환경을 제공하기 위해 분산 병렬 컴퓨팅 기술과 데이터 스트림 연속 처리 기술이 활용되고 있다. 본고에서는 폭증하는 데이터 스트림 처리를 위하여 확장성 및 유연한 처리 환경을 제공하는 분산 스트림 컴퓨팅 기술에 대해 소개한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 추계학술발표대회
• /
• pp.214-215
• /
• 2015

데이터 스트림 환경에서 연속 질의를 처리하기 위한 데이터 스트림 처리 시스템이 개발되었다. 데이터 스트림 처리 시스템에서 질의를 처리하는 태스크에 과도한 데이터가 발생할 경우 일반적으로 데이터 스트림을 선별적으로 버리는 load shedding 방법을 이용하지만 이러한 방법은 처리 결과의 정확도가 저하될 수 있다. 따라서, 본 논문은 이를 해결하는 방법으로 분산 데이터 스트림 처리 시스템에서 데이터 스트림 분할을 통한 데이터 스트림 연속 처리 태스크의 병렬 처리 방법을 제시한다. 이를 위해 분산 데이터 스트림을 처리하기 위한 기준을 제시 및 데이터 분할 방법에 대해서 언급한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
• /
• pp.34-36
• /
• 2005

데이터 스트림 처리에 관한 연구들은 최근 컴퓨터 과학 분야에서 가장 않은 관심을 가지고 있고 흥미있는 이슈 중 하나이다. 이러한 경향은 다양한 어플리케이션의 출현으로 질의 저리에 대한 효율적인 방법과 새로운 데이터 스트림의 모델을 필요로 하기 때문일 것이다. 본 논문은 그 중에서도 데이터 스트림 분야의 가장 중요한 부분으로 생각되는 스케줄링, 적절한 질의 처리, 부하 분산, 근사화, 분산 데이터 모니터링에 대한 연구 분석을 도모하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2002년도 춘계학술발표논문집 (상)
• /
• pp.337-340
• /
• 2002

본 논문에서는 CORBA 환경 하에서 멀티미디어 스트림을 효율적으로 처리하고 제어하기 위한 멀티미디어 스트림 통신 서비스의 설계와 구현에 관한 내용을 기술한다. 제안하는 멀티미디어 스트림 통신 서비스에서는 멀티미디어 스트림의 효율적인 처리와 제어 그리고 전송을 위한 소프트웨어 구성 요소들을 분산 객체들로 설계한다. 그리고 제어 데이터와 미디어 데이터의 전송 경로를 분리하여 미디어 데이터의 전송은 RTP(Realtime Transport Protocol)로 직접적으로 전송하므로서 멀티미디어 스트림의 전송 효율을 최적화한다. 우리는 멀티미디어 스트림 통신을 위한 분산 객체들 간의 연결설정과 제어 절차를 보여주며, 테스트 시스템을 구축하여 성능을 평가한다 성능 평가 결과 연결 설정 지연은 TCP 연결에 비해 다소 지연을 가지나, 미디어 데이터의 전송은 CORBA 의 IIOP 프로토콜에 비해 최적화된 성능을 보여준다.

• 정보처리학회논문지A
• /
• 제9A권2호
• /
• pp.207-216
• /
• 2002

본 논문에서는 CORBA환경 하에서 오디오/비디오 스트림을 효율적으로 처리하고 제어하기 위한 분산 오디오/비디오 스트림 프래임워크의 설계와 구현에 관한 내용을 기술한다. 분산 오디오/비디오 스트림 서비스 프레임워크는 오디오/비디오 스트림의 효율적인 처리와 제어 그리고 전송을 위한 소프트웨어 구성 요소들을 분산 객체들로 설계한다. 그리고 오디오/비디오 데이터의 전송 효율을 최적화하기 위하여 제어 데이터와 미디어 데이터의 전송 경로를 분리한다. 분산 객체들은 IDL로 정의하며 JAVA로 구현한다. 그리고 미디어 데이터의 캡쳐, 재생 그리고 통신 채널 등 디바이스에 의존적인 기능들은 JMF에서 제공하는 컴포넌트들로 구현한다. 스트림 통신을 위한 분산 객체들 간의 연결설정과 제어 절차를 보여주며, 검증을 위하여 테스트 시스템을 구축하여 성능을 실험한다. 실험 결과 연결설정 지연은 TCP 연결에 비해 다소 지연을 가지나, 미디어 데이터의 전송은 RTP/UDP프로토콜을 사용하여 CORBA의 IIOP 프로토콜에 비해 최적화된 성능을 보여준다. 또한 미디어 데이터를 전송할 때 서비스 품질을 측정한 결과 만족할 만한 성능을 보여준다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 1998년도 춘계종합학술대회
• /
• pp.204-209
• /
• 1998

OMG에서 제안된 CORBA는 표준 개방 분산환경의 플래트폼을 제공하며 객체지향적인 방법으로 최근 주목을 받고 있다. 일반적으로 CORBA는 원격 데이터베이스 질의 등과 같은 요구/응답형의 응용에 잘 적용이 된다. 그러나 과도한 처리부담, 실시간 처리 기능과 QOS 지원 등의 결여로 멀티미디어 스트림과 같은 연속미디어의 처리에는 부적합하다. 본 논문에서는 실시간 제약을 갖는 멀티미디어 스트림의 효율적인 전송을 위하여 기존의 CORBA를 확장하여 멀티미디어 서비스를 설계한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 추계학술발표대회
• /
• pp.573-576
• /
• 2018

아파치 카프카(Apache Kafka)는 데이터 스트림을 실시간 전달하는 분산 메시지 큐잉 플랫폼이다. 카프카는 대다수의 실시간 처리 응용에 사용되는데, 흔히 데이터 스트림의 발생지와 실시간 처리 시스템 사이(입력) 또는 실시간 처리 시스템과 처리 결과의 목적지 사이(출력)에 배치된다. 분산 기술을 도입한 카프카는 다른 메시지 큐잉 기술에 비해 대용량 데이터 스트림을 더욱 빠르게 전달 할 수 있다는 장점을 갖는다. 하지만, 카프카에 적재되는 데이터 스트림의 양과 실시간 처리 응용의 수가 증가할수록 메시지 지연시간은 매우 높아질 수 밖에 없다. 본 논문은 이러한 카프카의 메시지 지연 문제를 해결하고자 카프카의 로드 쉐딩 엔진을 제안한다. 로드 쉐딩의 세 가지 필수적인 결정에 따라, 제안하는 로드 쉐딩 엔진은 카프카의 프로뷰서에서 지연시간이 기준치를 초과할 경우 일부 메시지 전송을 제한하여 지연시간을 줄인다. 실제 실시간 처리 응용으로 실험한 결과, 단일/다중 데이터 스트리 모두 로드 쉐딩이 바르게 작동하여 지연시간이 지속적으로 증가하지 않고 오르내림이 반복되는 추세를 보였다. 본 연구는 데이터 스트림의 입출력을 카프카로 관리하는 실시간 처리 응용에 로드 쉐딩 기법을 적용한 첫 번째 시도로서, 앞으로 데이터 스트림 처리에 사용될 의미 있는 연구라 사료된다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.396-398
• /
• 2023

Statista 통계 조사에 따르면 데이터의 규모는 매년 증가할 것으로 예상하고 빅데이터 처리 프레임워크의 관심이 높아지고 있다. 빅데이터 처리 프레임워크 Spark는 Shuffle 과정에서 노드 간 데이터 전송이 일어난다. 이때 분산 처리한 데이터를 네트워크로 전송하기 위해 객체를 바이트 스트림으로 변환하여 메모리 buffer에 담는 직렬화 작업이 필요하다. 그러나 바이트 스트림을 buffer에 담는 과정에서 바이트 스트림의 크기가 메모리 buffer보다 클 경우, 메모리 할당 과정이 추가로 발생하여 전체적이 Spark의 성능 저하로 이어질 수 있다. 이에 본 논문에서는 Spark 환경에서 분산 처리 성능 향상을 위한 직렬화 buffer 최적화 시스템을 제안한다. 제안하는 방법은 Spark Driver가 Executor에게 작업을 할당하기 전 직렬화된 데이터 크기 측정과 직렬화 옵션 설정을 통해 Executor에게 적절한 buffer를 할당할 수 있다. 향후 제안하는 방법의 검증을 위해 실제 Spark 클러스터 환경에서 성능 평가가 필요하다.

• 정보과학회 논문지
• /
• 제44권11호
• /
• pp.1209-1218
• /
• 2017

최근 스마트 자동차, 스마트폰과 같은 다양한 소스로부터 공간 빅데이터 스트림을 수집하는 것이 매우 용이해졌다. 공간 데이터 스트림은 편중되고 동적으로 변화하는 분포를 지니기 때문에 전체 부하가 분산 클러스터 내의 작업자들에게 효율적으로 분배되지 않을 경우 전체 시스템의 성능이 저하된다. 본 연구에서는 공간 데이터 스트림에 특화된 부하 균형화 알고리즘인 적응적 공간 키 그룹핑(ASKG)을 제안한다. ASKG의 핵심 아이디어는 공간 데이터 스트림의 최근 분포를 학습하고 이를 기반으로 향후 유입되는 데이터 스트림이 각 작업자에게 고르게 분배되도록 하는 새로운 그룹핑 스키마를 제안하는 것이다. 이를 공간 분포의 변화에 맞춰 주기적으로 반복함으로서 적응적으로 부하 불균형을 해결할 수 있다. 실제 데이터셋에 대해 작업자의 수, 입력 속도, 공간 질의 처리 시간을 변화시키며 성능을 평가한 결과, 대안 알고리즘 대비 제안 방법이 부하 불균형, 처리량, 지연 시간에서 높은 개선효과를 보였다.