최근 기존의 설치형 어플리케이션으로 제공되던 워드 프로세서나 스프레드 시트 등이 RIA(Rich Internet Application)와 Ajax(Asynchronous JavaScript and XML)같은 기술의 발달로 구글 독스(Google Docs)와 같이 웹브라우저(Web Browser)에서 동작하는 형태의 클라우드 기반 웹 어플리케이션으로 제작되어 널리 사용되고 있다. 또한 기존의 웹 기술로는 구현하기 어려웠던 동영상 포맷 변환이나 사진이나 동영상에 필터를 적용하는 것과 같은 영상처리가 가능한 클라우드 기반 웹 어플리케이션이 등장하고 있는 실정이다. 이에 본 논문은 컴퓨팅 자원을 많이 사용하고, 장시간의 변환이 필요한 360도 영상의 변환과정에 꼭 필요한 기술인 포토스티칭(Photo-stitching)을 클라우드에서 가능하게 하는 프론트엔드 및 백엔드를 구현하고, 웹소켓(Websocket)기술을 활용하여 실시간으로 변환결과를 전달 받을 수 있도록 하였다.

가상 현실 시장은 꾸준한 성장을 하고 있다. 가상 현실 시장이 성장함에 따라 게임 엔진을 이용한 가상 현실콘텐츠 뿐만 아니라 실제 특수 디바이스를 이용하여 촬영한 $360^{\circ}$ 비디오 콘텐츠 시장도 성장하고 있다. 하지만 실제로 촬영한 $360^{\circ}$ 비디오같은 경우 4D 가상 현실 콘텐츠를 즐기기 위해서는 먼저 특수 장치와 $360^{\circ}$ 비디오 간의 이벤트를 정의해야 하는 성가심이 있다. 이러한 불편함을 극복하기 위해 물리적 감각 효과를 일으키는 객체를 인식하고 서술하는 기법을 제시한다. $360^{\circ}$비디오 내의 감각 효과를 일으키는 객체를 인식하고 좌표계 내에 위치를 설정하여 사용자와의 거리가 임계값 이하면 효과를 일으키게 하여 사전에 콘텐츠를 확인하고 감각 효과를 미리 설정하는 번거로움을 없앨 수 있다.

360 비디오는 몰입감을 제공해주는 새로운 타입의 미디어로 최근 그 주목도가 더해져 가고 있다. 이에 따라 차세대 비디오 표준 기술 탐색을 진행하고 있는 JVET(Joint Video Exploration Team)에서는 360 비디오를 SDR 및 HDR 비디오와 함께 표준화 대상으로 논의되고 있다. 현재 JVET 에서는 360 비디오를 부호화 하기 위한 다양한 2D 투영기법이 제시되고 있다. 2D 로 변환된 영상은 투영 면(face) 간의 불연속성과 비활성 영역이 존재할 수 있으며 이는 부호화 효율을 저하시키는 원인이 된다. 본 논문에서는 ISP(Icosahedral Projection)에서의 이러한 불연속성과 비활성 영역을 줄이는 효과적인 프레임 패킹(packing) 기법을 제시한다. 제안 기법은 투영면들 간의 불연속 경계면을 효율적으로 배치하여 주관적 화질과 부호화 효율을 향상시킨다. 실험결과 기존 CISP(Compact ISP) 대비 1.0%, 1.0%, 1.27%, 0.63%의 BD-rate 감소를 확인 할 수 있었다. 또한 기존 CISP 대비 주관적 화질이 향상된 것을 확인 할 수 있었다.

지상파 UHD 방송은 시청자에게 기존 HD 방송화면보다 4배 더 선명한 영상 서비스를 제공하며, 광대역 통신망과 결합한 홈포탈(Home Portal) 서비스를 통해서 다양한 부가서비스를 지상파 방송과 함께 제공할 수 있다. 본 논문에서는 지상파 UHD TV 방송과 연계된 360도 가상현실(VR; Virtual Reality) 부가서비스 시스템과 이를 효과적으로 시청하기 위한 사용자환경을 제안한다. 방송의 ESG(Electronic Service Guide)를 통해 시청자는 VR 부가서비스임을 확인하고 스마트 단말기 또는 HMD(Head Mount Display) 등을 이용하여 마치 현장에 있는 듯한 체험을 즐길 수 있다. 제안한 부가서비스는 앱 형태로 스마트 단말기에 설치하여 실행하며 지상파 UHD TV의 ESG 정보로부터 프로그램 편성과 VR 지원여부를 확인한다. 이를 통해, 실시간 방송 뿐 아니라 VOD 형태로 제공되는 다양한 비디오 및 오디오 콘텐츠를 극장에서 보는 것과 같은 빅스크린 모드, 360도 VR 모드, 오디오 청취모드 등 다양한 시청환경에서 감상할 수 있다. 제안한 사용자 환경은 게임엔진을 기반으로 개발되어 가상의 시청 공간에서 장소를 이동하며 영상, 음향 등 미디어 콘텐츠를 감상할 수 있다. 전용컨트롤러를 이용하면 다양한 인터액티브 콘텐츠를 효과적으로 운용하여 감상할 수 있으며, 일반적으로 통용되는 VR 기기 제어 모드도 지원하여 HMD나 일반 스마트 단말기 어느 것을 이용해서도 용이하게 사용자 메뉴를 선택할 수 있다. 제안된 시스템의 시제품은 IBC 2017 및 평창 ICT 체험관을 통해 발표되었다.

본 논문에서는 부류가 정해진 훈련 집합이 불필요한 온라인 학습 기반 추적 기법을 제안한다. 추적기의 학습을 위해 합성곱 신경망(convolutional neural network: CNN)을 이용하였다. 추적영상으로부터 직접 훈련 샘플을 수집함으로써 분류기 학습을 위한 비용을 감소시킬 수 있었고, 목표 영상에 적응적인 객체 모델을 생성할 수 있다. 실험 결과를 통해 제안하는 방법이 우수한 성능을 보임을 입증하였다.

최근 카메라로부터 획득한 영상을 이용하여 지능적으로 상황을 인지하고 판단하고 결정하는 알고리즘의 연구개발이 활발하게 이루어지고 있다. 예를 들어 영상 내의 객체를 검출하는 알고리즘, 영상 내 화재와 같은 위험 상황을 알려주는 알고리즘 등이 있다. 본 논문에서는 SuBSENSE 라고 하는 영상 내 객체를 검출하는 알고리즘에 대해서 분석하고자 한다. SuBSENSE 는 background subtraction 기반으로 동작하는 객체 알고리즘으로서 다양한 상황에도 강건하게 객체를 추출하기위한 몇 가지 과정들이 존재한다. 본 논문에서는 SuBSENSE 알고리즘 구조 분석 및 해당 구조에서 동작하는 파라미터들의 역할에 대해 살펴보고자 한다.

최근 딥 러닝의 발전으로 얼굴인식뿐만 아니라 더 세부적인 기술인 ID식별, 감정인식 등을 분류할 수 있는 알고리즘이 많이 제안되었다. 하지만 딥 러닝은 방대한 연산량을 처리해야 하기 때문에 실시간으로 영상을 구현하는 것은 한계가 있다. 본 논문은 위와 같은 문제를 개선하기 위하여 얼굴인식은 연산량이 비교적 적은 HOG알고리즘을 적용하여 전처리를 진행한다. 그 이후 ID식별 네트워크인 FaceNet과 EmotiW 2017 Challenge의 논문의 감정인식 네트워크를 Multi-Thread 기술을 적용하여 스레드를 분할 연산을 통하여 실시간으로 영상을 출력하는 알고리즘을 제안한다.

본 논문은 사용자제작콘텐츠 (User Created Contents, UCC)를 이용한 가상현실 (virtual reality, VR) 음향 재구성을 위한 스마트폰의 주파수응답 정규화에 관한 연구이다. 서로 다른 스마트폰들로 취득한 음향들을 연결할 때, 부자연스러운 음향이 발생하며, 이것은 주로 스마트폰별로 다른 주파수 응답에 기인한다. 이러한 문제를 해결하기 위하여 스마트폰의 주파수응답을 정규화 하는 과정이 필요하며, 본 연구에서는 심층신경망 (deep neural network)을 이용하는 방법을 제안한다. 심층신경망의 입력은 처리하고자 하는 스마트폰 음향의 스펙트럼이고 출력은 이것과 기준 스마트폰 음향의 스펙트럼과의 비율이다. 실험결과, 서로 다른 스마트폰으로 취득한 음향신호가 연결되었을 때, 객관적 및 주관적 평가를 통해 음향의 자연성이 개선됨을 확인 하였다.

본 논문에서는 스펙트럼 감지 무선 인지 네트워크에서 동기화 에러가 존재하는 환경을 고려한다. 동기화에러가 존재 할 때 주어지는 오검출 확률(miss detection probability)을 이용하여 일차 사용자와 이차 사용자들 간의 충돌 확률(collision probabliyt)를 유도한다. 유도된 수식을 몬테 카를로 모의실험(Monte Carlo simulation)을 통해 확인한다.

본 논문에서는 빔-호핑 위성 전송 기반의 DVB-S2x 슈퍼프레임 수신기를 위한 프레임 검출 기법을 제안한다. 제안하는 검출 기법은 2 체배 오버샘플링 레이트에서(over-sampling rate)에서 동작을 수행하며, 슈퍼프레임의 헤더를 구성하는 start of super-frame (SOSF)과 super frame format indicator (SFFI)를 모두 이용하여 하드웨어 복잡도를 줄이면서도 견고하게 프레임을 검출할 수 있다.

지상파 방송 3사(KBS/MBC/SBS) 수도권 본방송 파라미터와 동일하게 설정한 제주테크노파크 100W 실험국에서 ATSC 3.0 신호를 발사한 뒤, 제주시내 일대를 이동하면서 양시청 여부는 물론 실측값을 수집하였다. 결론적으로, 현재 전송파라미터 구성으로 송수신 정합에 이상 없이, 기술적인 관점에서 수도권 모바일HD 본방송이 가능함을 검증하였고, 커버리지 산출에 필수적인 물리계층 성능 지표인 ESR5에 대한 기준값, 즉 변조오류율(MER) 기준으로 11.3dB, 수신 신호 세기(Level) 기준으로 -85.0dBm 정도임을 도출하였다.

최근 영상처리 기술 및 방송통신의 발전으로 실감이 극대화되는 실감형 서비스에 대한 사용자 요구가 증가하였다. 이에 실감형 서비스로 자유선택시점 서비스에 대한 연구가 진행중이다. 자유선택시점 서비스는 사업자가 일반적으로 제공하는 뷰 외에 사용자가 원하는 뷰를 선택해 시청할 수 있는 서비스이다. 자유선택시점 서비스를 제공하기 위해서는 하나의 콘텐츠를 다양한 시점으로 취득해야하며, 사용자가 원하는 시점에 해당되는 영상을 실시간으로 반응해 제공해야한다. 본 논문에서는 자유선택시점 비디오의 실시간 시점 이동을 위한 수신 구조를 설계하고 제안한다. 제안하는 수신 구조는 시청자의 시점 이동에 맞춰 실시간으로 시점을 이동하여 사용자가 원하는 시점의 영상을 재생할 수 있다.

본 논문에서는 영상으로부터 생성된 깊이맵을 합성곱 신경망(CNN)으로 재생성하는 방법을 제안한다. 합성곱 신경망은 영상인식, 영상분류에 좋은 성능을 보여주는데, 이 기술을 깊이맵 생성에 활용하여 기 제작된 깊이맵 생성 기법을 간단한 합성곱 신경망으로 구현하고자 한다. 성능 실험에서는 10개의 비디오 세트에 제안 방법을 적용한 결과, 만족스러운 결과를 얻었다.

실내공간에서 사람 검출 및 인식은 지능영상정보 시스템에서 중요한 기능중의 하나이다. 실내공간에서 사람검출을 위한 트랙킹 과정에서 발생하는 표류(drifting)는 성능 저하의 큰 원인을 제공한다. 표류로 인한 비사람의 트랙킹을 방지하기 위해서 사람여부를 결정하는 것이 필요하다. 이를 위해서 합성곱 신경망을 적용한 결과 80%의 사람 인식율을 얻었다.

본 논문에서는 사람의 걸음걸이 분석을 위한 소형 웨어러블 시스템을 개발한다. 신발 내 깔창에 부착 가능한 소형화된 모듈을 설계하고, 압력 센서 및 가속도 센서를 이용하여 사용자의 걸음걸이에 대한 정보를 측정하고 측정 데이터를 바탕으로 사용자의 자세를 분석한다. 분석한 결과는 블루투스 통신을 이용하여 사용자의 스마트폰으로 전송이 가능하고, 사용자는 자신의 걸음걸이에 대한 정보를 실시간으로 확인하여 스스로 자세교정을 할 수 있도록 유도한다.

본 논문에서는 IoS (Internet of Signage) 환경에서 실감형 데이터 전송을 위한 상황 인지 기반 적응형 전송기법을 적용하고 이를 분석한다. 사이니지 네트워크 환경에서는 임의적인 다중 경로 페이딩, 간섭 등과 같은 왜곡 요소가 존재할 수 있기 때문에 이를 대처하기 위해 무선 송신기에서는 채널 환경에 대한 인지 이후, 그에 따른 MCS (Modulation and Coding Scheme)를 선정 및 안테나 기법을 선정한다. MCS 및 안테나 기법 선정을 위해 무선 송신기에서는 사전에 알고 있는 통계적인 SNR (Signal-to-Noise Ratio) 값을 통해 문턱값을 계산하고, 수신 사이니지로부터 얻은 CSI (Channel State Information)와의 크기 비교를 한다. 시뮬레이션 결과에서는 상황 인지를 기반으로 매 순간 최적의 전송률을 달성할 수 있음을 볼 수 있다.

본 논문에서는 비균등 선형 마이크로폰 어레이를 활용한 convolutional neural network (CNN) 기반의 음원분리 방법을 제안한다. 우선, 주어진 어레이 배치에 따라 채널간의 시간차를 분석하고, 분석된 시간차에 따라 주파수별로 방사각과 넓이에 따라 입력 오디오 신호의 spectral magnitude를 예측한다. 그러고 나서, CNN 분류기로부터 최적의 방사각과 넓이를 선별하고 이를 통해 음원을 분리한다.

학술대회는 동 시간대에 각기 다른 주제의 여러 세션이 운영되기 때문에 시간적으로 선택의 제약이 존재한다. 따라서 일반적으로 학회 참가자는 선택적으로 세션을 청취해야한다. 본 논문에서는 이러한 제약을 해결할 수 있는 학술대회 중계용 MPEG-DASH 기반의 HTTP 적응 스트리밍 서비스를 구현하였고, 그 결과를 보여준다.

야외에서 촬영 된 VR(Virtual Reality) 비디오는 의도하지 않은 흔들림을 동반한다. 흔들림을 포함한 VR 비디오는 사용자에게 시각적 피로감을 주고 몰입도를 저하시키기 때문에 VR 비디오의 흔들림을 제거하는 기술은 중요하다. 본 논문에서는 촬영 과정에서 흔들림이 발생한 VR 비디오 신호를 스티칭 단계 이전에 흔들림 보정하여 안정된 $360^{\circ}$ 비디오를 얻을 수 있는 알고리즘을 제안한다.

본 논문은 프레임 율 향상을 위한 움직임 추정 알고리듬을 제안한다. 양방향 움직임 추정은 중첩 영역이나 홀 (hole) 영역이 발생하지 않지만 물체의 실제 움직임을 찾는 데에 어려움이 있다. 이중 움직임 추정 방법은 이를 어느정도 해결하였지만 여전히 실제 물체의 이동과는 다른 움직임 벡터들이 남아있다. 움직임 벡터의 정확도를 향상시키기 위해 기존의 이중 움직임 추정 알고리듬을 토대로 SMD (side matching distortion)를 움직임 추정 매칭 식에 결합한 새로운 매칭 기준 식을 제안한다. 결과적으로 제안하는 알고리듬은 기존의 이중움직임 추정 방법에 비해 정량적으로 PSNR (peark signal-to-noise ratio)이 크게 향상되었으며 주관적으로도 뛰어난 결과를 보여주었다.

VR영상은 하나의 카메라가 아닌 여러 대의 카메라로 촬영한 영상을 이어 붙여 만든다. 각각의 카메라로 촬영된 영상은 FOV에서 광원이 서로 다르기 때문에 각 영상의 밝기는 서로 일치하지 않는다. 이러한 밝기 차이는 각 영상을 하나의 VR 영상으로 스티칭 하였을 때 더욱 이질적으로 느껴진다. 본 논문에서는 각각의 카메라 영상이 서로 다른 광원에 의하여 밝기 차이가 발생하였을 때 이를 보상하기 위한 알고리즘을 제안한다.

직렬 아크의 발생은 큰 화재를 일으킬 수 있다. 직렬 아크는 일반 차단기의 검출 범위보다 낮은 전류에서 일어날 수 있어 직렬 아크를 차단하는데 큰 어려움을 가진다. 직렬 아크를 판단하기 위해 웨이블릿 엔트로피를 사용하여 feature를 추출한 다음 신경망을 적용하여 직렬 아크를 검출한다.

손 제스처는 스마트 글라스 등 웨어러블 기기의 NUI(Natural User Interface)를 구현하기 위한 수단으로 주목받고 있다. 최근 손 제스처 인식에서의 인식률 개선을 위하여 다양한 인식기법이 제안되고 있으며, 딥러닝 기반의 손 제스처 인식 기법 또한 활발히 연구되고 있다. 본 눈문에서는 웨어러블 기기에서의 미디어 소비 등 다양한 응용을 위하여 CNN(Convolutional Neural Network) 기반의 손 제스처 인식 기법을 제시한다. 제시된 기법은 스테레오 영상으로부터 깊이 정보와 색 정보를 이용하여 손 윤곽선을 검출하고, 검출된 손 윤곽선 영상을 데이터 셋으로 구성하여 CNN 에 학습을 시킨 후, 이를 바탕으로 손 윤곽선 영상으로부터 제스처를 인식하는 알고리즘을 제안한다.

최근 개인방송에 대한 관심이 증가하면서 개인 방송 제작자와 콘텐츠의 수가 급증하고 있다. 이에 시청자의 선택이 용이하도록 방송 내용 중 흥미를 끌 만한 장면을 모아 하이라이트를 제공하는 서비스에 대한 요구가 커지고 있다. 본 논문에서는 전문 편집자나 편집 기술 없이 자동으로 하이라이트를 검출하는 방법을 제시한다. 제안하는 알고리즘은 개인 방송의 채팅 정보를 이용하며, 시간에 따른 채팅의 빈도 변화를 통해 하이라이트 구간을 검출한다. 검출 알고리즘은 시청자 선호도가 높은 게임 방송에 적용하여 그 성능을 확인하였다.

최근 1인 미디어인 개인방송은 무선통신망과 스마트폰 등의 발달로 현재 많은 사람들이 이용하고 있는 인터넷 서비스 중 하나이다. 개인방송이 인기를 끌고 있는 가장 큰 이유는 방송을 진행하는 브로드캐스터와 시청자가 실시간으로 소통하며 양방향 서비스를 제공할 수 있기 때문이다. 하지만 기존의 플랫폼에서는 단순히 시청자들의 채팅을 통해서만 양방향 소통을 진행한다는 한계점이 존재한다. 이에 본 논문은 채팅로그뿐만 아니라 시청자들의 사진, 카메라 롤, 영상, 음성의 링크를 채팅창에 띄우고 부가정보서비스 창을 구축하여 다양한 의견을 공유할 수 있게 되고 브로드캐스터 컨트롤 시스템을 이용하여 부가정보서비스를 제어할 수 있게 됨으로써 한층 더 흥미로운 방송을 운용할 수 있게 하는 프레임워크를 연구하였다.

본 논문에서는 깊은 합성 곱 신경망 (Deep Convolutional Neural Network) 를 이용해서 SAR (Synthetic Aperture Radar) 영상의 반전 잡음 (speckle noise) 성분을 제거하는 기법을 제안하고자 한다. Deep Convolutional Neural Network는 이미지의 데이터 특성에 적합한 딥 러닝 방법이고, 이는 SAR 위성영상의 반전 잡음 제거에 사용해도 효과적이다. 반전 잡음 필터 모델 추정을 위한 학습은 임의로 반전 잡음을 합성한 트레이닝 이미지들과 원본 트레이닝 이미지들을 이용한 회귀모델을 통해 진행된다. 학습을 통해 얻은 반전 잡음 필터는 기존 알고리즘에 비해 우수한 외곽선 보존 성능을 나타냄을 확인하였다.

페이스북 SNS 플랫폼에서 제공하는 데이터 수집 프로토콜을 이용해 콘텐츠들의 인기 점수와 사용자 의견들을 수집하고 수집된 정보를 가공하여 기계학습을 진행한다. 오피니언 데이터를 학습함으로 인해 인간의 관점을 모방하게 되며 결과적으로 콘텐츠의 질을 판단하는 요소로써 작용하도록 한다. 데이터의 수집은 페이스북 측에서 제공하는 Graph API 와 Python 을 이용하여 진행한다. Graph API 는 HTTP GET 방식의 프로토콜을 이용하여 요청 하고 JSON 형식으로 결과를 반환한다. 학습은 Multiple Linear Regression 과 Gradient Descent Algorithm(GDA)을 사용하여 진행한다. 이후 학습이 진행된 프로그램에 사용자 의견 데이터를 건네주면 최종인기 점수를 예측하는 시스템을 설명한다.

본 논문에서는 HEVC in-loop filter 부분에 CNN 기반 기술을 사용한 알고리즘들을 소개하고, 이들 기술들의 성능을 비교실험을 통해 분석한다. 현재 HEVC 의 in-loop filter 에는 잡음을 제거하는 deblocking filter 와 오프셋을 보상하는 sample adaptive offset 필터가 적용되어 있는데, 두 알고리즘이 수행하고 있는 역할을 CNN 기반 filter 로 대체한 기술들을 선택적으로 선별하여 비교실험을 진행하고, 그 결과를 비교 및 분석한다.

컴퓨터 생성 홀로그램은 방대한 양의 연산이 필요하기 때문에 이를 고속화하기 위한 방법이 필요하다. 본 논문에서는 기존에 본 연구팀에서 ASIC으로 구현했던 홀로그램 생성기의 하드웨어 구조를 보완하여 새로운 하드웨어 구조를 제안한다. 제안하는 하드웨어 구조는 기존의 블록기반의 하드웨어에서 가로축 공통항은 하나만 만들고 세로축 공통항을 확장하고, 블록의 가로축은 시분할을 통하여 계산하도록 제안하고 구현하였다. 제안하는 구조가 더 적은 하드웨어 자원 량으로 같은 성능의 하드웨어를 구현하였고, 입력단의 메모리 접근 량도 줄일 수 있다.

최근 오디오 기반의 그룹 대화 통신 기술이 급격히 발전하고 있는데 이는 원거리 간의 회의 또는 긴급 구조망, 음성 인식을 활용한 기술 분야에서 필요로 하기 때문이다. 과거 오디오 그룹 간의 실시간 서비스는 영상 통신보다 타이밍에 있어서 사용자에게 딜레이 되는 값을 전송하는 즉 버퍼 컨트롤이 문제가 되어 잘 사용되지 않았었다. 하지만 최근 다중경로 라우팅, QoS 전송량 감소 기술들이 소개되면서 N:N의 대화가 가능하게 되었다. 본 연구에서는 UDP Socket 방식을 활용하여 N:N 실시간 음성 서비스를 개발한다. 이는 무선단말기를 활용하여 3~4인이 그룹핑 되어 노래 경쟁을 할 수 있는 앱에 적용하여 개발하였다. 운전자가 혼자 운전할 때, 다른 지역에서 운전하는 사람들과 음성인식 인터페이스를 활용하여 즉각적인 그룹을 만들고, 자신과 다른 사람들이 노래를 부르고, 듣고 평가하는 과정에서 재미를 느끼게 함으로써 졸음을 방지할 수 있도록 개발하였다.

파노라마 영상은 최근 몇 년 사이 스마트 폰을 사용하는 일반 사용자에게 손쉽게 제작할 수 있게 되었다. 하지만 파노라마 동영상은 기술상의 어려움이 있다. 파노라마 동영상을 제작하기 위해서는 두 대 이상의 스마트 폰으로 동시에 촬영을 하여야 하는데, 하드웨어의 차이로 인해 시간축을 동기화하는데 어려움이 발생한다. 이러한 어려움을 극복하기 위해 영상 정보를 이용한 시간축 동기화도 시도되었다. 하지만 영상 정보를 이용한 시간축 동기화에도 어려움이 있다. 영상 정보를 이용하기 때문에 계산복잡도가 높고 영상 내 움직임으로 인해 시간축 동기화 정확도도 떨어진다. 본 논문에서는 영상 정보를 이용하는 대신 소리 파형을 이용한 시간축동기화 기법을 제안한다. 소리 파형 이미지를 이용하여 시간축을 동기화하기 때문에 정확도가 향상되고 시간축 동기화 프로세싱 시간이 단축되는 것을 확인할 수 있다.

주변 픽셀간의 명도 차이가 작을수록 같은 경계를 구성하고 있을 가능성이 크다. 따라서 주변 픽셀간의 명도를 고려하여 경계 추출기를 활용한다면 보다 정확한 경계선 추출이 가능하다. 하지만 한가지의 히스토그램 평활화와 k-means 군집화를 사용하는 기존 알고리듬은 평활화에 의한 이미지 왜곡이나, 명도 차이가 큰 픽셀이 같은 그룹에 속하는 경우 혹은 명도 차이가 작은 픽셀이 각각 다른 그룹에 속하는 경우와 같이 그룹화의 오류가 있기 때문에 원본 이미지에 없던 불필요한 경계선이 발견되었다. 본 논문은 하나의 이미지에 대해서 여러 가지 히스토그램 평활화 방법으로 각각 다른 명도 분포를 얻어내어 적응적으로 경계선을 판단하는 알고리듬을 제안한다. 이는 기존 알고리듬에서 나타나는 불필요한 경계선을 제거하였으며 기본 경계 추출기의 효과를 향상시켰다.

넓은 동적 영역 (high dynamic range: HDR) 이미지는 시각적으로 우수하지만 대부분의 디스플레이는 좁은 동적 영역 (low dynamic range: LDR)만 지원이 가능하다. 이를 해결하기 위해서 톤 매핑 기법 (tone mapping operator: TMO)을 사용한 동적 영역 압축을 수행한다. 기존의 적응적 로그 매핑 (adaptive logarithmic mapping)의 경우 에지 부분에서 디테일이 손실되는 문제점이 있었다. 본 논문에서는 가이디드 이미지 필터링 (guided image filtering: GIF)을 통해 베이스 레이어와 디테일 레이어로 나눠서 처리하는 알고리듬을 제안한다. 베이스 레이어는 적응적 로그 매핑을 통해 동적 영역을 압축하고 디테일 레이어와 더해 기존의 톤 매핑 과정에서 발생하는 디테일의 손실을 감소시켰다.

최근 IT 및 사이니지 기술을 포함한 여러 기술의 발전 형태가 융복합적 기술의 방향으로 전환됨으로서, 기술 간 장벽이 허물어지고, 상호 연관성을 갖게 됨에 따라 사이니지 및 IT기술이 접목된 새로운 융복합 기술에 대한 연구가 지속적으로 이루어지고 있다. 특히, LED 광원의 일종인 사이니지를 이용하여 광 데이터를 전송할 수 있는 기술에 대한 연구가 학계, 연구소 및 관련 산업체 등에서 지속적으로 진행되고 있는 상황이다. 이에 본 논문에서는 LED 전광판 사이니지를 이용하여 무선광통신이 용이한 LED 소재에 대한 연구를 진행하였다. LED 전광판 사이니지를 이용한 무선광통신 기술은 LED 광원이 지닌 특성을 토대로 RF방식 대비 높은 주파수 대역과 고속의 데이터 전송이 가능하기 때문에 높은 잠재력과 파급력을 통하여 무선통신 분야에서의 새로운 통신 척도로 활용될 수 있을 것으로 예상된다.

최근 디지털 사이니지의 가격의 하락과 기술의 발달로 유명 관광지에서 정보전달을 위해 아날로그형 간판에서 디스플레이 등을 사용한 디지털 사이니지로 전환하고 있으며, 그 중 세로형 디지털 사이니지인 키오스크를 활용한 간판이 증가하고 있다. 하지만 키오스크의 경우 보통 내장되어 있는 콘텐츠만을 제공하는 경우가 많아 콘텐츠를 관리하고 변경하기 위하여 불가피하게 인력과 시간이 소요되며, 원격에서 콘텐츠 제어가 가능하더라도 콘텐츠를 제어하는 동안 리소스 문제로 인해 키오스크의 사용이 중단될 수 있다. 이에 본 논문에서는 독립형 키오스크에서 콘텐츠를 표출하고 있으며 동시에 원격에서 콘텐츠를 제어/관리 할 수 있는 비동기식 콘텐츠 제어 기법에 대하여 제안하고자 한다.

본 논문에서는 360 도 비디오 서비스를 제공하기 위한 타일기반 실시간 부호화 방법을 제시한다. 360 도 비디오 프레임을 공간적으로 분할하여 타일을 생성하고, GOP 길이만큼의 타일 개수로 구성된 타일 세트들을 순차적으로 부호화함으로써 단일 부호화기로 실시간 타일 부호화가 가능하도록 설계하였다. 상기 타일 세트는 독립적으로 부호화되므로 단말은 사용자의 시청영역에 해당하는 타일 세트만 수신 및 복호화함으로써 네트워크 대역폭을 줄일 수 있다. 또 작은 크기의 타일을 순차적으로 고속 부호화하는 방법이므로 타일의 병렬 처리를 효과적으로 수행하기 위한 로드밸런싱을 고려하지 않아도 된다. NVIDA 그래픽카드인 Geforce GTX 1080Ti를 이용하여 32 개의 타일로 분할된 4K 360 도 비디오 시퀀스를 HEVC 로 부호화할 경우 약 120 fps 의 속도로 처리가 가능함을 확인하였다.

IoT 및 웨어러블 환경에서의 미디어 서비스를 위한 MPEG IoMT(Internet of Media Thing) 표준에서는 헬스케어 미디어 서비스도 주요 유스 케이스(use case)로 고려되고 있다. 본 논문에서는 효율적인 헬스케어 미디어 소비를 위한 IoMT 메타데이터 스키마를 제시한다. 제안하는 Pseudo-DICOM 스키마(schema)는 의료미디어 표준인 DICOM(Digital Imaging and Communication in Medical) 데이터의 헤더에 포함되는 의료기기, 환자, 미디어 등에 대한 정보를 기술하기 위한 것이다. 본 논문의 유스 케이스에서는 제안된 스키마에 따라 기술된 이들 정보를 스마트 글래스로 획득한 구조현장 비디오와 함께 병원으로 제공함으로써 이 비디오를 쉽게 DICOM 데이터로 변환하게 하여 효율적인 재생 및 저장 관리를 지원한다.

본 논문은 human visual system(HVS)에 따른 주파수 민감도와 공간에서 다양한 특성들을 구현하기 위한 신호처리 방법을 개발하였다. 인간의 눈은 주파수 성분에 따라 민감도가 다르며 초점에서 멀수록 인지 가능한 해상도가 떨어진다. 주파수 민감도를 구현하기 위해서 본 논문은 영상 신호의 에너지 스펙트럼 모양이 contrast sensitivity function(CSF)의 모양이 되도록 하여 영상 신호의 에너지를 증가시켰으며 신호 방향에 적응적인 multiband energy scaling 방법을 개발하였다. 기존의 시스템에서 능률만을 향상시키는 기존의 분석 모델과 비교하면 개발한 방법은 HVS에 좀 더 적절하고 선호되게 영상 신호를 처리할 수 있다.

본 논문에서는 급부상하고 있는 가상현실 기술에서의 저작권 보호를 위해 VR영상을 타겟으로 하는 워터마킹 방법을 제안한다. 제안하는 방법은 VR영상의 합성에 널리 사용되는 SIFT 알고리즘을 통해 조건에 만족하는 점을 찾고, 그 점을 중심으로 한 주변 영역에 이산 웨이블릿 변환을 수행하여 워터마크를 삽입하는 방법이다. 또한 추출할 때에는 기존에 삽입한 워터마크와의 NCC값을 비교하여 일정 임계값 이상의 데이터들을 추출하고, 통계적 방법으로 최종 워터마크를 확정하게 된다. 이에 대해 가우시안 필터. 가우시안 노이즈, Sharpening, 회전변환, JPEG 압축 등의 공격을 가하고, 공격 후 추출되는 워터마크의 NCC, BER 값을 비교하여 워터마크의 강인성(robustness)을 확인한다.

HEVC 표준은 정수 화소로 표현된 신호에 DCT-II 를 기반으로 하는 보간 필터를 사용하여 부화소 신호를 생성한다. 움직임 보상 및 예측의 성능 향상을 위해서 부화소 신호를 생성하는 방법을 이용한다. HEVC 표준은 부화소를 각각 1/4-화소 단위로 생성을 하며, 부화소를 생성하기 위해서 길이가 다른 각각의 DCT 보간 필터를 사용하고 있다. 1/2-화소를 생성하는 경우에는 필터의 길이가 8 인 DCT 기반 보간 필터를 사용하며, 1/4-화소와 3/4-화소의 경우에는 필터의 길이가 7 인 DCT 기반 보간 필터를 사용한다. 본 논문에서는 DST-VII을 기반으로 하는 보간 필터를 제안하여, CTU-Level 단위로 RDO 과정을 통해 최적화된 보간 필터를 선택하여 사용한다. 본 논문에서 제안하는 방법은 HEVC 표준보다 BD-rate 가 Low Delay B 와 Random Access configurations 에서 각각 0.6%와 0.6%의 성능 향상을 가져오며 Low Delay P configuration 에서 0.5%의 성능감소를 보인다.

본 논문에서는 최신의 비디오 코덱 표준인 HEVC(High Efficiency Video Coding)의 화면 내 예측 부호화의 성능 향상을 위하여 SRCNN(Super Resolution Convolutional Neural Networks)을 이용하는 방법을 제안한다. SRCNN 은 비교적 최신 기술인 CNN(Convolutional Neural Network)을 사용하여 이미지를 추가적인 데이터 없이 보간 하여 해상도를 증가시키는 기술이다. HEVC 에서는 화면 내 예측의 잔차신호를 부호화 하기 위해 많은 비트를 소모하는데, 본 논문에서는 이 잔차신호들의 해상도를 낮추어 부호화 되는 비트를 줄이며, 복호화기에서 SRCNN 을 이용하여 원래의 해상도로 복원을 수행하여 압축성능을 향상 시키는 방법에 대하여 제안한다. 제안하는 기술은 HM 16.6 에 구현하였으며, CNN 트레이닝에 Caffe 라이브러리를 사용하였다.

본 논문에서는 재난상황 발생 시 유관기관 내에 전달되는 재난상황전파 정보를 통합재난경보시스템에 활용하기 위한 방안으로 표준재난경보메시지로 변환하기 위한 모듈을 개발하여 제안한다. 변환을 위해 재난상황전파 정보를 공통경보프로토콜의 세그먼트와 세부 엘리먼트에 대응할 수 있는 방안을 제시하고, 이 방안을 기반으로 메시지 형식을 변환하여 공통경보프로토콜 형식으로 표출한다. 제안하는 모듈의 적용을 통해 변환된 재난상황전파 정보를 표준화시킴으로써 통합재난경보시스템에 활용할 수 있을 뿐만 아니라 타 국가 및 기관의 재난 경보 정보를 추가적으로 활용 가능한 장점을 지닌다.

최근 국내에서 IP 를 기반으로 방송 미디어 콘텐츠를 전송하는 UHD 기반 지상파 방송 서비스가 시작되고, 새로운 방송 환경의 조성으로 기존에는 적용이 어렵던 방송망과 브로드밴드 망을 동시 사용하는 하이브리드 방송 서비스가 등장하였다. 지상파 UHDTV 송수신정합의 서비스 시그널링 파트에서 제공되는 서비스 간 연결 정보를 이용하여 IBB 표준에 따라 TV 로 시청하던 방송 서비스를 개인용 스마트기기와 연계하여 브로드밴드 망을 통해 제공받을 수 있는 새로운 유형의 콘텐츠 소비가 가능해졌다. 이에 본 논문에서는 지상파 UHD 서비스와 IBB 서비스, 연계할 수 있는 개인용 스마트기기 등 여러 요소를 고려한 지상파 UHD 하이브리드 방송 시나리오를 가정하고 이 때 필요한 IBB 서비스 모델을 제안하고 분석한다.

스마트폰 기반의 모바일 플랫폼이 발달하면서 관련 서비스에 대한 수요가 급증하고 시공간의 제한 없이 누구든지 방송 콘텐츠를 제작 및 송수신 가능하게 되었다. 이에 본 논문에서는 학회 또는 세미나와 같은 컨퍼런스에서도 모바일 기반의 스트리밍 플랫폼 서비스를 제공하고자 웹캠을 통해 영상을 획득하고, 획득한 영상을 사용자 개인의 모바일 어플리케이션을 통해 실시간 스트리밍 시청 및 VOD 서비스를 제공하는 시스템을 개발하였다. 실시간 스트리밍 시청, VOD 서비스 등 다양한 기능을 탑재함으로써 기존의 컨퍼런스 관련 모바일 어플리케이션보다 더 많은 정보 제공 및 사용자 편의성 향상이 가능하다. 이 시스템을 제공함으로써 사용자는 컨퍼런스 발표 현장에 있지 않더라도 개인 모바일 어플리케이션을 통해 정보를 보다 쉽게 제공받을 수 있을 것으로 기대된다.

정보통신기술의 발달에 따라 컴퓨터, 스마트폰과 같은 스마트 기기가 대중화됨에 따라 개인 블로그나 SNS 등을 기반으로 하여 개인이 다양한 콘텐츠를 생산하고 공유하는 커뮤니케이션 플랫폼인 1인 미디어가 활성화 되었다. 효율적으로 1인 방송시스템을 구축하기 위해서는 기존 방송 시스템의 체계는 유지하면서 개인의 협소한 공간을 효율적으로 활용할 수 있는 방안을 요구하게 된다. 따라서 본 논문에서는 각각의 방송장비들을 노트북, 어플과 같은 스마트 기기와 연동시켜 효율적이고 편리한 1인 미디어 방송 시스템을 구축하기 위한 방법을 제안하였다.

본 연구에서 미디어의 생산과 소비가 어떻게 사람들을 리미널한 형태로 사람들을 끌어들이는지 살펴보았다. 즉 미디어 생산의 주체 혹은 인기 있는 프로그램의 미디어 소비는 급격한 의식의 이탈을 만들어낸다. 2011년에 시작한 프로그램, '나는 가수다' 이후 지상파, 종합편성, 케이블채널에 음악프로그램, 특히 대중가요 중심의 노래 프로그램들이 대거 만들어졌다. 현재 큰 인기를 끌고 있는 '판타스틱 듀오'와 '나는 가수다' 속에 들어있는 제의적 속성인 리미널러티현상을 반 게넵(Arnold van Gennep)의 '통과의례'에 나타나는 전이 단계와 빅터 터너(Victor Turner)의 이론을 토대로 분석하였다. '전이'의 단계에 제의의 주체들은 사회적인 지위나 문화적인 상태의 속성들을 거의 가지고 있지 않은 일종의 사회적인 중간상태(social limbo)를 통과하게 된다. 미디어 이벤트로서의 리미널러티, 시청자, 가수와 도전자, 청중평가단의 일체감으로 일어나는 인지, 정서적 느낌과 그로 인한 코뮤니타스, 반구조((anti-structure) 상태를 분석하였다. 그리고 그 이후에 오는 위로와 위안 그리고 공감으로 이어지는 사회문화적 현상을 살펴보았다.

방송 콘텐츠는 매우 잘 분업화 된 시스템에 의해 서로의 협력으로 제작된다. 그러나 대학의 교육과정은 각 학과의 특성과 목적에 맞추어 독립적인 학문과 실험이 이루어지므로 학생들은 완성된 콘텐츠 제작 과정을 경험하기가 쉽지 않다. 본 연구에서는 방송 콘텐츠 제작을 위해 프로그램 연출 및 영상, 음향, 카메라, 조명 등 다양한 분야의 경험을 가진 교수진의 협력을 바탕으로 방송용 콘텐츠를 만들어 가는 융합수업의 개발과 학습 효과를 분석하고 있다.

본 논문에서는 대 화면 헤드 업 디스플레이를 구현하기 위해 왜곡된 증강 영상을 보정하는 방법을 제안한다. 대 화면 헤드 업 디스플레이는 곡면인 차 앞 유리의 대부분을 차지하는 영역에 증강되는 영상이므로 영상의 왜곡이 심하게 발생한다. 실험을 위한 대 화면 헤드 업 디스플레이를 구성한 다음, 다항식 변환과 특징점 매칭을 통해 왜곡이 발생한 영상과 의도한 영상 사이의 관계를 추정하고 이를 통해 왜곡을 효과적으로 제거한다.

본 논문에서는 스테레오 영상을 이용하여 외삽 시점 영상 생성 시 발생하는 홀을 채우는 방법을 제안한다. 스테레오 영상에 3D 워핑을 이용하여 다수의 시점을 생성할 수 있다. 하지만 이 방법은 보이지 않는 시점에서의 영역을 완벽히 복원할 수 없기 때문에 필연적으로 홀이 발생한다. 홀을 채우기 위해 먼저 홀 영역의 경계를 Random Walks 알고리즘을 이용하여 전경과 배경으로 구분한다. 그리고 홀을 배경 성분에 해당하는 영역만을 이용하여 채우게 된다. 홀 채움 과정에서는 패치 내의 홀의 비율과 컬러와 깊이 영상의 텍스처에 대한 복잡도를 정의하고 패치 별로 우선순위를 계산하여 높은 순위의 패치로 홀을 채우게 된다. 실험 결과 제안하는 기법이 홀을 효과적으로 채우는 것을 확인하였다.

본 논문에서는 동적 프로그래밍 스티칭을 이용하여 다수의 이미지를 경계가 보이지 않게 정합하여 고해상도의 이미지를 얻는 방법을 소개한다. 제안하는 방법에서는 수직, 수평방향으로 일정한 간격으로 쵤영한 다수의 지역 이미지와 전체를 촬영한 전역 이미지를 사용해서 각각의 지역 이미지와 전역 이미지의 특징점을 추출하고 이를 매칭하여 호모그래피를 계산한다. 이를 이용하여 정합할 두 지역 이미지간의 호모그래피를 구하고 좌표를 변환한 후 겹치는 영역에 동적 프로그래밍 스티칭 방법을 적용하여 두 이미지를 정합한다. 동적 프로그래밍 스티칭 방법이란 두 이미지를 정합할 때 겹치는 영역의 차이를 계산하고 차이가 가장 적은 픽셀을 경계로 하는 방법이다. 다수의 이미지를 수직방향으로 정합하고 정합된 이미지들을 수평방향으로 정합하여 하나의 고해상도 이미지를 만들 수 있다. 제안하는 스티칭 기법을 적용함으로써 이미지간의 경계가 드러나지 않을 뿐만 아니라 각 픽셀의 세밀한 정보도 유지한 고해상도의 이미지를 획득할 수 있음을 보였다.

화재는 다른 재난보다 확산 속도가 빠르기 때문에 신속하고 정확한 감지와 지속적인 감시가 요구된다. 최근, 신속하고 정확한 화재 감지를 위해, CCTV(Closed-Circuit TeleVision)으로 획득한 이미지를 기계학습(Machine Learning)을 이용해 화재 발생 여부를 감지하는 화재 감지 시스템이 주목받고 있다. 본 논문에서는 기계학습의 기술 중 정확도가 가장 높은 딥러닝(Deep Learning)기반의 CCTV 화재 감지 시스템을 제안한다. 본 논문의 시스템은 딥러닝 기술 적용뿐만이 아니라, CCTV 이미지 전처리 과정을 보완함으로써 딥러닝에서의 미지 데이터(unseen data)의 낮은 분류 정확도 문제인 과적합(overfitting)문제를 해결하였다. 본 논문의 시스템은 약 80,000 개의 CCTV 이미지 데이터를 학습하여, 90% 이상의 화재 이미지 분류 정확도의 성능을 보여주었다.

증강 현실에 대한 관심이 높아지면서, 물체를 자연스럽게 증강시키는 기술이 주목받고 있다. 그 방법 중 하나는 실제 물체처럼 수평면 위에 증강시키는 것이다. 본 논문에서는 카메라 영상과 관성 측정 장치(IMU: inertial measurement unit)를 사용해 물체를 증강시키기 위한 수평면을 찾는 방법을 제안한다. 우선, 수평면을 결정하는 데 기준이 될 3 차원 공간 좌표를 계산하기 위한 방법을 설명한다. 그리고 계산된 좌표들을 바탕으로 수평면을 찾는 방법을 제시한다. 제안한 방법을 사용하면 지면 방향을 이용하기 때문에 증강된 물체가 실제 물체처럼 서있게 할 수 있다.

최근 전자 기기의 크기가 줄어들고 PCB의 사이즈와 반도체 패키지의 크기가 소형화되어 플립 칩 본딩(Flip chip bonding) 기술을 적용한 반도체 패키지 방식이 점점 늘어나고 있다. 이에 따라 PCB와 반도체 칩 사이를 연결하기 위해 응용되던 BGA(Ball Grid Array)에 핀 배열 대신 사용되는 범프(Bump)를 50um 이내의 초미세 범프로 만들어 일정한 배열을 유지하는 것이 중요하다. 또한 초미세 범프의 모양과 품질이 패키지 수율과 밀접하게 연관되기 때문에 이를 검사할 수 있는 기술이 필수적이다. 이에 본 논문은 초미세 범프측정을 할 수 있는 시스템 개발을 위한 측정 대상의 특징과 사용할 수 있는 광학계를 분석하였고, 획득된 영상을 가지고 딥러닝을 적용하여 정확하게 불량여부를 판별할 수 있는 초미세 범프 측정 시스템을 고안하였다.

기술의 발전에 따라 촬영기기 및 영상장비들의 성능이 비약적으로 향상되고, 본격적인 UHD(Ultra High Definition) 시대가 맞이하여 자연스럽게 소비자들은 더 나은 화질을 요구하고 많은 콘텐츠업체들은 초고화질기술을 적용시킨 작품을 제작하고 있다. 또한, 고품질 콘텐츠에 대한 요구 뿐 만 아니라 데이터 관리(Data Management) 및 색보정(Calibration) 등 이와 관련된 기술의 중요도 증가되고 있다. 따라서 본 논문은 DIT(Digital Imaging Technician) 작업을 차량 내에서 할 수 있도록 특수제작 된 차량을 제작함으로써 현장에서 실시간으로 컬러 그레이딩(Color Grading), 데이터 관리(Data Management) 업무를 수행하여 업무 효율성을 높이고 제작편의성을 증대하고자 한다. 컬러 그레이딩과 데이터 관리라는 요소들이 현재 방송분야보다는 영화와 관련한 분야에서 많이 사용되지만 UHD 시대가 열리는 미래의 방송환경에서는 방송에서도 중요한 요소가 되고 있다.

현재, 페이스북, 인스타그램 등 다양한 형태로 실시간 스트리밍 서비스를 제공되고 있다. 이로 인해 특정 소수가 아닌 일반인들도 손쉽게 실시간으로 인터넷 스트리밍이 가능하게 되었다. 과거, 스튜디오가 아닌 중계차가 갈 수 없는 곳에서는 실시간 스트리밍 서비스에 제약이 있었던 반면에 지금은 다양한 이동형 장비의 개발을 통해 공간적 제약이 현저히 줄어들었다. 따라서 본 논문에서는 촬영부터 송출까지 이동형 장비를 이용해 언제 어디에서나 실시간 스트리밍 서비스를 제공할 수 있는 시스템을 제안하였다.

기존 중계시스템은 모든 신호들이 유선으로 연결되어 있어 중계차가 접근 할 수 없는 지역에서는 운용의 어려움 등 이동과 거리에 제약이 있다. 또한 수많은 케이블이 필요하기 때문에 결선작업이 복잡하고 작업시간이 오래 걸리는 단점을 가지고 있어 무선 중계 시스템을 이용하여 프로그램을 제작하면 이러한 문제점을 해결할 수 있다.. 이에 본 논문에서는 RF무선영상송수신기와 백팩 LTE등 무선중계시스템의 장단점을 비교분석하였고 이에 통해 효율적인 무선중계시스템을 설계하였다. 또한, 제안된 시스템을 이용하여 방송중계업무의 편리성이 극대화하고 새로운 형태의 방송 포맷을 개발할 수 있도록 하였다.

최근, 국내 방송시스템은 외부 방송 콘텐츠와 사내 멀티미디어 콘텐츠를 효율적으로 관리 및 전송하기 위해서 파일기반 으로 시스템을 운용하고 관리한다. IT기술이 발달함에 따라 생활의 편리성과 실용성을 도모하기 위해 많은 멀티미디어 콘텐츠와 통신기술이 개발 되었고, 모든 분야에서 통신 기술과 멀티미디어 콘텐츠를 통해서 정보화 사회의 핵심 자원인 정보를 서로 공유하고 전달함으로써 많은 사람들이 정보를 빠르고 정확하게 습득 할 수 있게 되었다. 이러한 다양한 방송기술들을 효율적으로 운용하기 위해 파일기반 방송시스템을 설계하여 효율적으로 콘텐츠를 실시간으로 제작 및 운용할 수 있는 환경을 조성하고 방송의 안정성을 확보하였다.

본 논문에서는 무인기를 통해 수집한 영상을 과학적 분석 및 매핑이 가능한 영상으로 산출하는 자동 기하보정 시스템을 제안한다. 해당 시스템은 무인기를 활용하여 상시적으로 재난 상황을 촬영하여 감시 및 분석을 하며, 무인기에 탑재된 다중복합 센서 데이터의 실시간 처리 분석을 통해 국지적 홍수 재난의 감지 예측 및 상황대응을 지원하고, 통합경보 시스템과 연동하여 대국민 재난 정보를 제공하는 서비스를 위한 요소 기술이다. 현재 본 서비스를 제공할 수 있는 Front to End 시스템이 개발 완료되어 실제 필드에서의 재난 감시 및 예측 성능을 검증하기 위한 필드 테스트를 준비 중에 있다. 이에 본 논문에서는 현재 구축하고 있는 홍수 재난 관리 플랫폼에 대한 내용을 간단히 소개하고, 중요한 기능중 하나인 무인기 촬영 영상의 자동기하보정 시스템에 대해서 논한다.

다양한 연령층에서 시청자가 늘어나고 있는 개인방송에서도 VR 서비스가 확대되고 있다. 기존의 VR 방송은 360도 카메라로 촬영된 영상을 시청자들이 VR로 보거나 개인방송 크리에이터들이 HMD를 착용하고 콘텐츠를 플레이 하는 영상을 시청자들이 시청하도록 구성되어있다. 시청자들의 몰입감과 흥미를 더욱 유발하기 위해 본 논문에서는 시청자의 입장에서 크리에이터가 진행하는 방송도 시청할 수 있고, 그 콘텐츠를 직접 즐길 수 있는 선택적 방송 시스템을 제안한다. 제안된 시스템은 기존의 시스템보다 시청자로 하여금 몰임감을 향상시키고 참여 한계를 극복할 수 있다.

본 논문에서는 고속의 이동체를 추적하기 위하여 적외선 스테레오 카메라 시스템을 이용하였다. 열원을 감지할 수 있는 적외선 카메라를 이용해 고온의 추진체를 찾는다, 그리고 고속 이동체의 3 차원 위치를 계산하기 위해 스테레오 카메라 시스템을 사용하여 카메라와 고속 이동체 사이의 거리를 계산하였다. 마지막으로 인공신경망을 이용한 회귀분석으로 고속 이동체의 궤적을 추정하였다. 제안한 시스템이 동작하는 것을 실험 결과를 통해 보인다.

최근 파노라마 영상과 같이 광각 카메라를 이용하여 인간의 시야각 이상의 범위를 사용자에게 제공하는 영상들을 쉽게 접할 수 있다. 초고해상도를 갖는 파노라마 이미지를 단일 디스플레이에 표출하게 되면 영상의 크기가 축소되고, 모니터 크기의 한정성으로 실감 시청에 불편함을 느끼고 있다. 본 논문에서는 객체 검출(object detection)을 이용한 사용자 위치정보와 관심영역(ROI)를 이용한 영상 제어를 이용하여 이러한 불편함을 느끼는 파노라마 영상을 해결한다. 따라서 사용자는 HMD(Head Mounted Display)와 같은 장치를 착용하지 않고 편리하고 실감 적으로 파노라마 영상을 시청할 수 있으며, 본 논문을 응용한 디스플레이와 상호작용을 통해 다양하고 더욱 실감 적으로 영상을 제어할 수 있는 기대효과를 가진다.

기존의 정형적인 디스플레이 형태뿐만 아니라 비정형적인 구조의 디스플레이의 관심이 증가하고 있다. 미래에는 기존의 직사각형의 디스플레이와 더불어 비정형적인 디스플레이의 기술이 발전할 전망으로 보인다. 이러한 비정형 사이니지 기술이 발전함에 따라 비정형 영상 표출에 대한 연구가 시행될 필요성이 있다. 하지만 큐브 디스플레이와 같은 비정형 디스플레이에 바로 영상을 표출하기에는 실질적으로 구현이 어려운 점이 있다. 따라서 현실적인 하드웨어 구현이 아닌 비정형 영상 시뮬레이션을 실행할 수 있는 환경을 구축함으로써 이러한 한계를 극복하고자 한다. 본 논문은 립모션(Leap Motion)과 유니티(Unity3D)를 연동하여 제스처 인식 기반의 비정형 디스플레이 표출 시뮬레이션을 시행하였다. 사용자의 명령에 따라 큐브모형이 제어가 되어 비정형 디스플레이로 인식하고 영상을 표출한다. 이는 실제 공간에서 사용할 수 있는 조립형 큐브 디스플레이에 영상을 직접 표출하기 전 시뮬레이션으로 활용 할 수 있을 것으로 기대된다.

최근 디지털 사이니지 시장은 정방형 디스플레이로 콘텐츠를 표출하던 초기와 달리 다양한 형태와 크기를 가진 비정형 사이니지를 배치하여 표출하는 기술에 관심이 높아지고 있다. 본 논문에서는 디스플레이의 회전에 따라 변하는 비정형 사이니지 시스템의 구조를 제시한다. 자이로 센서의 출력 값을 입력으로 받아 기울어진 각도를 계산하고, 극좌표계의 특성을 이용하여 회전 각도에 따라 네 꼭짓점의 위치가 가변되는 영상을 영상좌표계로 변환하여 회전형 디스플레이 사이니지로 표출할 수 있다.

본 논문에서는 지상파 방송사업자의 장애인방송 편성비율 목표치 만족여부를 검증하기 위한 상시 수화방송 모니터링 기술을 제안한다. 이를 위해서 방송프로그램 안내정보와 방송 시그널링 정보를 기반으로 채널별로 방송스트림을 저장하는 수집장치의 구조와 기능에 대해서 설명하고, 수집장치를 통해서 획득된 방송스트림에서 수화방송 서비스 유무를 판단하기 위한 분석방법을 제안한다. 마지막으로, 수화방송 모니터링 기술을 이용한 분석 결과를 기술한다. 향후, 전국의 지역별/채널별 장애인방송(자막방송, 화면해설방송, 수화방송) 상시 모니터링 시스템 구축을 통해 장애인방송 활성화에 기여하고자 한다.

본 논문에서는 미국, 영국과 국내의 라디오방송 관련 현황들을 보고, 국내 라디오방송이 미국, 영국 대비 청취율이 1/3 로 낮지만 스마트폰을 이용한 라디오청취율이 증대되고 있으며, 하이브리드라디오 도입이 될 것이므로, 라디오 방송 청취율이 더욱 증가할 것으로 전망하였다. 아울러 이동통신망이 불능화되는 대형재난상황을 대비하고 라디오 청취율을 증대시키기 위해 추진되는 하이브리드라디오의 도입에 있어 고려되어야 요구사항들과 서비스 방안들을 제시하였다. 본고의 내용은 하이브리드라디오도입을 위한 정책과 서비스 기획 및 시스템 설계에 참고가 가능할 것으로 기대된다.

하이브리드라디오는 지상파 라디오방송(FM/DAB/DAB 등)과 인터넷망을 포함하는 통신망을 연결하여 단방향이라는 지상파방송의 한계를 극복하고 양방향을 구현하는 것으로 스마트폰을 중심으로 유럽과 미국 등지에서 보급되고 있다. 많이 사용하는 스마트폰에서 지상파 라디오방송(FM/DAB/DAB+ 등)을 수신하여 라디오의 활용을 높이기위한 서비스이다. 국내에서는 신규로 출시되는 스마트폰에 부터 FM 방송을 수신할 수 있도록 할 전망이다. 이 또한 하이브리드라디오는 지상파방송이 수신이 안될 경우 인터넷망으로 전환하여 IP 스트리밍 방송으로 계속 사용할 수 있고, 다양한 데이터를 통신망으로 전달하여 사용할 수 있다. 유럽은 radioDNS 라는 곳에서 하이브리드라디오관련 표준을 제정하고 있다. 여기서 표준화되었거나 진행중인 서비스에 대해 간략히 소개하고, 활용가능한 서비스 모델들에 대해 설명한다. 하이브리드라디오를 도입시 고려해볼 사항에 대해서도 생각해 보고 또한 하이브리드라디오와 유사한 방송과 통신의 융합 서비스인 스마트 DMB 에 대해 설명하고 대해 설명하고자 한다.

본 논문에서는 라디오 서비스를 방송망과 더불어 브로드밴드망을 활용하여 다양한 부가데이터 서비스를 제공하는 하이브리드 라디오 표준 기술에 대해서 소개하고 하이브리드 라디오 서비스를 위해 필요한 요구사항을 제시하고자 한다. 이를 위해 먼저, 스마트 DMB 기술을 적용한 하이브리드 라디오 서비스 제공, 상용기술인 Nextradio, RadioDNS 표준 기술 및 ATSC 3.0 을 통한 하이브리드 라디오 서비스 제공 방안을 살펴보고자 한다.

본 논문에서는 최근 논의되고 있는 하이브리드 라디오 방송 기술을 자동차에서 상용화 하기 위해서 개발된 Xperi 사의 DTS Connected Radio 기술을 개략적으로 소개한다. DTS Connected Radio 는 방송망으로 수신된 아날로그 혹은 디지털 라디오와 IP 망을 이용하여 받은 방송 프로그램 정보 및 현재 방송되고 있는 음악에 대한 정보 등의 추가적인 정보를 차량에서 같이 제공하는 서비스를 말한다.

최근 유럽과 미국을 중심으로 하이브리드 라디오 서비스 도입을 위한 표준, 기술 개발 및 서비스가 진행 중이다. 하이브리드 라디오는 기존 라디오 방송망과 통신망을 결합해 고품질 오디오 및 부가 데이터 서비스를 제공할 수 있는 서비스이다. 이를 통해 사용자들은 지상파 라디오 방송망에서 오디오를 제공 받으며 인터넷을 통해 실시간으로 고해상도 이미지와 영상 및 라디오 부가 정보 등을 제공받을 수 있다. 본 논문에서는 하이브리드 라디오 서비스가 구현되기 위해 인터넷 라디오 스트리밍 기술에 대해 살펴보고, 유럽 하이브리드 라디오 표준에서 라디오스트리밍 방식에 DASH를 적용한 인터넷 스트리밍 서비스 기술을 소개한다. 현재 DASH 방식은 MPEG에서 HTTP 기반의 적응적 스트리밍 서비스 포맷을 통일하기 위해 정의된 기술 방식이다. 이를 하이브리드라디오 스트리밍 제공 기술로 적용할 수 있는 방안을 제시한다.

본 논문에서는 하이브리드라디오 서비스를 성공적으로 도입하기 위해 필요한 정책적 조건들을 제안한다. 하이브리드라디오는 그 UI(User Interface) 특성과 오디오 방송 콘텐츠 외 서비스 구현으로 인해 기존 지상파플랫폼 외 추가적인 플랫폼이 필요하며, 이들 플랫폼을 구축하고 운영하는 새로운 플랫폼사업자의 등장을 수반하게 된다. 콘텐츠공급자와 플랫폼사업자가 일치하던 지상파 방송 산업과 달리 콘텐츠사업자와 플랫폼사업자가 분리되는 산업에서는 소수 플랫폼사업자가 다수 콘텐츠사업자에 비해 협상력 우위에 서는 역학관계가 생기게 되고, 이런 게임의 룰에 익숙하지 않고 사업적 규모도 영세한 지상파라디오 사업자들은 힘겹고 불공정한 사업 환경 속에 던져지는 상황을 맞게 될 수도 있다. 따라서 플랫폼사업자와 콘텐츠사업자가 상생하면서도 경쟁의 효율을 높이기 위해선 정교한 정책적, 제도적 장치가 필요하다. 또 하이브리드라디오가 기존 라디오 산업 내 제로섬 경쟁을 넘어 전체 이용자 규모를 확대하고 이를 효과적으로 수익과 연결하기 위해서는, 하이브리드라디오의 기술적 특성이 수용자에게 의미 있는 편익이 될 수 있도록 하이브리드라디오의 사업적 가능성을 충분히 활성화할 수 있는 제도 개선이 필요하다. 마지막으로 급변하는 미디어 빅뱅 상황에서 유의미한 유효 기간 내에 하이브리드라디오라는 신규 콘텐츠 유통 플랫폼을 성공적으로 도입하기 위해서는 산업 플레이어 간 불필요한 오해를 줄여 무의미한 논란을 최소화해야 한다.

본 논문에서는 콘트라스트 복원 기법을 통한 효과적인 비 제거 알고리즘을 제안한다. 기존의 비 제거 알고리즘은 영상에 나타난 비를 제거하는 과정에서 빗줄기로 인한 콘트라스트 감소 현상을 제거하지 못하는 단점이 존재한다. 이에 본 논문에서는 합성곱 신경망을 이용하여 빗줄기를 제거하는 기존의 알고리즘에 덧붙여 빗줄기로 인해 발생된 콘트라스트 변화량을 추정하여 복원하는 과정을 추가함으로써 기존의 알고리즘보다 효과적으로 비를 제거하는 방법을 제시한다. 실험을 통해 성능을 분석한 결과, 제안하는 알고리즘은 모든 결과 영상에 대하여 기존의 알고리즘에 비해 높은 화질 평가 수치를 나타내었으며 주관적으로도 더 선명한 결과를 보여주었다.

모바일 기기를 통해 일상생활에서 사진이나 동영상 같은 멀티미디어의 정보를 쉽게 취득할 수 있다. 뿐만 아니라 모바일 기기에는 사용가능한 다양한 센서들이 존재한다. 이러한 센서들을 활용하여 멀티미디어 정보를 취득할 때, 사용가능한 센서정보를 함께 취득하여 멀티미디어의 센서 메타데이터를 함께 저장하도록 하였다.

본 논문은 파노라마 이미지로 구현된 VR Scene들을 연결해 더욱 실감 나는 가상현실 환경을 제공하는 방법을 제안한다. 특히 게임 개발 엔진인 "유니티" 안에서 자율적으로 시점, 공간이동이 가능한 캐릭터를 통해 사용자가 가상현실 환경에 더욱 몰입할 수 있게 VR 프로그램을 구현하였다. 사용자가 실제와 흡사한 가상 환경 속에서 자율적으로 움직일 수 있는 콘텐츠는 VR 시장에서 난제이자 꼭 해결해야 할 Killer contents로 여겨지고 있다. 따라서 본 논문에서 제안하는 내용은 실제 이미지로 구현된 VR 환경에서 컨트롤러를 통해 자율적으로 시점, 공간 이동을 할 수 있으므로 VR 산업에서 주요 관심사로 주목될 것으로 예상한다.

비음수 행렬 인수분해(Non-negative Matrix Factorization, NMF)의 신호분리 성능을 개선하기 위해 희소조건을 인가한 방법이 희소 비음수 행렬 인수분해 알고리즘(Sparse NMF, SNMF)이다. 기존의 SNMF 알고리즘은 개별 음원의 희소성을 고려하지 않고 임의로 결정한 희소 조건을 사용한다. 본 논문에서는 음원의 특성에 따른 희소성을 추정하고 이를 SNMF 학습알고리즘에 적용하는 새로운 신호분리 기법을 제안한다. 혼합 신호에서의 잡음제거 실험을 통해, 제안한 방법이 기존의 NMF와 SNMF에 비해 성능이 더 우수함을 보였다.

최근에 개인용 카메라를 통해 개인의 추억을 파노라마 영상으로 기록하는 것에 관심이 급증하고 있다. 파노라마 영상에 관심이 급증함에 따라 파노라마 영상을 제작하는 방법에 대해 여러 분야에서 연구가 많이 진행되고 있다. 일반적으로 개인용 카메라를 손으로 잡고 촬영하는 경우가 대부분이다. 손으로 잡고 촬영한 영상은 손 떨림에 의해 흔들린 영상이 된다. 이는 파노라마 영상을 만들 때 어려운 요소를 야기한다. 그러므로 흔들린 영상을 정합하고 안정화하는 연구는 매우 중요하다. 따라서 본 연구의 목적은 최근에 연구된 비디오 정합(Video Stitching)과 비디오 안정화(Video Stabilization)의 정확도 및 경향을 파악을 통해 빛의 변화가 빈번하고 움직임이 많은 콘서트 영상 정합에 이용될 아이디어 추출에 있다.

본 논문은 스마트폰 카메라를 사용하여 파노라마 콘텐츠를 제작하기 위한 동영상 스티칭 방법을 제안한다. 본 논문에서는 동영상 스티칭 방법으로 특징점 추출 알고리즘인 SURF와 블렌딩 알고리즘인 멀티밴드 블랜딩 알고리즘을 사용한다. 또한, 동영상 스티칭 결과의 정확도를 향상 시키기 위하여 스마트폰의 센서 데이터를 사용하고, 동영상 스티칭 시 흔들림이 생기는 현상을 해결하기 위하여 선형 호모그래피 행렬 생성 방법을 적용하였다. 추가로 스마트폰을 활용하여 파노라마 콘텐츠 제작 시 요구되어지는 거리와 각도를 찾기 위한 실험을 진행하였다.

영상 디스플레이 기술이 발전하며 대화면 디스플레이에 대한 제품이 시작에 제공되기 시작함에 따라, 이러한 대화면 디스플레이에서 소비할 수 있는 콘텐츠에 대한 연구개발 또한 활발히 이루어지고 있다. 이와 같은 대화면 디스플레이에서 소비될 수 있는 대표적 미디어 형태는 파노라마 영상이라고 할 수 있다. 이에 본 논문에서는 불특정다수로부터 입력되는 영상을 기반으로 파노라마 영상을 합성하기 위한 첫 단계로, 영상의 유사도를 평가하여 영상 간 상대적 위치 관계를 측정하는 방안을 제안하였다. 본 논문에서 제안하는 영상 상대적 위치 관계 측정 방안은 선 혹은 면이 휘어져 있는 정도를 의미하는 곡률을 활용한 유사도 측정 방식을 포함한다. 본 논문에서는 곡률을 기반으로 영상의 공간적 관계를 측정하는 알고리즘을 제안하였고, 임의로 촬영한 영상을 사용한 실험으로 알고리즘의 성능을 검증하였다.

본 논문은 파노라마 영상 생성을 위한 새로운 영상 정합 방안을 제안한다. 기존의 영상 정합 알고리즘은 영상의 특징이 되는 특징점을 추출하고 영상을 변환하여 정합하는 방식을 사용하는데, 이는 긴 처리 시간을 가지는 단점이 존재한다. 이에 본 논문에서는 보다 향상된 처리 속도를 가지는 영상 정합 알고리즘을 위해, 카메라 센서를 이용한 영상 정합 방안을 제안한다. 본 논문에서는 카메라의 관성센서에서 추출되는 오일러각을 활용한 영상 정합 방안을 제안하고, 실험을 통하여 결과를 검증하며, 그 결과를 기존 영상 정합 알고리즘과 비교하였다.

Recently, stitching techniques are used for obtaining wide FOV, e.g., panorama contents, from normal cameras. Despite many proposed algorithms, the no objective quality evaluation method is developed, so the comparison of algorithms are performed only in subjective way. The paper proposes a 'Delaunay-triangulation based objective assessment method' for evaluating the geometric and photometric distortions of stitched or warped images. The reference and target images are segmented by Delaunay-triangulation based on matched points between two images, the average Euclidian distance is used for geometric distortion measure, and the average or histogram of PSNR for photometric measure. We shows preliminary results with several test images and stitching methods for demonstrate the benefits and application.

최근 방송 기술과 디스플레이 기기의 발전으로 인해 대형 파노라마 영상, 4K Ultra High Definition (UHD) 방송 등 초고해상도 영상의 수요가 점차 증가되고 있다. 특히 초고해상도 영상을 HEVC로 인코딩 혹은 디코딩 할 때 매우 높은 복잡도가 요구된다. 이러한 복잡한 인코딩 및 디코딩 과정뿐만 아니라 HEVC로 부호화된 비트스트림의 비트율 변경을 가속화하기 위해서 최근 GPU 기반의 방법들이 연구되고 있다. 본 논문은 NVIDIA에서 제공하는 라이브러리 Transcoder를 이용하여 관련 옵션 및 관심 영역의 QP 값을 제어하여 원하는 영역의 화질을 조절함으로써 방법을 실험하였다. 본 방법은 향후 다수가 촬영한 영상들에서의 중복 비트율 감소를 통한 영상 콘텐츠 관리에 유용할 것으로 판단된다.

미디어의 생성 및 소비를 위한 기기의 다양화 및 소형화와 이로 인한 미디어 생성 및 소비의 패러다임이 변화함으로 인해, 이와 같은 시장의 요구사항에 부합하기 위한 다양한 기술의 개발 및 표준화가 가속화되고 있다. 이러한 시대의 변화에 발맞추어 국제 표준화 기구인 MPEG 은 네트워크 상에서의 다양한 미디어 간 시공간적 관계를 파악하고 관리하기 위한 표준인 Media Orchestration 표준화를 진행하였다. 이에 본 논문에서는 Media Orchestration 에서 제시한 미디어 간 공간적 Orchestration 구조를 기반으로 다양한 Metadata 를 이용하여 단말 및 미디어 간의 공간적 관계의 기술, 전달 및 소비 방안을 제시하였다.