• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.148-150
• /
• 2020

최근 VVC(Versatile Video Coding) 표준 완료 이후 JVET(Joint Video Experts Team)은 인공신경망 기반의 비디오 부호화를 위한 AhG(Ad-hoc Group) 구성하고 인공지능을 이용한 비디오 압축 기술들을 검증하고 있으며, MPEG(Moving Picture Experts Group)에서는 DNNVC(Deep Neural Network based Video Coding) 활동을 통해 딥러닝 기반의 차세대 비디오 부호화 표준 기술을 탐색하고 있다. 본 논문은 VVC 에 채택된 신경망 기반의 기술인 MIP(Matrix Weighted Intra Prediction)를 참조하여, MIP 모델의 학습에서 손실함수가 예측 성능에 미치는 영향을 분석한다. 즉, 예측의 왜곡(MSE)만을 고려한 경우와 예측오차의 부호화 비용도 함께 반영한 손실함수를 비교한다. 실험을 위해 HEVC(High Efficiency Video Coding) 화면내 예측 대비 평균적인 PSNR 향상 정도를 나타내는 성능 지표(��PSNR)를 정의한다. 실험결과 예측오차의 부호화 특성을 반영하는 손실함수를 이용한 학습이 MSE 만 고려한 학습 대비 ��PSNR 기준 평균 0.4dB 향상됨을 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.601-604
• /
• 2023

기술이 발전함에 따라 복합적인 모달리티 정보를 포함하는 멀티미디어 데이터의 수집이 용이해지면서, 사람의 성격 특성을 이해하고 이를 개인화된 에이전트에 적용하고자 하는 연구가 활발히 진행되고 있다. 본 논문에서는 비디오 스트림 구조를 활용하여 사용자 특성을 예측하기 위한 동적 키프레임 추출 방법을 제안한다. 비디오 데이터를 효과적으로 활용하기 위해서는 무작위로 선택한 프레임에서 특징을 추출하던 기존의 방법을 개선하여 영상 내 시간에 따른 정보와 변화량을 기반으로 중요한 프레임을 선택하는 방법이 필요하다. 본 논문에서는 제 3자가 평가한 Big-five 지표 값이 레이블링된 대표적인 데이터셋인 First Impressions V2 데이터셋을 사용하여 외면에서 발현되는 특징들을 기반으로 영상에서 등장하는 인물들의 성격 특성을 예측했다. 결론에서는 선택된 키프레임에서 멀티 모달리티 정보를 조합하여 성격 특성을 예측한 결과와 베이스라인 모델과의 성능을 비교한다.

• The KIPS Transactions:PartC
• /
• v.12C no.4 s.100
• /
• pp.589-596
• /
• 2005

The objective of this paper lies in the design and implementation of a home gateway supporting live video streaming which flows from the Non-SIP video camera in home to the mobile SIP device outside. We developed the home gateway on the OSGi framework and employed the RTC technology which embeds an SIP stack so that the multimedia session can be established from the home device to the mobile user outside. And also we developed an RTC bundle to manage the session and a virtual capture device driver to read the video stream from the Non-SIP video camera in the home network, and installed them on the home gateway. Finally, we constructed the experimental environment that has the windows messenger as the SIP mobile device and an AXIS 2100 UPnP video camera as a video source, and then tested if the session establishment to the mobile user from the camera and live video streaming work well between them.

• Proceedings of the Korean Information Science Society Conference
• /
• 1998.10c
• /
• pp.553-555
• /
• 1998

효율적인 비디오 검색과 브라우징을 위해서는 비디오를 장면 단위로 나누는 비디오 분할과 더불어 분할된 비디오 셧을 대표하는 프레임을 군집화하는 기술이 필요하다. 이는 내용 기반 비디오 검색 및 브라우징의 바탕이 되는 핵심 기술로써, 국내외적으로 많은 연구가 요구되고 있는 실정이다. 본 논문에서는 주파수 정보를 이용한 대표 프레임 군집화 방법을 제안하고 실험 비디오 데이터에 대하여 그 성능을 평가해 본다. 제안된 방법에서는 웨이블렛 변환을 통하여 대표 프레임의 주파수 정보를 구한 후, 고주파 영역과 저주파 영역에 가중치를 두어 대표 프레임을 군집화 하였다. 제안된 방법을 드라마 비디오 데이터에 대하여 실험한 결과 군집화의 정확도가 우수할 뿐 아니라 군집화 정도를 조절할 수 있어 다양한 수준의 군집화를 수행할 수 있음을 확인할 수 있었다.

• Proceedings of the KAIS Fall Conference
• /
• 2010.05a
• /
• pp.299-301
• /
• 2010

본 논문에서는 사용자의 키워드 학습과 비교 영역 학습을 이용하여 대용량의 비디오 데이터에 대한 사용자의 다양한 의미검색을 지원하는 에이전트 기반에서의 자동화된 비디오 검색 시스템을 제안한다. 사용자의 기본적인 질의와 질의에 의해 추출된 키 프레임의 이미지를 선택함으로써 에이전트는 추출된 키 프레임의 주석에 대한 의미를 더욱 구체화시킨다. 또한, 사용자에 의해 선택된 키 프레임은 질의 이미지가 되어 색상 히스토그램 비교기법과 제안하는 비교 영역 학습 기법을 통해 가장 유사한 키 프레임을 검색한다.

• Journal of Broadcast Engineering
• /
• v.27 no.1
• /
• pp.31-43
• /
• 2022

Traditional video compression has developed so far based on hybrid compression methods through motion prediction, residual coding, and quantization. With the rapid development of technology through artificial neural networks in recent years, research on image compression and video compression based on artificial neural networks is also progressing rapidly, showing competitiveness compared to the performance of traditional video compression codecs. In this paper, a new method capable of improving the performance of such an artificial neural network-based video compression model is presented. Basically, we take the rate-distortion optimization method using the auto-encoder and entropy model adopted by the existing learned video compression model and shifts some components of the latent information that are difficult for entropy model to estimate when transmitting compressed latent representation to the decoder side from the encoder side, and finally compensates the distortion of lost information. In this way, the existing neural network based video compression framework, MFVC (Motion Free Video Compression) is improved and the BDBR (Bjøntegaard Delta-Rate) calculated based on H.264 is nearly twice the amount of bits (-27%) of MFVC (-14%). The proposed method has the advantage of being widely applicable to neural network based image or video compression technologies, not only to MFVC, but also to models using latent information and entropy model.

• Journal of Information Management
• /
• v.37 no.4
• /
• pp.93-104
• /
• 2006

With the advancement of internet and video compression technology, there has been an increasing demand for video, and producted a large quantity contents of UCC. Therefore, Semantic-sensitive retrieval and construction for digital video library is more in demand than ever. However, it is extremely difficult to categorize and label scenes in any video automatically for searching wanted scene. This study proposes a method to extract certain scenes and analyze the video content, and shows the experimental results after categorizing 5 sports news(soccer, baseball, golf, basketball, and volleyball).

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1191-1194
• /
• 2022

인터넷의 발전으로 수많은 이미지와 비디오를 손쉽게 이용할 수 있게 되었다. 이미지와 비디오 데이터의 양이 기하급수적으로 증가함에 따라, JPEG, HEVC, VVC 등 이미지와 비디오를 효율적으로 저장하기 위한 부호화 기술들이 등장했다. 최근에는 인공신경망을 활용한 학습 기반 모델이 발전함에 따라, 이를 활용한 이미지 및 비디오 압축 기술에 관한 연구가 빠르게 진행되고 있다. NNIC (Neural Network based Image Coding)는 이러한 학습 가능한 인공신경망 기반 이미지 부호화 기술을 의미한다. 본 논문에서는 NNIC 모델과 인공신경망 기반의 초해상화(Super Resolution) 모델을 합동훈련하여 기존 NNIC 모델보다 더 높은 성능을 보일 수 있는 방법을 제시한다. 먼저 NNIC 인코더(Encoder)에 이미지를 입력하기 전 다운 스케일링(Down Scaling)으로 쌍삼차보간법을 사용하여 이미지의 화소를 줄인 후 부호화(Encoding)한다. NNIC 디코더(Decoder)를 통해 부호화된 이미지를 복호화(Decoding)하고 업 스케일링으로 초해상화를 통해 복호화된 이미지를 원본 이미지로 복원한다. 이때 NNIC 모델과 초해상화 모델을 합동훈련한다. 결과적으로 낮은 비트량에서 더 높은 성능을 볼 수 있는 가능성을 보았다. 또한 합동훈련을 함으로써 전체 성능의 향상을 보아 학습 시간을 늘리고, 압축 잡음을 위한 초해상화 모델을 사용한다면 기존의 NNIC 보다 나은 성능을 보일 수 있는 가능성을 시사한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.11a
• /
• pp.270-273
• /
• 2010

스케일러블 비디오 부호화(SVC: Scalable Video Coding)는 하나의 비트스트림 결과물로부터 둘 이상의 다중 비트율 및 해상도, 프레임율을 추출할 수 있도록 MPEG의 스케일러블 비디오 코딩 국제 표준을 준수하여 부호화한 비디오 비트스트림을 의미한다. 우리는 SVC(Scalable Video Coding)기반기술을 이용하여 하나의 콘텐츠를 통해 소비환경에 적응적인 비디오 스트리밍 서비스를 IP망을 기반으로 적용하기 위한 응용기술을 개발하고 있다. 본 논문에서는 단말로 부터 전송채널에 대한 상태를 전송받아 이에 맞게 콘텐츠를 적응변환 하고 다양한 품질의 단말에서의 스트리밍을 제공하는 SVC 미디어 서버를 관리하는 SVC 서버 관리 제어기의 설계 및 그 구현에 관한 내용이다. 이와 같이 SVC 서버 관리 제어기의 개발을 통해서 SVC의 다양한 콘텐츠 적응레벨을 설정하고 관리할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.567-569
• /
• 2011

최근 비디오를 즐기는 방법에 있어서 다양한 형식 및 기기가 사용되고 있으며, 이러한 실질적 요구를 충족시키기 위한 방법으로 빠른 비디오 변환 기술이 필요하다. 비디오 변환 기술 중 해상도 축소를 위한 새로운 움직임 벡터 재예측 방법을 제안한다. 줄어든 영상 내 블록의 움직임 벡터를 결정하기 위해 원본 영상 내 대응 되는 위치의 2개 이상의 움직임 벡터들을 K-means clustering 방법 기반으로 다중 후보 움직임 벡터를 결정하고, 결정된 움직임 벡터 중에서 차이의 절대값 합이 최소가 되는 움직임 벡터를 줄어든 영상 내 블록을 위한 움직임 벡터로 결정한다,. 실험 결과 비디오 변환 없이 압축을 수행한 연산시간에 비해 9% 정도의 연산시간이 필요하였으며, 압축 효율은 BR-RATE가 약 17정도 증가하여 기존의 방식의 증가량에 비해 60%로 줄어든 결과를 보여주었다.