• 방송공학회논문지
• /
• 제11권1호
• /
• pp.28-41
• /
• 2006

양방향 맞춤형 방송의 실현으로 인해 비디오의 내용을 자동으로 분석하여 그 구조를 기술하거나 요약을 생성하는 등의 내용 기반 비디오 분석 기술의 필요성이 요구되고 있다. 본 논문에서는 온라인에서 수요가 높고 특히 맞춤형 방송에 적합한 방송 콘텐츠인 교육용 비디오의 ToC를 자동으로 생성하기 위한 방법을 제안한다. 제안한 ToC 생성 방법은 씬 분할과 씬 서술의 두 단계로 이루어져 있다. 씬 분할 단계에서는 삿 분할을 수행한 후 샷 간의 연결관계 분석을 통해 입력 영상을 씬 단위로 분할하게 된다. 씬 서술 단계에서는 분할된 각 씬이 장면 분류, 자막 검출, 화자 인식 등에 의해 그 내용이 자동으로 서술된다. 제안된 방법을 통해 생성된 ToC는 씬과 샷의 계층 구조를 통해 비디오의 구성을 표현하고, 검출된 여러 특정을 이용해 각 씬과 샷의 내용을 서술함으로써 사용자가 비디오의 내용을 한눈에 알아볼 수 있고 원하는 내용에 손쉽게 접근할 수 있도록 도와줄 수 있다. 또 보다 상세한 ToC가 요구되는 경우에는 유용한 정보들이 포함되어 있는 초기 형태의 ToC로써 이용되어 수작업에 의한 ToC 생성에 필요한 시간을 효과적으로 줄이는 것이 가능하다. 실험을 통해 제안한 방법으로 여러 개의 교육용 비디오에서 ToC를 효과적으로 생성될 수 있음을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제13권5호
• /
• pp.663-673
• /
• 2010

급격하게 증가하고 있는 동영상의 관리 도구로써 동영상을 계층적이고 구조적으로 구분하는 동영상 분할은 색인, 요약, 검색 등 다양한 응용 분야에서 공통적으로 적용될 수 있는 핵심 기술이라 할 수 있다. 기존의 적응적 임계값을 사용하는 동영상 분할 방법은 연속되는 프레임 간의 차이 값과 일정 간격의 크기를 갖는 윈도우에서 임계값을 계산하여 동영상 분할을 수행하였다. 그러나 이 경우, 윈도우의 크기보다 전환점의 발생 간격이 짧거나, 주변의 차이 값이 변동이 많으면, 정확한 검출을 하지 못한다. 상기 문제점을 개선하기 위하여 본 논문에서는 동영상의 포맷에 따라 윈도우의 크기를 결정하고, 윈도우 안에서 가중치를 사용하여 주변 값의 변화에 민감하게 반응하는 개선된 적응적 임계값 결정 알고리즘을 제안한다. 또한 카메라 불빛과 큰 물체의 빠른 움직임 등에 의한 오검출을 줄이기 위해 후처리 기법을 적용하였다. 실험을 통해서 제안된 방법은 기존 방법과 비교하여 3.7%의 성능 향상을 보이며, 변형된 동영상에서 95.5%의 재현성을 갖는 것을 확인하였다. 따라서 제안된 동영상 분할 방법은 기존 방법과 비교하여 정확성이 높고, 다양한 변형에도 재현성을 가지므로 동영상 관리 도구로써 많은 응용 분야에 적용할 수 있다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제29권4호
• /
• pp.235-247
• /
• 2002

디지털 비디오 영상을 효과적으로 색인하고 검색하기 위해서 비디오의 내용을 함축적으로 표현하고 있는 비디오 자막을 추출하여 인식하는 연구가 필요하다. 본 논문에서는 압축되지 않은 비디오 영화 영상에 인위적으로 삽입한 한글 및 영어 자막을 대상으로 자막 영역을 추출하고, 추출된 자막 이미지를 향상시키는 방법을 제안한다. 제안한 방법의 특징은 동일한 내용의 자막을 갖는 프레임들의 위치를 자동으로 찾아서 동일 자막 프레임들을 다중 결합하여 배경에 포함되어 있는 잡영의 일부 또는 전부를 우선 제거한다. 또한, 이 결과 이미지에 해상도 중대, 히스토그램 평활화, 획 기반 이진화, 스무딩의 이미지 향상 방법을 단계적으로 적용하여 인식 가능한 수준의 이미지로 향상시킨다. 제안한 방법을 비디오 영상에 적용하여 동일한 내용의 자막 그룹 단위로 자막 이미지를 추출하는 것이 가능해졌으며, 잡영이 제거되고 복잡한 자소의 획이 보존된 자막 이미지를 추출할 수 있었다. 동일한 내용의 자막 프레임의 시작 및 글위치를 파악하는 것은 비디오 영상의 색인과 검색에 유용하게 활용될 수 있다. 한글 및 영어 비디오 영화 자막에 제안한 방법을 적용하여 향상된 문자 인식 결과를 얻었다.

• 한국정보과학회논문지:데이타베이스
• /
• 제37권3호
• /
• pp.127-136
• /
• 2010

정보 통신기술이 발전함에 따라 멀티미디어 데이터를 포함하는 디지털 기록물의 양은 기하급수적으로 증가하고 있다. 특히 뉴스 비디오는 시대상을 반영하는 풍부한 정보를 내포하고 있으므로, 이를 효과적으로 관리하고 분석하기 위한 뉴스 비디오 데이터베이스 및 뉴스 비디오 마이닝은 광범위하게 연구되어왔다. 그러나 현재까지의 뉴스 비디오 관련 연구들은 뉴스 기사에 대한 브라우징, 검색, 요약에 치중되어 있으며, 뉴스 비디오에 내재되어 있는 풍부한 잠재적 지식을 탐사하는 고수준의 의미 분석 단계에는 이르지 못하고 있다. 본 논문에서는 뉴스 비디오 클립과 스크립트를 동시에 이용하는, 멀티모달 방법론과 텍스트 마이닝 기반의 뉴스 비디오 마이닝 시스템을 제안한다. 제안된 시스템은 텍스트 마이닝의 군집분석을 통해 뉴스 기사들을 자동 분류하고, 분류 결과에 대해 기간별 군집 추이그래프, 군집성장도 분석 및 네트워크 분석을 수행함으로써, 뉴스 비디오의 기사별 주제와 관련한 다각적 분석을 수행한다. 제안된 시스템의 타당성 검증을 위하여 "2007년 제2차 남북 정상회담" 관련 뉴스 비디오를 대상으로 뉴스 비디오 분석을 수행하였다.

• ETRI Journal
• /
• 제35권4호
• /
• pp.687-696
• /
• 2013

The development of proxy caching is essential in the area of video-on-demand (VoD) to meet users' expectations. VoD requires high bandwidth and creates high traffic due to the nature of media. Many researchers have developed proxy caching models to reduce bandwidth consumption and traffic. Proxy caching keeps part of a media object to meet the viewing expectations of users without delay and provides interactive playback. If the caching is done continuously, the entire cache space will be exhausted at one stage. Hence, the proxy server must apply cache replacement policies to replace existing objects and allocate the cache space for the incoming objects. Researchers have developed many cache replacement policies by considering several parameters, such as recency, access frequency, cost of retrieval, and size of the object. In this paper, the Weighted-Rank Cache replacement Policy (WRCP) is proposed. This policy uses such parameters as access frequency, aging, and mean access gap ratio and such functions as size and cost of retrieval. The WRCP applies our previously developed proxy caching model, Hot-Point Proxy, at four levels of replacement, depending on the cache requirement. Simulation results show that the WRCP outperforms our earlier model, the Dual Cache Replacement Policy.

• 지능정보연구
• /
• 제18권2호
• /
• pp.47-60
• /
• 2012

비디오 데이터는 구조화되지 않은 복합 데이터의 형태를 지닌다. 이러한 비디오 데이터의 효율적인 관리 및 검색을 위한 비디오 데이터 구조화의 중요성이 대두되면서 콘텐츠 내 시각적 특징을 기반으로 비디오 씬(scene)을 탐지하고자 하는 연구가 활발히 진행되었다. 기존의 연구들은 주로 색상 정보만을 이용하여 샷(shot) 간의 유사도 평가를 기반한 클러스터링(clustering)을 통해 비디오 씬을 탐지하고자 하였다. 하지만 비디오 데이터의 색상 정보는 노이즈(noise)를 포함하고, 특정 사물의 개입 등으로 인해 급격하게 변화하기 때문에 색상만을 특징으로 고려할 경우, 비디오 샷 혹은 씬에 대한 올바른 식별과 디졸브(dissolve), 페이드(fade), 와이프(wipe)와 같은 화면의 점진적인 전환(gradual transitions) 탐지는 어렵다. 이러한 문제점을 해결하기 위해, 본 논문에서는 프레임(frame)의 컬러 히스토그램과 코너 에지, 그리고 객체 컬러 히스토그램에 해당하는 시각적 특징을 기반으로 동일한 이벤트를 구성하는 의미적으로 유사한 샷의 클러스터링을 통해 비디오 씬을 탐지하는 방법(Scene Detector by using Color histogram, corner Edge and Object color histogram, SDCEO)을 제안한다. SDCEO는 샷 바운더리 식별을 위해 컬러 히스토그램 분석 단계에서 각 프레임의 컬러 히스토그램 정보를 이용하여 1차적으로 연관성 있는 연속된 프레임을 샷 바운더리로 병합한 후, 코너 에지 분석 단계에서 병합된 샷 내 처음과 마지막 프레임의 코너 에지 특징 비교를 통하여 샷 바운더리를 정제하여 최종 샷을 식별한다. 키프레임 추출 단계에서는 샷 내 프레임간 유사도 비교를 통해 모든 프레임과 가장 유사한 프레임을 각 샷을 대표하는 키프레임으로 추출한다. 그 후, 비디오 씬 탐지를 위해, 컬러 히스토그램과 객체 컬러 히스토 그램에 해당하는 프레임의 시각적 특징을 기반으로 상향식 계층 클러스터링 방법을 이용하여 의미적인 연관성을 지니는 샷의 군집화를 통해 비디오 씬을 탐지하는 방법이다. 본 논문에서는 SDCEO의 프로토 타입을 구축하고 3개의 비디오 데이터를 이용한 실험을 통하여 SDCEO의 효율성을 평가하였고 샷 바운더리 식별의 성능의 정확도는 평균 93.3%, 비디오 씬 탐지 성능의 정확도는 평균 83.3%로 만족할만한 성능을 보였다.

• 한국통신학회논문지
• /
• 제28권1C호
• /
• pp.47-55
• /
• 2003

본 논문에서는 압축된 MPEG2 비디오 스트림이 포함하고 있는 정보들을 이용하여 카메라의 움직임에 따른 연속적인 프래임의 변위를 추정하고 이를 기반으로 모자이크 이미지를 구성하는 방법을 제안한다. 제안된 방법에서는 MPEG의 매크로 블록 단위의 움직임 벡터로부터 근사적인 광 플로우(Optical Row)를 구성하고, 이를 이용하여 팬(Pan), 틸트(Tilt) 등의 카메라 동작에 따른 프래임의 변위량을 추출한다. 추정된 변위량은 모자이크 이미지를 구성하는데 있어서 연속되는 비디오 프래임의 기하학적인 변환을 결정한다. 본 논문의 모자이크 구성은 Nicolas가 제안한 분석적 가중치 등을 이용한 혼합(blending) 방법을 사용하였다. 실험결과 분석적인 가중치를 이용한 혼합방법은 평균이나 미디안에 의한 혼합방법보다 배경의 급격한 변화가 적으며 비디오 프래임의 정보를 충실히 활용함을 알 수 있었다. 구성된 모자이크는 압축정보를 디코딩하고 정확한 광플로우를 구성하는 방식에 비해 부호화 과정에 포함된 움직임 벡터를 이용하여 매크로 블록 단위의 근사적인 광플로우를 이용하기 때문에 계산량을 줄일 수 있다. 구성된 근사적인 모자이크는 비디오의 정보를 요약하고 있기 때문에 압축된 비디오 검색을 위한 대표 프레임 등에 사용될 수 있다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제27권4호
• /
• pp.402-411
• /
• 2000

비디오 데이타에서 셧 경계 검출은 비디오 인덱싱 및 검색에 있어서 매우 중요한 단계이다. 셧 경계 검출 방법은 현재 많은 연구가 진행되어 왔으나 아직까지 셧에 존재하는 내용을 기반으로 한 일반적인 방법이 제시되지 못하고 있다. 주로 연속된 비디오 프레임 사이의 칼라 히스토그램 변화나 DCT 계수의 편차에 의해 검출하는 방식이 주로 사용되고 있다. 하지만, 이러한 방식들은 비디오 데이타의 내용이나 의미있는 특징들을 사용하고 있지 않아서 사용자가 원하는 고도의 정보를 처리하는데는 어려운 점이 많다. 더욱이, 이러한 내용 기반의 처리가 압축 데이타에서 직접 수행할 수 있다면, 시간 및 오버헤드를 줄일 수 있어 바람직하다. 본 논문에서는 중요한 특징인 영역 정보 및 칼라 정보를 이용하여 MPEG 데이타를 원 영상으로 복호화하지 않고, 셧 경계를 검출하는 방법을 제안한다. 먼저, 압축비디오 데이타로 부터 DC영상들을 복원하여 이 영상들에 존재하는 영역 정보 흐름 및 양자화 된 HSV 칼라 정보의 중요한 특징들을 추출하여, 영역 흐름의 불연속점이나 칼라 히스토그램의 값이 급격히 변화하는 프레임을 찾아 이를 제안된 알고리즘에 따라 비디오 데이타의 셧 경계로 검출한다.

• 한국인터넷방송통신학회논문지
• /
• 제20권6호
• /
• pp.85-91
• /
• 2020

최근 범죄예방과 안전문제 등으로 CCTV와 같은 영상장비가 다양하게 활용되고 있다. 영상기기들은 대부분 24시간 작동되기 때문에 경비 인력을 절감할 수 있지만, 녹화된 영상에서 특정 인물과 같은 객체를 검색하는 업무는 여전히 수동으로 이루어지고 있어, 실시간 검색이 요구되는 상황에서는 정확하고 빠른 대처가 미흡하다. 본 논문에서는 최신 딥러닝 기술과 OpenCV 라이브러리를 이용하여 사용자의 의해 입력된 의상정보를 바탕으로 특정인물을 영상에서 빠르게 검색하고, 그 결과를 실시간으로 전송하는 기술을 제안한다. 개발된 시스템은 YOLO 라이브러리를 이용하여 실시간으로 인물객체를 탐지한 후, 딥러닝 기술을 이용하여 인간의 의상을 상/하의로 구분하고 OpenCV 라이브러리를 통해 색을 검출하여 특정 인물 객체를 자동으로 인식하도록 구현하였다. 본 논문에서 개발한 시스템은 특정 의상을 갖춘 인물객체를 정확하고 빠르게 인식할 뿐만 아니라 기타 객체 인식에도 활용할 수 있는 확장성을 갖추고 있어 다양한 용도의 영상감시시스템에 활용될 수 있을 것으로 기대된다.

• 정보처리학회논문지D
• /
• 제9D권5호
• /
• pp.779-788
• /
• 2002

이미지, 비디오, 오디오와 같은 멀티미디어 데이터들은 텍스트기반의 데이터에 비하여 대용량이고 비정형적인 특성때문에 검색이 어렵다. 또한 멀티미디어 데이터의 특징은 행렬이나 벡터의 형태로 표현되기 때문에 완전일치 검색이 아닌 유사 검색을 수행하여 원하는 이미지와 유사한 이미지를 검색해야 한다. 본 논문에서는 멀티미디어 데이터 검색에 클러스터링과 인덱싱 기법을 같이 적용하여 유사한 이미지는 인접 디스크에 클러스터하고 이 클러스터에 접근하는 인덱스를 구축함으로써 이미지 근처의 클러스터를 찾아 빠른 검색 결과를 제공하는 유사 검색방법을 제시한다. 본 논문에서는 트리 유사 구조의 인덱스 대신 해싱 방법을 이용하며 검색시 I/O 시간을 줄이기 위해 오브젝트를 가진 클러스터 위치를 찾는데 한번의 I/O를 사용하고 이 클러스터를 읽기 위해 연속적인 파일 I/O를 사용하여 클러스터를 찾는 비용을 최소화한다. 클러스터 인덱싱 접근은 클러스터링을 생성하는 알고리즘과 해싱 기법의 인덱싱을 이용함으로써 고차원 데이터가 갖는 차원의 문제를 해결하며 클러스터링 또는 인덱싱 만을 이용하는 내용기반의 이미지 검색보다 효율적인 검색 적합성을 보인다.