• 제어로봇시스템학회논문지
• /
• 제7권4호
• /
• pp.304-308
• /
• 2001

The increase of video data makes the demand of efficient retrieval, storing, and browsing technologies necessary. In this paper, a video segmentation method (scene change detection method, or shot boundary detection method) for the development of such systems is proposed. For abrupt cut detection, inter-frame similarities are computed using luminance and edge histograms and a cut is declared when the similarities are under th predetermined threshold values. A gradual scene change detection is based on the similarities between the current frame and the previous shot boundary frame. A correlation method is used to obtain universal threshold values, which are applied to various video data. Experimental results show that propose method provides 90% precision and 98% recall rates for abrupt cut, and 59% precision and 79% recall rates for gradual change.

• 전자공학회논문지CI
• /
• 제38권5호
• /
• pp.58-64
• /
• 2001

현재 많은 정보들이 비디오 데이터로 전송 또는 저장되고 있으며 고성능 PC의 보급과 internet과 같은 통신망의 대중화로 이런 비디오 데이터는 급속도로 증가하고 있다. 본 논문에서는 이런 비디오 데이터의 검색을 위하여 비디오 스트립을 분석하여 shot을 찾아내고 이들 중 key frame을 찾는 방법에 대하여 연구하고 이로서 사용자의 질의에 부합하는 비디오를 검색한다. 본 논문에서는 shot 경계 검출을 위해 객체의 움직임에 강인하면서 shot 내에서의 칼라의 변화에 둔감한 새로운 feature를 제안하고, shot frame에서 구한 각 feature들의 통계적 특성을 이용하여 스트립의 특징에 따라 weight를 부가하여 구해진 characterizing value의 시간 변화량을 구한다. 구해진 변화량의 local maxima와 local minima는 비디오 스트림에서 각각 가장 특정적인 frame과 평균적인 frame을 나타낸다. 이 순간의 short frame을 구함으로서 효과적이고 빠른 시간 내에 key frame을 추출한다. 추출되어진 key frame에 대하여 원 영상을 복원한 후, 색인을 위하여 다수의 parameter를 구하고, 사용자가 질의한 영상에 대해서 이들 parameter를 구하여 key frame들과 가장 유사한 대표영상들을 검색한다. 실험결과 일반적인 방법보다 더 나은 결과를 보였고, 높은 검색율을 보였다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2002년도 하계종합학술대회 논문집(1)
• /
• pp.259-262
• /
• 2002

We propose a new algorithm to detect shot change, which is necessary in retrieval of video data. In order to solve the problems of abrupt brightness change and similar brightness between frames in the typical shot change methods, we propose the hi-polarity histogram method which takes into account the distribution and magnitude of brightness changes in consecutive frames. We evaluate our algorithm with compressed and uncompressed video data and demonstrate its improved performance.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2003년도 하계종합학술대회 논문집 Ⅳ
• /
• pp.1855-1858
• /
• 2003

In this paper, we propose image retrieval method more accurate and efficient than the conventional one. First of ail, we perform a shot detection and key frame extraction from the DC image constructed by DCT DC coefficients in the compressed video stream that is video compression standard such as MPEG[I][2]. We get principal axis applying PCA(Principal Component Analysis) to key frames for obtaining indexing information, and divide a domain. Video retrieval uses indexing information of high dimension. We apply KD-Trees(K Dimensional-Trees)[3] which shows efficient retrieval in data set of high dimension to video retrieval method. The proposed method can represent property of images more efficiently and property of domains more accurately using KD-Trees.

• 대한전자공학회논문지SP
• /
• 제43권5호
• /
• pp.72-78
• /
• 2006

본 논문은 H.264/AVC 압축 영역에서의 동영상 검색에 관한 것이다. 기존의 동영상 압축 표준인 MPEG-2 및 4와는 달리 H.264/AVC는 다양한 블록 단위의 움직임 보상으로 인해 기존의 MPEG-2 및 4에서 사용되었던 움직임 벡터를 이용한 방법들을 그대로 적용하기 어렵다. 따라서 본 논문에서는 이러한 문제를 해결하기 위해 H.264/AVC의 다양한 블록 크기의 움직임 벡터를 움직임 보상의 최소 단위인 $4{\times}4$ 블록 단위로 분할하고, 각각의 분할된 블록에 동일한 움직임 벡터를 할당하는 방법을 제안한다. 또한, 유사도 측정을 위해 두 영상으로부터 추출한 특징 간의 상관계수를 이용하였다. 실험은 10558 프레임의 MPEG 표준 동영상과 48161 프레임의 일반 동영상을 대상으로 이루어졌으며, 제안한 방법을 이용한 실험을 통해 0.2 이하의 ANMRR 결과를 나타내었다.

• 방송공학회논문지
• /
• 제5권1호
• /
• pp.102-112
• /
• 2000

기존의 비디오 구조화 기법은 주로 샷 또는 샷 그룹 레벨에서 이루어져 왔다. 그러나 이러한 샷 레벨 구조는 사용자에게 의미(semantics)를 충분히 전달할 수 없는 단점이 있다. 이런 단점을 극복하기 위해, 최근 샷 보다 상위 레벨 구조인 비디오 씬 분할에 관한 연구가 진행되고 있다. 본 논문에서는 이러한 샷 레벨 구조의 단점을 극복하기 위해서 칼라와 모션 특징을 기반으로 한 비디오 씬 분할 기법을 제안한다. 샷 내의 다양한 칼라 분포를 반영하기 위해서 각 샷을 sub-shot으로 재분할하고, 이를 이용해 대표 프레임을 추출한다. 샷 내의 모션 특징은 MPEG-1 비디오 내의 모션 벡터를 이용한다. 유사한 컨텐트를 가지고 있는 샷을 찾기 위해서 탐색 구간내의 모션 특성을 반영한 적응적 가중치를 칼라와 모션 특징에 적용한다. 실험 결과 비교를 통해 씬의 과다 분할이나 의미 반영 면에서 기존의 씬 분할 기법보다 우수함을 보였다. 제안된 기법은 비디오를 의미 있는 계층 구조로 분할해서, 사용자에게 의미를 반영하는 씬 단위로의 브라우징이나 검색을 가능케 한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제28권5호
• /
• pp.389-401
• /
• 2001

본 논문에서는 MPEG형식의 영화 데이터를 대상으로 폭발 장면 자동 추출을 위한 저급 수준 비디오 내용정보의 추상화 방법을 제안하고, 실제 구현을 통하여 그 유용성을 보인다. 제안한 추상화 방법은 폭발시 발생하는 불꽃의 색이 노란색 톤을 가진다는 사실과, 불꽃이 나타나는 프레임은 같은 tit에 속하는 이웃한 프레임과는 화면 구성이 달라지게 되므로 움직임 에너지 값이 커지게 된다는 사실을 바탕으로 한다. 이를 위해서 샷 단위의 인덱싱을 자동적으로 수행하고 각 샷의 첫 번째 프래임을 키 프레임으로 하다. 이를 위해서 샷 단위의 인덱싱을 자동적으로 수행하고 각 샷의 첫 번째 프레임을 키 프레임으로 선택한 후 영역별 주 색깔(Dominant Color)를 추출한다. 이때 색 공간은 양자화를 통한 512색 중 노란색 톤을 가지는 48 색 범위로 정의한다. 이후 매 샷마다 첫 번째 프레임과 이웃한 프레임의 에지 이미지(Edge Image)를 추출하여 이들의 차이로써 움직임 에너지(Motion Energy)를 얻는다. 이 두 가지 정보, 즉 노란색 톤을 가지는 색 정보와, 같은 장면 내의 다른 샷의 움직임 에너지에 비해 큰 값의 움직임 에너지를 갖는 샷을 폭발장면이 포함된 장면으로 검출한다. 실험 결과에 의하면 검색 결과는 주어진 임계값에 의존적이나, Recall과 Precision에서 80% 이상의 검출률을 보이고 있다. 그러나 일반적인 폭발 장면은 찾기에는 노란색 불꽃을 보이지 않는 예외적인 경우가 발생하여 이를 추출하는데 어려움이 있었다. 앞으로 이러한 문제점등은 기존의 오디오 정보를 이용한 폭발 장면 검출 방법과 함께 이용함으로써 해결되어질 수 있을 것이다.

• 지능정보연구
• /
• 제18권2호
• /
• pp.47-60
• /
• 2012

비디오 데이터는 구조화되지 않은 복합 데이터의 형태를 지닌다. 이러한 비디오 데이터의 효율적인 관리 및 검색을 위한 비디오 데이터 구조화의 중요성이 대두되면서 콘텐츠 내 시각적 특징을 기반으로 비디오 씬(scene)을 탐지하고자 하는 연구가 활발히 진행되었다. 기존의 연구들은 주로 색상 정보만을 이용하여 샷(shot) 간의 유사도 평가를 기반한 클러스터링(clustering)을 통해 비디오 씬을 탐지하고자 하였다. 하지만 비디오 데이터의 색상 정보는 노이즈(noise)를 포함하고, 특정 사물의 개입 등으로 인해 급격하게 변화하기 때문에 색상만을 특징으로 고려할 경우, 비디오 샷 혹은 씬에 대한 올바른 식별과 디졸브(dissolve), 페이드(fade), 와이프(wipe)와 같은 화면의 점진적인 전환(gradual transitions) 탐지는 어렵다. 이러한 문제점을 해결하기 위해, 본 논문에서는 프레임(frame)의 컬러 히스토그램과 코너 에지, 그리고 객체 컬러 히스토그램에 해당하는 시각적 특징을 기반으로 동일한 이벤트를 구성하는 의미적으로 유사한 샷의 클러스터링을 통해 비디오 씬을 탐지하는 방법(Scene Detector by using Color histogram, corner Edge and Object color histogram, SDCEO)을 제안한다. SDCEO는 샷 바운더리 식별을 위해 컬러 히스토그램 분석 단계에서 각 프레임의 컬러 히스토그램 정보를 이용하여 1차적으로 연관성 있는 연속된 프레임을 샷 바운더리로 병합한 후, 코너 에지 분석 단계에서 병합된 샷 내 처음과 마지막 프레임의 코너 에지 특징 비교를 통하여 샷 바운더리를 정제하여 최종 샷을 식별한다. 키프레임 추출 단계에서는 샷 내 프레임간 유사도 비교를 통해 모든 프레임과 가장 유사한 프레임을 각 샷을 대표하는 키프레임으로 추출한다. 그 후, 비디오 씬 탐지를 위해, 컬러 히스토그램과 객체 컬러 히스토 그램에 해당하는 프레임의 시각적 특징을 기반으로 상향식 계층 클러스터링 방법을 이용하여 의미적인 연관성을 지니는 샷의 군집화를 통해 비디오 씬을 탐지하는 방법이다. 본 논문에서는 SDCEO의 프로토 타입을 구축하고 3개의 비디오 데이터를 이용한 실험을 통하여 SDCEO의 효율성을 평가하였고 샷 바운더리 식별의 성능의 정확도는 평균 93.3%, 비디오 씬 탐지 성능의 정확도는 평균 83.3%로 만족할만한 성능을 보였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제27권5호
• /
• pp.510-520
• /
• 2000

내용 기반의 비디오 인덱싱 및 검색을 위해서는 비디오 데이타를 셧(shot)으로 분할하고, 또 각 셧을 나타내는 대표 프레임을 선택하는 것이 필요하다. 하지만, 대표 프레임을 선택하는 것은 주관적이어서 일관되게 자동적으로 대표 프레임을 선택하는 것은 쉬운 문제가 아니다. 본 논문에서는 각 프레임에서의 영역을 바탕으로한 컨텐트 정보 및 시간 축 상의 변화를 이용하여 계층적으로 대표 프레임을 선택하는 방법을 제안한다. 먼저, 비디오 셧에서 카메라 모션을 검출하여 이에 따라 비디오 셧을 분류한다. 다음, 분류된 비디오 셧에 컨텐트의 중요도를 계산하기 위한 퍼지 규칙을 적용하여 대표 프레임을 선택한다. 끝으로, 선택되는 대표 프레임의 수는 브라우징 상세도(detailness)에 따라 계층적으로 선택되게끔 한다.

• 한국정보과학회논문지:시스템및이론
• /
• 제30권12호
• /
• pp.756-771
• /
• 2003

효율적인 동영상 검색 방법은 많은 양의 동영상 데이터를 관리하는 디지털 비디오 라이브러리 시스템에서 필수적으로 요구되는 기능이다. 본 논문에서는 샷 단위 동영상을 문맥, 전경, 배경, 오디오로 나누어 비교하여 질의 동영상과 비슷한 동영상을 찾아내는 예제 기반 동영상 검색 알고리즘을 제안하였고, 제안한 알고리즘에 따라서 저작 및 검색도구를 구현하였다. 샷간의 관계 정보 즉, 문맥을 고려한다는 것은 인접한 샷들 간의 오디오, 움직임 정보들과 같은 저급 수준 내용 정보 간에 변화 패턴을 비교한다는 것이다. 두 번째 비교 요소인 전경은 움직이는 객체들의 집합을 의미하고, 세 번째 비교 요소인 배경은 전경을 제외한 나머지 비디오 정보를 의미한다. 이러한 비교 방법은 동영상 제작 과정에 근거한 것으로써 사용자로 하여금 직관적인 비교를 할 수 있게 한다. 또한 질의 신을 직접 구성할 수 있게 하였고, 각각의 비교요소에 가중치를 부여할 수 있도록 하여서 사용자의 검색의도를 자유롭게 반영할 수 있도록 하였다. 본 논문에서는 동영상이 가지고 있는 의미 정보를 검색에 완전히 반영하지는 못하지만, 문맥을 통해서 부분적인 의미 정보를 사용할 수 있도록 하였으며, 질의 신 구성과 직관적인 비교 요소를 사용함으로써 사용자의 검색 의도를 최대한 반영하고자 하였다.