• 한국산학기술학회논문지
• /
• 제9권1호
• /
• pp.114-121
• /
• 2008

비디오 데이터를 효율적으로 처리하기 위해서는 비디오 데이터가 가지고 있는 내용에 대한 정보를 데이터베이스에 저장하고 사용자들의 다양한 질의를 처리할 수 있는 의미기반 검색 기법이 요구된다. 본 논문에서는 주석기반 검색과 특징기반 검색을 이용하여 대용량의 비디오 데이터에 대한 사용자의 다양한 의미검색을 지원하는 에이전트 기반에서의 자동화되고 통합된 환경 교육 컨텐츠 검색을 위한 비디오 의미기반 검색 시스템을 제안한다. 사용자의 기본적인 질의와 질의에 의해 추출된 키 프레임의 이미지를 선택함으로써 에이전트는 추출된 키 프레임의 주석에 대한 의미를 더욱 구체화시킨다. 또한, 사용자에 의해 선택된 키 프레임은 질의 이미지가 되어 제안하는 특징기반 검색기법을 통해 가장 유사한 키 프레임을 검색한다. 설계하고 구현한 시스템은 실험을 통한 성능평가에서 90% 이상의 높은 정확도를 보였다.

• 한국멀티미디어학회논문지
• /
• 제17권1호
• /
• pp.26-33
• /
• 2014

비디오 검색 및 색인은 먼저 압축 비디오에서 장면전환을 검출하여 샷(shot)으로 분리한 후 샷 내에 키프레임 특징 정보들의 유사도 비교를 통해 이루어진다. 일반적으로 내용기반 영상 및 비디오 검색에서는 컬러, 형태, 질감의 세 가지 대표적인 영상 특징들이 주로 사용된다. 그러나 여러 특징들이 결합되어 사용되는 검색 시스템이라 할지라도 각 특징들에 대한 가중치가 적합하게 부여되지 않으면 검색되는 결과 영상의 순위가 크게 변하여 검색 성능이 떨어지게 된다. 이러한 문제점을 해결하기 위해 본 논문에서는 여러 특징들이 결합되어 사용될 때 각 특징에 대한 가중치를 적응적으로 부여해서 비디오 검색 성능을 개선하고자 한다. 제안한 방법을 3,200개 키 프레임으로 구성된 비디오 데이터베이스에서 실험을 하였고 다양한 성능평가 방법을 통해 제안한 방법이 기존 고정가중치 부여를 이용한 방법과 비교하여 검색 성능이 개선됨을 볼 수 있었다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제27권4호
• /
• pp.402-411
• /
• 2000

비디오 데이타에서 셧 경계 검출은 비디오 인덱싱 및 검색에 있어서 매우 중요한 단계이다. 셧 경계 검출 방법은 현재 많은 연구가 진행되어 왔으나 아직까지 셧에 존재하는 내용을 기반으로 한 일반적인 방법이 제시되지 못하고 있다. 주로 연속된 비디오 프레임 사이의 칼라 히스토그램 변화나 DCT 계수의 편차에 의해 검출하는 방식이 주로 사용되고 있다. 하지만, 이러한 방식들은 비디오 데이타의 내용이나 의미있는 특징들을 사용하고 있지 않아서 사용자가 원하는 고도의 정보를 처리하는데는 어려운 점이 많다. 더욱이, 이러한 내용 기반의 처리가 압축 데이타에서 직접 수행할 수 있다면, 시간 및 오버헤드를 줄일 수 있어 바람직하다. 본 논문에서는 중요한 특징인 영역 정보 및 칼라 정보를 이용하여 MPEG 데이타를 원 영상으로 복호화하지 않고, 셧 경계를 검출하는 방법을 제안한다. 먼저, 압축비디오 데이타로 부터 DC영상들을 복원하여 이 영상들에 존재하는 영역 정보 흐름 및 양자화 된 HSV 칼라 정보의 중요한 특징들을 추출하여, 영역 흐름의 불연속점이나 칼라 히스토그램의 값이 급격히 변화하는 프레임을 찾아 이를 제안된 알고리즘에 따라 비디오 데이타의 셧 경계로 검출한다.

• 한국정보과학회논문지:정보통신
• /
• 제30권4호
• /
• pp.504-512
• /
• 2003

본 논문에서는 디졸브 모델링 오차를 이용한 디졸브 검출 방법을 제안한다. 디졸브 모델링 오차는 디졸브 구간을 구성하는 두 장면 사이에 상관성이 없는 이상적인 디졸브 모델과 상관성이 존재하는 실제 디졸브 사이의 차이로 정의된다. 제안된 방법은 두 단계로 구성된다. 첫 번째 단계에서는 분산 곡선에서 나타나는 디졸브 구간의 특성인 아래로 볼록한 포물선을 검출하여 디졸브 후보 구간을 설정한다. 두 번째 단계에서는 선택된 후보 구간 자각에 대해 디졸브 모델링 오차를 정의하고 모델링 오차가 기준치와 비교한다. 기준치는 목표 모델링 오차로 각 후보 구간의 분산과 사용자에 의해 주어지는 목표 상관성에 대한 함수로 표현됨으로 제안된 기준치, 목표 모델링 오차는 각 후보 구간의 분산 변화에 적응적이다. 제안한 디졸브 검출 방법은 디졸브 구간을 구성하는 두 장면의 상관성을 고려하므로, 의미론적 디졸브 검출 방법이 될 수 있다. 제안된 방법을 다양한 동영상에 적용하여 성능을 평가하였다. 실험 결과 제안한 방법이 다양한 분산의 변화에도 불구하고 기존의 방법보다 정확하고 신뢰성 높은 디졸브 검출 결과를 나타내었다.

• 정보보호학회논문지
• /
• 제21권1호
• /
• pp.85-91
• /
• 2011

영화, 드라마와 같은 비디오에서 등장하는 인물을 검출하고 인식하는 기술은 일반 사용자를 대상으로 PVR(personal video recorder), 모바일 폰과 멀티미디어 공급자를 위한 얼굴 영상의 데이터베이스 관리와 같은 응용분야에 이용될 수 있다. 본 논문에서는 비디오 등장인물을 자동으로 검색하는 얼굴검출 기법을 제안한다. 본 논문에서 제안한 얼굴검출 기법은 크게 세 단계로 구성하였다. 첫 번째, 정지 영상을 생성한 후 장면전환점 검출단계, 두 번째, 색상정보를 이용한 얼굴검출 단계, 마지막으로 얼굴영역을 이용한 얼굴 특징점 검출단계로 구성하였다. 실험결과 다양한 환경에서 성공적으로 얼굴을 검출하였으며, 기존의 색상정보를 이용한 얼굴 검출기법보다 성능이 개선된 것을 확인할 수 있었다.

• 한국멀티미디어학회논문지
• /
• 제13권5호
• /
• pp.663-673
• /
• 2010

급격하게 증가하고 있는 동영상의 관리 도구로써 동영상을 계층적이고 구조적으로 구분하는 동영상 분할은 색인, 요약, 검색 등 다양한 응용 분야에서 공통적으로 적용될 수 있는 핵심 기술이라 할 수 있다. 기존의 적응적 임계값을 사용하는 동영상 분할 방법은 연속되는 프레임 간의 차이 값과 일정 간격의 크기를 갖는 윈도우에서 임계값을 계산하여 동영상 분할을 수행하였다. 그러나 이 경우, 윈도우의 크기보다 전환점의 발생 간격이 짧거나, 주변의 차이 값이 변동이 많으면, 정확한 검출을 하지 못한다. 상기 문제점을 개선하기 위하여 본 논문에서는 동영상의 포맷에 따라 윈도우의 크기를 결정하고, 윈도우 안에서 가중치를 사용하여 주변 값의 변화에 민감하게 반응하는 개선된 적응적 임계값 결정 알고리즘을 제안한다. 또한 카메라 불빛과 큰 물체의 빠른 움직임 등에 의한 오검출을 줄이기 위해 후처리 기법을 적용하였다. 실험을 통해서 제안된 방법은 기존 방법과 비교하여 3.7%의 성능 향상을 보이며, 변형된 동영상에서 95.5%의 재현성을 갖는 것을 확인하였다. 따라서 제안된 동영상 분할 방법은 기존 방법과 비교하여 정확성이 높고, 다양한 변형에도 재현성을 가지므로 동영상 관리 도구로써 많은 응용 분야에 적용할 수 있다.

• 한국산업정보학회논문지
• /
• 제6권3호
• /
• pp.115-122
• /
• 2001

비디오 데이터의 장면전환검출은 연속되는 두 개 샷(shot) 사이의 경계인 컷(cut)을 검출하는 것으로 비디오 검색과 색인의 첫 번째 단계로서 매우 중요한 역할을 한다. 본 논문에서는 압축된 비디오에서 최소의 복호화로 빠르고 정확한 장면전환을 검출하기 위해 단계적 접근을 이용한 알고리듬을 제안한다. 제안한 방법은 먼저 I-프레임의 DC 영상을 이용해서 장면전환을 포함한 GOP(group of picture)를 찾고 GOP내에서 장면전환이 발생한 정확한 위치는 B-프레임에서 매크로블록의 부호화 형태에 관한 정보를 이용해서 찾는다. 이 방법은 기존의 P, B-프레임의 DC 영상을 모두 이용하는 것보다 간단하고 P, B-프레임의 DC 영상에서 발생하는 화질 열화를 고려할 필요가 없다는 장점이 있다. 실험결과 제안한 방법이 기존의 모든 프레임의 DC 영상을 이용한 방법보다 성능이 우수함을 볼 수 있다.

• 정보관리학회지
• /
• 제25권4호
• /
• pp.131-148
• /
• 2008

본 연구에서는 비디오의 의미를 잘 표현하고 있는 키프레임들을 추출하는 알고리즘을 설계하고 평가하였다. 구체적으로 영상 초록의 키프레임 선정을 위한 이론 체계를 수립하기 위해서 선행 연구와 이용자들의 키프레임 인식 패턴을 조사하여 분석해 보았다. 그런 다음 이러한 이론 체계를 기초로 하여 하이브리드 방식으로 비디오에서 키프레임을 추출하는 알고리즘을 설계한 후 실험을 통해서 그 효율성을 평가해 보았다. 끝으로 이러한 실험 결과를 디지털 도서관과 인터넷 환경의 비디오 검색과 브라우징에 활용할 수 있는 방안을 제안하였다.

• Journal of Information Processing Systems
• /
• 제19권6호
• /
• pp.730-744
• /
• 2023

The topic of this paper is the recognition of human activities using egocentric vision, particularly captured by body-worn cameras, which could be helpful for video surveillance, automatic search and video indexing. This being the case, it could also be helpful in assistance to elderly and frail persons for revolutionizing and improving their lives. The process throws up the task of human activities recognition remaining problematic, because of the important variations, where it is realized through the use of an external device, similar to a robot, as a personal assistant. The inferred information is used both online to assist the person, and offline to support the personal assistant. With our proposed method being robust against the various factors of variability problem in action executions, the major purpose of this paper is to perform an efficient and simple recognition method from egocentric camera data only using convolutional neural network and deep learning. In terms of accuracy improvement, simulation results outperform the current state of the art by a significant margin of 61% when using egocentric camera data only, more than 44% when using egocentric camera and several stationary cameras data and more than 12% when using both inertial measurement unit (IMU) and egocentric camera data.

• 한국통신학회논문지
• /
• 제30권7C호
• /
• pp.675-686
• /
• 2005

본 논문에서는 효율적인 얼굴 영역 검출 기법을 제안하고 얼굴 객체 검출을 통해 인물 기반의 비디오 시스템을 제공한다. 비디오 분할을 위해 비디오 시퀀스로부터 장면 전환점을 검출하고 분할된 장면들로부터 대표 프레임을 선정한다. 대표 프레임은 인접 프레임 간 변화량이 가장 적은 프레임으로 선정하였으며 추출된 대표 프레임에 대해서 얼굴 영역 검출 알고리즘을 적용하여 등장인물을 포함하는 프레임들을 정보로 제공한다. 얼굴영역 검출을 위해 피부색의 통계적 특성을 이용한 Bayes 분류기를 이용한다. 피부색 검출 결과 영상으로부터 수직 및 수평 투영 기법을 이용하여 영상 분할을 수행하고 후보군들을 생성한다. 생성된 후보군 중 오검출 영역을 최소화하기 위해서 이진 분류 나무(CART)를 이용하여 분류기를 생성한다. 특징 값으로는 SGLD(spatial gray level dependence) 매트릭스로부터 Inertial, Inverse Difference, Correlation 등의 질감 정보를 이용하여 최적의 이진 분류 나무를 생성한다. 실험 결과 제안된 얼굴 영역 검출 알고리즘은 복잡하고 다양한 배경에서도 우수한 성능을 보였으며, 얼굴 객체를 포함하는 프레임들을 비디오 정보로 제공한다. 제안하는 시스템은 향후 화자 인식 기법을 이용하여 등장인물 기반의 비디오 분석 및 에 활용될 수 있을 것이다.