• International Journal of Contents
• /
• 제4권2호
• /
• pp.24-28
• /
• 2008

In this paper, we propose a new approach for content-based video retrieval using non-parametric based motion classification in the shot-based video indexing structure. Our system proposed in this paper has supported the real-time video retrieval using spatio-temporal feature comparison by measuring the similarity between visual features and between motion features, respectively, after extracting representative frame and non-parametric motion information from shot-based video clips segmented by scene change detection method. The extraction of non-parametric based motion features, after the normalized motion vectors are created from an MPEG-compressed stream, is effectively fulfilled by discretizing each normalized motion vector into various angle bins, and by considering the mean, variance, and direction of motion vectors in these bins. To obtain visual feature in representative frame, we use the edge-based spatial descriptor. Experimental results show that our approach is superior to conventional methods with regard to the performance for video indexing and retrieval.

• 대한전자공학회논문지SP
• /
• 제44권3호
• /
• pp.8-15
• /
• 2007

최근 멀티미디어 데이터를 효율적으로 전송, 저장 관리 및 검색하는 기술이 중요한 핵심 기술로 대두되고 있다. 그 중에서 멀티미디어 정보 검색의 경우 사용자가 원하는 정보를 표현할 수 있는 사용자 인터페이스 기술과 원하는 정보를 사용자에게 신속하고 정확하게 보여주는 기술의 필요성이 증대하고 있다. 본 논문에서는 MPEG으로 압축된 영상 정보에서 장면의 전환점인 컷을 효과적으로 검출하여 동영상을 분할하는 기법을 제안한다. 컷 검출(Cut detection)은 MPEG 비디오 시퀀스에서 동영상을 분할하는 가장 기본적이면서 중요한 기초 작업이며, 비디오 색인 및 검색을 위한 첫 번째 단계이다. 기존의 방법들은 프레임간을 비교하기 때문에 물체의 빠른 움직임이나 카메라의 움직임, 후레쉬의 섬광 등 화면 변화에 따라 오검출이 생기는 단점이 있다. 제안하는 컷 검출 기법은 먼저 입력영상을 DCT의 DC를 이용하여 샷을 검출한다. 이렇게 검출된 샷으로 데이터베이스를 구성하고, MPEG-7의 시각 기술자 중 HMMD 컬러 모델과 에지 히스토그램을 사용하여 영상에서 특징을 추출하였다. 그리고 제안하는 매칭 기법에 따라 단계별 검색을 수행하였다. 이 실험을 통해서 기존 방법들보다 높은 검색률을 보이는 개선된 동영상 분할 시스템을 설계하였다.

• 한국멀티미디어학회논문지
• /
• 제16권4호
• /
• pp.483-492
• /
• 2013

SURF는 영상의 특징점을 추출하고 서술자를 생성하는 알고리즘으로 객체인식 및 추적, 파노라마 이미지 생성 등 여러 영상처리 시스템에 응용되고 있다. SURF 알고리즘은 영상의 크기, 회전, 시점 등의 변화에 강인한 특징을 갖지만 복잡하고 반복적인 연산이 많아 실시간 처리가 어렵다. 실제 PC(Pentium, 3.3GHz) 환경에서 1000개 정도의 특징점이 추출되는 VGA($640{\times}480$) 해상도의 영상을 이용하여 실험한 결과 특징점 추출 및 서술자 생성에 총 240ms 이상이 걸려 약 4frame/sec로 실시간 처리가 불가능한 것을 확인하였다. 본 논문에서는 SURF 알고리즘의 메모리 접근 패턴을 분석하여 라인 메모리를 효율적으로 구성해 메모리 사용을 최소화하고 반복적으로 수행되는 연산을 병렬처리 하는 방법으로 하드웨어를 설계하였다. 하드웨어 설계 검증 결과 Xilinx사의 Virtex5LX330 FPGA를 타겟으로 합성 시 101,348LUTs(66%)와 1,367KB의 내부 메모리를 사용하고, 100MHz 동작 클록에서 30 frame/sec로 실시간 처리가 가능함을 볼 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권7호
• /
• pp.3599-3619
• /
• 2019

In human activity recognition system both static and motion information play crucial role for efficient and competitive results. Most of the existing methods are insufficient to extract video features and unable to investigate the level of contribution of both (Static and Motion) components. Our work highlights this problem and proposes Static-Motion fused features descriptor (SMFD), which intelligently leverages both static and motion features in the form of descriptor. First, static features are learned by two-stream 3D convolutional neural network. Second, trajectories are extracted by tracking key points and only those trajectories have been selected which are located in central region of the original video frame in order to to reduce irrelevant background trajectories as well computational complexity. Then, shape and motion descriptors are obtained along with key points by using SIFT flow. Next, cholesky transformation is introduced to fuse static and motion feature vectors to guarantee the equal contribution of all descriptors. Finally, Long Short-Term Memory (LSTM) network is utilized to discover long-term temporal dependencies and final prediction. To confirm the effectiveness of the proposed approach, extensive experiments have been conducted on three well-known datasets i.e. UCF101, HMDB51 and YouTube. Findings shows that the resulting recognition system is on par with state-of-the-art methods.

• ETRI Journal
• /
• 제35권2호
• /
• pp.281-291
• /
• 2013

A video signature is a set of feature vectors that compactly represents and uniquely characterizes one video clip from another for fast matching. To find a short duplicated region, the video signature must be robust against common video modifications and have a high discriminability. The matching method must be fast and be successful at finding locations. In this paper, a frame-based video signature that uses the spatial information and a two-stage matching method is presented. The proposed method is pair-wise independent and is robust against common video modifications. The proposed two-stage matching method is fast and works very well in finding locations. In addition, the proposed matching structure and strategy can distinguish a case in which a part of the query video matches a part of the target video. The proposed method is verified using video modified by the VCE7 experimental conditions found in MPEG-7. The proposed video signature method achieves a robustness of 88.7% under an independence condition of 5 parts per million with over 1,000 clips being matched per second.

• 한국콘텐츠학회:학술대회논문집
• /
• 한국콘텐츠학회 2004년도 추계 종합학술대회 논문집
• /
• pp.327-332
• /
• 2004

USB(Universal Serial Bus)는 최근 컴퓨터시스템에서 가장 인기 있는 인터페이스 중의 하나인데 이를 보다 확대하여 사용 시 즉, 다수의 디바이스들이 서로 연결되는 댁내망을 구성할 때는 버스대역을 시분할 다중화(TDM, Time Division Multiplexing) 방식으로 사용하는 USB의 특징상 버스대역의 병목현상을 초래하게 되는 데 이러한 상황을 보다 효율적으로 대처할 수 있는 버스 대역 사용방안을 제안 한다. 기본적으로 USB 통신방식으로 디지털 정보가전 간 실시간 동영상 정보 전송을 위한 시스템을 구현함에 있어 보다 효율적인 데이터 전송을 위한 USB 데이터 전송타입과 디바이스 간 정보 교환을 위한 정의된 포맷을 가지는 데이터 구조인 각 디스크립터(Descriptor)들을 분석하여 동영상 전송을 위한 등시성(Isochronous)전송 방식의 세부 성능 향상 방법을 제안한다. 하나의 디바이스 설정(Configuration)이 2개의 대안적 설정(AlternateSetting)을 가지는 인터페이스(Interface)를 가정할 경우 버스 트래픽 과다에 의한 Isochronous 전송이 원활하지 않을 경우에 인터페이스의 AlternateSetting을 변경하고 설정요청(SetInterface() Request)하여 충분한 버스대역을 할당받지 못 하는 디바이스에 있어서도 최소한의 데이터 프레임률을 보장하고자 한다. 그리고 버스 트래픽이 정상인 경우 원래의 AlternateSetting으로 복귀하는 알고리즘을 제안한다. 이 제안 방법으로 다수의 디바이스들이 연결되어지는 홈 네트워크 댁내망에서의 동영상 데이터 전송 시 발생할 수 있는 병목현상을 해결한다.

• 한국산학기술학회논문지
• /
• 제14권5호
• /
• pp.2430-2436
• /
• 2013

본 논문에서는 교차로 내에 위험의 원인이 되는 정지 객체를 검지하는 방법을 제안한다. 교차로 내에 설치된 CCTV에서 실시간 영상을 입력받아 객체의 크기를 일정하게 하기 위하여 역원근변환을 수행하였다. 원근변환된 영상에서 검지영역을 설정하고 객체의 이동 정보를 이용한 적응적인 배경영상을 생성하였다. 정지한 객체의 검출은 배경영상 차이법을 사용하여 정지한 객체의 후보 영역을 검출하였다. 검출된 후보 영역의 진위 여부를 파악하기 위하여 영상의 기울기 정보와 EHD(Edge Histogram Descriptor)를 이용하는 방법을 제안한다. 제안한 알고리즘의 성능을 알아보기 위하여 교차로에 설치된 DVR을 통해 출퇴근 시간 및 주간 대의 영상을 저장하여 실험하였다. 실험 결과 교차로 내의 검지영역 내에 정지한 차량을 효율적으로 감지할 수 있었으며 검지영역의 면적에 따라 초당 13~18프레임의 처리속도를 나타내어 실시간 처리에 문제가 없을 것으로 판단된다.

• 한국정보통신학회논문지
• /
• 제21권4호
• /
• pp.811-819
• /
• 2017

이동 객체 정보로 이루어진 디스크립터 및 시간적 히스토그램 기반 움직임 패턴 분석 알고리즘을 제안한다. 이동객체의 검출, 추적 및 분석을 위하여 배경으로부터 이동객체를 분리하는 배경학습을 수행한다. 무게중심의 좌표연관성을 이용하여 객체를 식별한 후 객체별로 추적한다. 시간적 히스토그램은 객체의 무게중심의 위치와 시간 정보를 이용해 움직임 특징 패턴을 정의한 것으로서 시간적 히스토그램으로부터 각 객체의 좌표정보와 비교하여 움직임특징 및 행동정보를 파악한다. 검출된 각 객체의 시작프레임, 종료프레임, 위치 등 행동정보를 연결리스트에 저장하여 관리한다. 저장된 정보들을 바탕으로 디스크립터를 작성하고 비디오 검색 알고리즘을 설계한다. 다양한 객체 이동 비디오에 대한 검색 실험을 통해 기존 방법보다 높은 검색 정확도를 보임을 확인하였다.

• 전자공학회논문지
• /
• 제49권11호
• /
• pp.64-73
• /
• 2012

본 논문에서는 동일한 동영상을 검출하기 위한 방법을 제안한다. 제안하는 방법은 시공간 그룹특징 핑거프린팅이다. 동영상의 프레임은 고정된 비율 방법으로 추출되며, 수직그룹과 수평그룹으로 나눠진다. 서술자는 각 그룹특징을 이진화 핑거프린팅으로 추출하여 만든다. 그 다음 원본 동영상의 서술자로 두 종류의 핑거프린팅 데이터베이스를 구축하여 질의 동영상과 정합한다. 효율적이고 효과적인 동영상 복사 검색을 하기 위해 높은 강인성, 독립성, 정합 속도를 가져야 한다. 제안한 방법에선 그룹특징으로 동영상의 다양한 변형에 높은 강인성과 독립성을 가지게 된다. 구축된 원본 핑거프린팅 데이터베이스는 질의 동영상과의 고속 정합을 가능하게 해준다. 제안한 방법은 기존 방법들과 비교했을 때 다양한 변형에서 뛰어난 성능향상을 보였다. 특히, 속도 향상에 매우 뛰어난 성능을 가져온 것이 본 논문의 큰 장점이라 할 수 있다.

• 한국측량학회지
• /
• 제26권4호
• /
• pp.407-414
• /
• 2008

본 논문은 항공사진과 위성영상의 서로 다른 해상도를 지닌 이종센서 영상들에 대한 효율적인 특이점 자동 매칭 기법에 대한 알고리즘에 관한 연구이다. 본 연구의 자동 매칭 알고리즘은 매칭 정확도 및 속도를 향상시키기 위해 다양한 영상 처리 방법을 적용하였다. 특이점을 추출하기 위하여 전처리 과정, 필터링, 세선화, 특이점 추출 방법을 사용하였으며, 특이점에 대한 키서술자(Key-descriptor)를 비교하여 매칭의 정확도를 향상시켰다. 특히 본 연구에서 제안된 이종센서간의 정확도 높은 자동 영상 매칭을 위해 센서마다 지닌 기하학적 및 방사학적인 영상의 특징을 활용하였다. 아울러 매칭 속도를 높이기 위해 센서 모델을 이용하여 탐색 영역을 최소화 하고 매칭이 잘못된 특이점을 제거할 수 있는 방법을 제시하고 있다.