• The KIPS Transactions:PartB
• /
• v.10B no.6
• /
• pp.657-664
• /
• 2003

Reliable tracking of moving humans is essential to motion estimation, video surveillance and human-computer interface. This paper presents a new approach to human motion tracking that combines appearance-based and model-based techniques. Monocular color video is processed at both pixel level and object level. At the pixel level, a Gaussian mixture model is used to train and classily individual pixel colors. At the object level, a 3D human body model projected on a 2D image plane is used to fit the image data. Our method does not use inverse kinematics due to the singularity problem. While many others use stochastic sampling for model-based motion tracking, our method is purely dependent on nonlinear programming. We convert the human motion tracking problem into a nonlinear programming problem. A cost function for parameter optimization is used to estimate the degree of the overlapping between the foreground input image silhouette and a projected 3D model body silhouette. The overlapping is computed using computational geometry by converting a set of pixels from the image domain to a polygon in the real projection plane domain. Our method is used to recognize various human motions. Motion tracking results from video sequences are very encouraging.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.9 no.5
• /
• pp.101-107
• /
• 2009

In this paper, we describe a method of detecting emergency situation using images from surveillance cameras and propose a mobile robot tracking system for detailed examination of that situation. We are able to track a few persons and recognize their actions by an analyzing image sequences acquired from a fixed camera on all sides of buildings. When emergency situation is detected, a mobile robot moves and closely examines the place where the emergency is occurred. In order to recognize actions of a few persons using a sequence of images from surveillance cameras images, we need to track and manage a list of the regions which are regarded as human appearances. Interest regions are segmented from the background using MOG(Mixture of Gaussian) model and continuously tracked using appearance model in a single image. Then we construct a MHI(Motion History Image) for a tracked person using silhouette information of region blobs and model actions. Emergency situation is finally detected by applying these information to neural network. And we also implement mobile robot tracking technology using the distance between the person and a mobile robot.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.10c
• /
• pp.459-464
• /
• 2007

영상기반의 3자원 복원(reconstruction)에 대한 연구가 컴퓨터 성능의 발전과 다양한 영상기반의 복원 알고리즘의 연구로 인해 최근 좋은 결과를 보이고 있으나, 이는 얼굴영역과 같은 목적이 되는 영역이 각 입력영상으로부터 미리 정확하게 추출되어 있다고 가정하기 때문이다. 일반적으로 목적이 되는 영역을 추출하기 위해 차영상이 많이 이용되고 있지만 차영상은 잡음과 구멍(hole)과 같은 오 추출된 영역이 발생하기 때문에 목적이 되는 영역을 3차원으로 복원을 할 때 심각한 오류를 초래할 수 있다. 전경물체(목적이 되는 영역)을 정확하게 추출하기 위해 최근 그래프 컷(graph cut)을 이용한 방법이 다양하게 시도되고 있다. 그래프 컷은 데이터 항(data term)과 스무드 항(smooth term)으로 구성된 에너지 함수를 전역적으로 최소화하는 방법으로 여러 공학적 문제에서 좋은 결과를 보이고 있지만, 에너지 함수의 데이터 항을 설정할 때 필요한 사전정보를 자동으로 얻기가 어렵다. 스테레오 비전의 깊이 정보가 최근 전경 물체 추출을 위한 사전정보로 많이 이용되고 있고 그들의 실험환경에서는 좋은 결과를 보이지만, 3차원 얼굴 복원에서 얼굴의 대부분이 동질의 영역을 가지고 있기 때문에 깊이 정보를 구하기 어려워 정확한 사전정보를 구하기가 어렵다. 본 논문에서는 3차원 얼굴 복원을 효과적으로 하기 위한 그래프 컷 기반의 전경 물체 추출 방법을 제안한다. 에너지 함수의 데이터 항을 설정하기 위해 전경 물체에 대한 사전정보를 추출해야 하며, 이를 위해 차영상을 이용하여 대략적인 전경 물체 추출하고, 사전정보에 대한 오류를 줄이기 위해 잡음과 그림자 영역을 제거한다. 잡음과 그림자 영역을 제거하면 구멍이 발생하거나 실루엣이 손상되는 문제가 발생한다. 손상된 정보는 근접한 픽셀이 유사하지 않을 때 낮은 비용을 할당하는 에너지 함수의 스무드(smooth) 항에 의해 에지 정보를 기반으로 채워진다. 결론적으로 제안된 방법은 스무드 항과 대략적으로 설정된 데이터 항으로 구성된 에너지 함수를 그래프 컷으로 전역적으로 최소화함으로써 더욱 정확하게 목적이 되는 영역을 추출할 수 있다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.10 no.1
• /
• pp.127-135
• /
• 2006

The image-based 3D modeling is the technique of generating a 3D graphic model from images acquired using cameras. It is being researched as an alternative technique for the expensive 3D scanner. In this paper, I propose the image-based 3D modeling system using calibrated camera. The proposed algorithm for rendering 3D model is consisted of three steps, camera calibration, 3D shape reconstruction and 3D surface generation step. In the camera calibration step, I estimate the camera matrix for the image aquisition camera. In the 3D shape reconstruction step, I calculate 3D volume data from silhouette using pyramidal volume intersection. In the 3D surface generation step, the reconstructed volume data is converted to 3D mesh surface. As shown the result, I generated relatively accurate 3D model.

• Journal of the Institute of Electronics Engineers of Korea CI
• /
• v.41 no.5
• /
• pp.59-67
• /
• 2004

Gait is defined as a manner or characteristics of walking. Recently, the study on extracting features of the gait to identify the individual has been progressed actively, within the computer vision community. Even if the camera is fixed, gait features extracted from images are varied according to the direction of walking. In this paper, we propose the method which compensates for the drawback of the gait recognition which is dependant on the direction. First, we search a direction of walking and estimate the planar homography with simple operations. Through synthesizing canonical viewed images by using the estimated homography, viewpoint variation by the direction of walking is compensated. In this paper, we segment gait silhouette into sub-regions and use averaged feature and its variation of each region to recognition experiment. Experimental results show that the proposed method is robust for directional variation of the gait.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11b
• /
• pp.895-897
• /
• 2005

인간 행동 분석은 컴퓨터 비전 및 패턴인식 분야에서 활발하게 연구가 이루어지는 분야이다. 이러한 행동 분석하고 평가하기 위해서는 다양한 환경과 종류의 제스쳐를 포함하고 있는 데이터베이스의 구축이 필수적이다. 본 논문에서는 총 40명의 사람에 대하여 일상생활에서 일어날 수 있는 14개의 정상 제스처, 위급한 상황에서 발생할 수 있는 10개의 비정상 제스처 그리고 30개의 명령형 제스처를 수집한 KU(Korea University) 제스처 데이터베이스를 소개한다. 각각의 제스처는 스테레오 카메라를 통해 얻어진 2차원 제스처 동영상, 3차원 동작 카메라를 통해 얻어진 3차원 모델의 좌표 정보 그리고 2차원 실루엣 동영상을 포함하고 있다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.16 no.3
• /
• pp.266-270
• /
• 2006

In this paper, we propose the human identification system based on Hidden Markov model using gait. Since each gait cycle consists of a set of continuous motion states and transition across states has probabilistic dependences, individual gait can be modeled using Hidden Markov model. We assume that individual gait consists of N discrete transitions and we propose gait feature representation, Modified Motion Silhouette Image (MMSI) to represent and recognize individual gait. MMSI is defined as a gray-level image and it provides not only spatial information but also temporal information. The experimental results show gait recognition performance of proposed system.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.891-896
• /
• 2007

지금까지 진행된 제스처 인식 연구는 한 사람을 대상으로 정적인 환경을 가정하여 이루어져 왔다. 본 논문에서는 복수의 등장인물이 존재하는 환경에서 대화 상대를 선택하여 제스처를 인식하는 방법에 대해 기술한다. 먼저 복수의 인물이 존재하는 환경에서 배경영역을 제외한 행위자의 영역을 추출한다. 그 후 각각의 행위자를 트래킹하면서 카메라와 가장 가까이 있는 행위자를 대화 상대자로 선택한다. 대화상대자가 선택되면 스테레오 카메라에서 입력된 영상에서 추출된 실루엣 이미지를 이용하여 얼굴과 두 손을 특징 영역으로 하여 매 프레임마다 Kalman filter를 사용하여 각 영역을 트래킹한다. 트래킹되는 특징 영역의 2차원 좌표 값을 모델 제스처의 2차원 좌표 값과 비교하여 가장 높은 유사값을 갖는 모델 제스처를 입력 제스처로 인식하게 된다. 본 논문에서 사용한 방법은 복수의 등장인물이 있는 경우 효과적으로 행위 대상자를 선택하여 제스처를 인식할 수 있다. 또한 제스처 인식에 있어서 단순한 큐 매칭을 사용함으로써 계산이 복잡하지 않은 장점이 있다. 실험을 통해 본 논문에서 제시한 방법을 적용함으로써 복수의 인물이 등장하는 환경에서 제스처 인식이 가능함을 입증한다.

• Journal of Institute of Control, Robotics and Systems
• /
• v.13 no.8
• /
• pp.749-753
• /
• 2007

In this paper, a generalized version of the Motion Silhouette Image(MSI) called the Generic Motion Silhouette Image (GMSI) is proposed for gait recognition. The GMSI is a gray-level image and involves the spatiotemporal information of individual motion. The GMSI not only generalizes the MSI but also reflects a flexible feature of a gait sequence. Along with the GMSI, we use the Principal Component Analysis(PCA) to reduce the dimensionality of the GMSI and the Nearest Neighbor(NN) for classification. We apply the proposed feature to NLPR database and compare it with the conventional MSI. Experimental results show the effectiveness of the GMSI.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10b
• /
• pp.553-555
• /
• 2000

인체와 같은 다관절체의 운동은 세그먼트 단위로 강체의 특성을 포함하고 있으나, 움직임에 따라 옷의 주름과 같은 잡음과 관절의 변화 등의 비강체의 성질을 가진다. 따라서 잡음과 움직임에 따라 다양한 특징점이 추출되며, 영상 간 특징점의 변화가 심하므로, 대상의 특징을 비교적 정확히 반영하는 대응관계를 가진 특징점을 추출하는 것은 어려운 문제이다. 본 논문에서는 인체와 같은 다관절체의 움직임으로부터 신뢰성 있는 대응관계를 가진 특징점을 추출하기 위한 기법을 제안한다. 또한 쌍 대응(pairwise correspondence)의 문제를 확장하여 특정 동작을 이루는 다수의 프레임에서의 일관성 있는 특징점 대응을 위한 간단한 전략을 제안한다. 이를 통해 정확하고 안정적인 대응관계를 가진 특징점을 추출할 수 있다.