• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 추계학술대회
• /
• pp.422-424
• /
• 2021

In this paper, it leads the approach of fusing multiple RGB cameras for visual objects recognition based on deep learning with convolution neural network and 3D Light Detection and Ranging (LiDAR) to observe the environment and match into a 3D world in estimating the distance and position in a form of point cloud map. The goal of perception in multiple cameras are to extract the crucial static and dynamic objects around the autonomous vehicle, especially the blind spot which assists the AV to navigate according to the goal. Numerous cameras with object detection might tend slow-going the computer process in real-time. The computer vision convolution neural network algorithm to use for eradicating this problem use must suitable also to the capacity of the hardware. The localization of classified detected objects comes from the bases of a 3D point cloud environment. But first, the LiDAR point cloud data undergo parsing, and the used algorithm is based on the 3D Euclidean clustering method which gives an accurate on localizing the objects. We evaluated the method using our dataset that comes from VLP-16 and multiple cameras and the results show the completion of the method and multi-sensor fusion strategy.

• 한국정보전자통신기술학회논문지
• /
• 제16권6호
• /
• pp.499-508
• /
• 2023

본 논문에서는 3차원 공간 내에서 동일 평면 상에 존재하는 특징점들의 좌표를 추정하기 위한 기법을 제안한다. 제안된 방법은 카메라 영상만을 이용하여 3차원 공간 내에 존재하는 다수의 특징점들을 검출한 다음 동일 평면 상에 위치하지 않는 특징점들은 제거시킨다. 이를 위해서 3차원 공간 내의 평면 객체와 2차원 카메라 영상 평면 사이의 평면 호모그래피(homography) 관계를 추정한 다음 각 특징점들의 평면 객체 상에서의 역사영 오차를 계산하고 오차값이 기준 값보다 큰 특징점들은 좌표값 추정 과정에서 제외시킨다. 제안된 방법은 별도의 센서 또는 최적화 알고리즘 없이 카메라 영상으로부터 추정된 평면 호모그래피 만을 이용한다. 실험 결과를 통해서 초당 40프레임 이상의 처리 속도를 보인다는 것을 확인할 수 있었으며, 또한 RGB-D 카메라를 이용하는 경우와 비교해도 처리 속도에 큰 차이를 보이지 않았으며, 특히 제안된 방법은 검출되는 특징점의 수가 지속적으로 증가하는 조건에서도 처리 속도가 거의 영향을 받지 않음을 알 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권5호
• /
• pp.1856-1869
• /
• 2015

This paper addresses the issues of 3D human activity detection, tracking and recognition from RGB-D video sequences using a feature structured framework. During human tracking and activity recognition, initially, dense depth images are captured using depth camera. In order to track human silhouettes, we considered spatial/temporal continuity, constraints of human motion information and compute centroids of each activity based on chain coding mechanism and centroids point extraction. In body skin joints features, we estimate human body skin color to identify human body parts (i.e., head, hands, and feet) likely to extract joint points information. These joints points are further processed as feature extraction process including distance position features and centroid distance features. Lastly, self-organized maps are used to recognize different activities. Experimental results demonstrate that the proposed method is reliable and efficient in recognizing human poses at different realistic scenes. The proposed system should be applicable to different consumer application systems such as healthcare system, video surveillance system and indoor monitoring systems which track and recognize different activities of multiple users.

• 한국산학기술학회논문지
• /
• 제22권4호
• /
• pp.621-628
• /
• 2021

본 논문에서는 3개의 시점을 가진 열화상 카메라의 캘리브레이션을 수행하는 방법을 제안하고, 카메라의 내부 파라미터 추정 및 그 결과의 정확도를 파악하기 위해 역투영 오류값을 제시한다. 3개의 시점을 가진 카메라는 일반 카메라와 다르게 각 시점마다 겹치는 영상이 존재하지 않고, 획득한 영상의 화질은 일반 카메랄 획득한 영상보다 낮다. 카메라 캘리브레이션은 3차원 실제 영상의 좌표 정보 또는 카메라와 목표물체 사이의 거리를 계산하기 전에 반드시 수행되어야 하는 작업이다. 카메라 캘리브레이션 작업을 통해 얻는 것은 카메라의 내부 및 외부 파라미터이며 내부 파라미터는 카메라의 초점거리, 비대칭계수, 이미지 중심점으로 구성되어 있고, 외부 파라미터는 사용되는 카메라들 사이 또는 사용되는 카메라의 상대적 위치인 회전행렬과 변위벡터로 구성되어 있다. 본 논문에서는 열화상 카메라의 캘리브레이션을 수행하는 방법을 제안하며, 열화상 카메라의 캘리브레이션 수행을 위해 온도에 반응하는 열상 체커보드를 활용한다. 캘리브레이션이 안정적으로 수행되기 위해 본 논문에서는 심층 학습 기반 촬영대상 물체의 화질을 개선하여 코너 추출의 정확도를 높인 후 캘리브레이션 파라미터 계산을 수행하고, 개선된 화질의 영상이 캘리브레이션을 개선한 결과를 제시한다.