• 방송공학회논문지
• /
• 제25권5호
• /
• pp.808-811
• /
• 2020

본 논문은 랜덤 무향 칼만 필터를 이용하여 키넥트 카메라 센서의 오차를 최소화하는 방법을 제안한다. RGB 값과 깊이(Depth) 정보를 제공하는 RGB+D 카메라는 센서의 오차로 인해 뻐대 검출 과정에서 성능 저하의 원인을 제공한다. 기존에는 다양한 필터링 기법을 이용하여 오차를 제거하였으나 비선형 잡음을 효과적으로 제거하는데 한계가 있었다. 이에 본 논문에서는 비선형 잡음 특성을 예측하고 업데이트하기 위해 랜덤 무향 칼만 필터를 적용하였으며 이를 바탕으로 뻐대 검출 성능을 높이고자 하였다. 실험 결과 제안한 방법은 기존의 방법에 비해 정량적 오차를 줄였으며 뼈대의 3D 검출 시 우수한 결과를 확인할 수 있었다.

• 인터넷정보학회논문지
• /
• 제18권4호
• /
• pp.61-67
• /
• 2017

최근 지능형 CCTV는 빅 데이터, 인공지능 및 영상 분석과 같은 분야와 결합하여 다양한 이상 행위들을 탐지하고 보행자와 같은 객체의 전반적인 상황을 분석할 수 있으며, 이러한 지능형 영상 감시 기능에 대한 영상 분석 연구가 활발히 진행되고 있는 추세이다. 그러나 일반적으로 2차원 정보를 이용하는 CCTV 영상은 위상학적 정보 부족으로 인해 객체 오 인식과 같은 한계가 존재한다. 이러한 문제는 두 대의 카메라를 사용하여 생성된 객체의 깊이 정보를 영상에 추가함으로써 해결 할 수 있다. 본 논문에서는 가우시안 혼합기법을 사용하여 배경 모델링을 수행하고, 모델링 된 배경에서 전경을 분할하여 움직이는 객체의 존재 여부를 탐지한다. RGB 정보 기반 분할 결과를 이용하여 깊이 정보 기반 분할을 수행하기 위해 두 대의 카메라를 사용하여 스테레오 기반 깊이 지도를 생성한다. RGB 기반으로 분할된 영역을 깊이 정보를 추출하기 위한 도메인으로 설정하고, 도메인 내부에서 깊이 기반 분할을 수행한다. 강건하게 분할된 객체의 중심점을 탐지하고 방향을 추적하기 위해 가장 기본적인 객체 추적 방법인 CAMShift 기법을 적용하여 객체의 움직임을 추적한다. 실험을 통하여 제안된 RGB-D 모델을 이용한 객체 탐지 및 추적 방법의 우수성을 입증하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제29권3호
• /
• pp.93-103
• /
• 2023

컴퓨터 그래픽스 분야에서 저가의 RGB-D 카메라로 촬영된 색상 및 깊이 영상을 이용한 사람 및 사물을 3차원 모델로 복원하는 문제는 오랫동안 이를 해결하기 위하여 다양한 연구들이 진행되어왔다. 저가의 RGB-D 카메라로 촬영된 색상 및 깊이 영상은 3차원 공간에서 점 구름 형태로 다루어지며, 이는 연속적인 3차원 공간상에 이산적인 값을 대응시키기 때문에 다면체 모델을 이용한 렌더링에 비해 추가적인 표면 재구성 과정이 필요하다. 본 논문에서는 다면체 모델이 아닌 점 구름을 시각화하기 위한 효과적인 광선 추적 기반 렌더링 기법을 제안한다. 특히 프로세서의 발열과 배터리 문제로 인한 모바일 환경에서의 제한적인 성능에서도 효과적인 렌더링 기법으로서의 가능성을 보인다.

• 제어로봇시스템학회논문지
• /
• 제21권7호
• /
• pp.634-640
• /
• 2015

This paper proposes a novel three-dimensional mapping algorithm in Omni-Directional Vision SLAM based on a fisheye image and laser scanner data. The performance of SLAM has been improved by various estimation methods, sensors with multiple functions, or sensor fusion. Conventional 3D SLAM approaches which mainly employed RGB-D cameras to obtain depth information are not suitable for mobile robot applications because RGB-D camera system with multiple cameras have a greater size and slow processing time for the calculation of the depth information for omni-directional images. In this paper, we used a fisheye camera installed facing downwards and a two-dimensional laser scanner separate from the camera at a constant distance. We calculated fusion points from the plane coordinates of obstacles obtained by the information of the two-dimensional laser scanner and the outline of obstacles obtained by the omni-directional image sensor that can acquire surround view at the same time. The effectiveness of the proposed method is confirmed through comparison between maps obtained using the proposed algorithm and real maps.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 추계학술대회
• /
• pp.422-424
• /
• 2021

In this paper, it leads the approach of fusing multiple RGB cameras for visual objects recognition based on deep learning with convolution neural network and 3D Light Detection and Ranging (LiDAR) to observe the environment and match into a 3D world in estimating the distance and position in a form of point cloud map. The goal of perception in multiple cameras are to extract the crucial static and dynamic objects around the autonomous vehicle, especially the blind spot which assists the AV to navigate according to the goal. Numerous cameras with object detection might tend slow-going the computer process in real-time. The computer vision convolution neural network algorithm to use for eradicating this problem use must suitable also to the capacity of the hardware. The localization of classified detected objects comes from the bases of a 3D point cloud environment. But first, the LiDAR point cloud data undergo parsing, and the used algorithm is based on the 3D Euclidean clustering method which gives an accurate on localizing the objects. We evaluated the method using our dataset that comes from VLP-16 and multiple cameras and the results show the completion of the method and multi-sensor fusion strategy.

• 반도체디스플레이기술학회지
• /
• 제22권1호
• /
• pp.72-77
• /
• 2023

In many manufacturing settings, including the semiconductor industry, products are completed by producing and assembling various components. Sorting out from randomly mixed parts and classification operations takes a lot of time and labor. Recently, many efforts have been made to select and assemble correct parts from mixed parts using robots. Automating the sorting and classification of randomly mixed components is difficult since various objects and the positions and attitudes of robots and cameras in 3D space need to be known. Previously, only objects in specific positions were grasped by robots or people sorting items directly. To enable robots to pick up random objects in 3D space, bin picking technology is required. To realize bin picking technology, it is essential to understand the coordinate system information between the robot, the grasping target object, and the camera. Calibration work to understand the coordinate system information between them is necessary to grasp the object recognized by the camera. It is difficult to restore the depth value of 2D images when 3D restoration is performed, which is necessary for bin picking technology. In this paper, we propose to use depth information of RGB-D camera for Z value in rotation and movement conversion used in calibration. Proceed with camera calibration for accurate coordinate system conversion of objects in 2D images, and proceed with calibration of robot and camera. We proved the effectiveness of the proposed method through accuracy evaluations for camera calibration and calibration between robots and cameras.

• Spatial Information Research
• /
• 제13권2호
• /
• pp.129-138
• /
• 2005

본 논문에서는 스테레오 CCD 카메라를 이용하여 이동체의 3차원 위치좌표를 추출하는 알고리즘을 제안하였다. 이 알고리즘을 통해 효율적으로 이동체의 3차원 위치좌표를 추출하는 방법을 도출하고자 하였다 스테레오 CCD 카메라의 상호표정을 수행하고, 획득된 영상에서 이동체를 배경과 분리한 뒤, 좌$\cdot$우 영상에서 이동체의 영상좌표를 추출한다. 추출된 좌$\cdot$우 영상에서의 영상좌표를 이용하여 이동체의 3차원 위치를 결정하게 된다. 스테레오 CCD 카메라간의 상호 위치 및 자세를 결정하기 위한 표정 모듈은 독립적 상호표정(independent relative orientation)을 사용하였고, 획득된 영상에서 이동체 추출 알고리즘은 칼라영상의 RGB(Red, Green, Blue) 화소값을 이용하여 구현하였다. 좌$\cdot$우 CCD 카메라로부터 들어오는 영상좌표를 이용하여 공간전방교회 법을 통해 이동체의 위치를 계산하였다. 그리고 전체 시스템의 실험을 수행하였고, 그 결과의 정확도를 비교하였다.

• 한국측량학회지
• /
• 제37권2호
• /
• pp.45-53
• /
• 2019

RGB-D SLAM (Simultaneous Localization and Mapping) refers to the technology of using deep camera as a visual sensor for SLAM. In view of the disadvantages of high cost and indefinite scale in the construction of maps for laser sensors and traditional single and binocular cameras, a method for creating three-dimensional map of indoor environment with deep environment data combined with RGB-D SLAM scheme is studied. The method uses a mobile robot system equipped with a consumer-grade RGB-D sensor (Kinect) to acquire depth data, and then creates indoor three-dimensional point cloud maps in real time through key technologies such as positioning point generation, closed-loop detection, and map construction. The actual field experiment results show that the average error of the point cloud map created by the algorithm is 0.0045m, which ensures the stability of the construction using deep data and can accurately create real-time three-dimensional maps of indoor unknown environment.

• 반도체디스플레이기술학회지
• /
• 제20권4호
• /
• pp.6-9
• /
• 2021

The 3D industry is drawing attention for its applications in various markets, including architecture, media, VR/AR, metaverse, imperial broadcast, and etc.. The current feature of the architecture we are introducing is to make 3D models more easily created and modified than conventional ones. Existing methods for generating 3D models mainly obtain values using specialized equipment such as RGB-D cameras and Lidar cameras, through which 3D models are constructed and used. This requires the purchase of equipment and allows the generated 3D model to be verified by the computer. However, our framework allows users to collect data in an easier and cheaper manner using cell phone cameras instead of specialized equipment, and uses 2D data to proceed with 3D modeling on the server and output it to cell phone application screens. This gives users a more accessible environment. In addition, in the 3D modeling process, object classification is attempted through deep learning without user intervention, and mesh and texture suitable for the object can be applied to obtain a lively 3D model. It also allows users to modify mesh and texture through requests, allowing them to obtain sophisticated 3D models.

• 로봇학회논문지
• /
• 제15권3호
• /
• pp.293-300
• /
• 2020

The purpose of our sensor system is to transparentize the large hydraulic manipulators of a six-ton dual arm excavator from the operator camera view. Almost 40% of the camera view is blocked by the manipulators. In other words, the operator loses 40% of visual information which might be useful for many manipulator control scenarios such as clearing debris on a disaster site. The proposed method is based on a 3D reconstruction technology. By overlaying the camera image from front top of the cabin with the point cloud data from RGB-D (red, green, blue and depth) cameras placed at the outer side of each manipulator, the manipulator-free camera image can be obtained. Two additional algorithms are proposed to further enhance the productivity of dual arm excavators. First, a color correction algorithm is proposed to cope with the different color distribution of the RGB and RGB-D sensors used on the system. Also, the edge overlay algorithm is proposed. Although the manipulators often limit the operator's view, the visual feedback of the manipulator's configurations or states may be useful to the operator. Thus, the overlay algorithm is proposed to show the edge of the manipulators on the camera image. The experimental results show that the proposed transparentization algorithm helps the operator get information about the environment and objects around the excavator.