• 방송공학회논문지
• /
• 제21권1호
• /
• pp.11-23
• /
• 2016

터치 인터페이스는 가장 최근에 등장한 상호작용 인터페이스 중에서도 그 사용성과 응용성이 뛰어난 인터페이스이다. 기술의 발전과 더불어 터치 인터페이스는 현대 사회에서 시계에서부터 광고판까지 많은 영역에 걸쳐 빠르게 퍼져나가고 있다. 하지만 여전히 터치 상호작용은 접촉식 센서가 내장되어있는 유효한 영역 내에서만 이루어질 수 있다. 따라서 센서가 내장될 수 없는 일반적인 사물들과의 상호작용은 아직 불가능한 상황이다. 본 논문에서는 이와 같은 제약 사항을 극복하기 위해 RGB-D 카메라를 이용한 사람-사물 상호작용 프레임워크를 제안한다. 제안하는 프레임워크는 물체와 사용자의 손이 서로 가려지는 상황에서도 서로 문제없이 상호작용을 수행할 수 있는 장점을 가지고 있으며, 빠르고 크기 변화와 회전에 강인한 물체 인식 알고리즘과 윤곽 정보를 이용한 손 제스처 인식 알고리즘을 통해 실시간으로 사용자가 사물과 상호작용을 수행할 수 있다.

• 한국산학기술학회논문지
• /
• 제21권6호
• /
• pp.28-34
• /
• 2020

본 논문에서는 라이다(LIDAR) 센서와 일반 카메라 (RGB 센서)가 획득한 영상들을 정합하고, 일반 카메라가 획득한 컬러 영상에 해당하는 깊이맵을 생성하는 방법을 제시한다. 본 연구에서는 Slamtec사의 RPLIDAR A3 와 일반 디지털 카메라를 활용하고, 두 종류의 센서가 획득 및 제공하는 정보의 특징 및 형태는 서로 다르다. 라이다 센서가 제공하는 정보는 라이다부터 객체 또는 주변 물체들까지의 거리이고, 디지털 카메라가 제공하는 정보는 2차원 영상의 Red, Green, Blue 값이다. 두 개의 서로 다른 종류의 센서를 활용하여 정보를 정합할 경우 객체 검출 및 추적에서 더 좋은 성능을 보일 수 있는 가능성이 있고, 자율주행 자동차, 로봇 등 시각정보처리 기술이 필요한 영역에서 활용도가 높은 것으로 기대한다. 두 종류의 센서가 제공하는 정보들을 정합하기 위해서는 각 센서가 획득한 정보를 가공하고, 정합에 적합하도록 처리하는 과정이 필요하다. 본 논문에서는 두 센서가 획득하는 정보들을 정합한 결과를 제공할 수 있는 전처리 방법을 실험 결과와 함께 제시한다.

• 방송공학회논문지
• /
• 제25권4호
• /
• pp.528-536
• /
• 2020

휴머노이드 로봇 기술이 발전함에 따라서 로봇을 공연에 활용하는 사례가 늘어나고 있다. 이에 따라서 로봇의 동작을 사람처럼 자연스럽게 표현하여 공연에서의 활용범위를 보다 높이기 위한 연구들이 진행되고 있다. 이 중 모션캡쳐 기술을 이용하는 방식이 많이 사용되고 있는데, 일반적으로 모션 캡처를 하기 위해서 신체에 각 부위에 부착된 IMU 센서 혹은 마커들과 정밀한 고성능 카메라가 요구되는 등 준비하는 데에서 환경적인 불편함이 존재한다. 또한, 공연기술에 사용되는 로봇의 경우에는 실시간으로 돌발상황이나 관객의 반응에 따라서 실시간으로 대응해야 하는 문제가 존재한다. 본 논문에서는 위에서 언급한 문제들을 보완하고자 다수의 RGB-D 카메라를 이용한 실시간 모션캡쳐 시스템을 구축하고, 모션 캡쳐된 데이터를 이용하여 사람 동작과 유사한 자연스러운 로봇 동작을 생성하는 방법을 제안한다.

• 디지털산업정보학회논문지
• /
• 제9권2호
• /
• pp.99-109
• /
• 2013

In this paper, we propose a new system which captures real depth and color information from natural scene and implemented it. Based on it, we produced stereo and multiview images for 3-dimensional stereoscopic contents and introduced the production of a digital hologram which is considered to the next-generation image. The system consists of both a camera system for capturing images which correspond to RGB and depth images and softwares (SWs) for various image processings which consist of pre-processing such as rectification and calibration, 3D warping, and computer generated hologram (CGH). The camera system use a vertical rig with two paris of depth and RGB camera and a specially manufactured cold mirror which has the different transmittance according to wavelength for obtaining images with the same view point. The wavelength of our mirror is about 850nm. Each algorithm was implemented using C and C++ and the implemented system can be operated in real-time.

• 대한임베디드공학회논문지
• /
• 제13권6호
• /
• pp.313-319
• /
• 2018

We propose a post-processing algorithm to improve the quality of the RGB image generated by deep learning based colorization from the gray-scale image of an infrared camera. Wavelet fusion is used to generate a new luminance component of the RGB image luminance component from the deep learning model and the luminance component of the infrared camera. PSNR is increased for all experimental images by applying the proposed algorithm to RGB images generated by two deep learning models of SegNet and DCGAN. For the SegNet model, the average PSNR is improved by 1.3906dB at level 1 of the Haar wavelet method. For the DCGAN model, PSNR is improved 0.0759dB on the average at level 5 of the Daubechies wavelet method. It is also confirmed that the edge components are emphasized by the post-processing and the visibility is improved.

• 한국전산구조공학회논문집
• /
• 제32권1호
• /
• pp.29-35
• /
• 2019

본 논문에서는 건축물 진동저감장치에 적용되는 액체감쇠기 내 유체 자유표면의 동적 거동 계측을 위해 저가형 RGB-depth 센서인 Microsoft사 $Kinect^{(R)}$ v2의 활용과 계측시스템을 구축하는 방법을 제안하였다. $Kinect^{(R)}$ v2의 성능검토 및 실효성 확인, SDK(software development kit)를 사용한 실시간 모니터링, 3D 공간상에서 유체의 표면 정보 취득, 기존 비디오 센싱기법과의 비교를 통해 본 연구에서 제안한 유체의 동적 거동 계측 시스템의 정확성과 우수성을 검증하였다. 제안된 계측시스템을 활용하여 소형 수조 내 액체에 대한 동적 거동 정밀계측을 수행하였으며, 이를 바탕으로 광범위한 가진입력에 대한 유체 자유표면의 동적 거동 특징을 확인하였다. 본 연구의 결과를 바탕으로 RGB-depth센서의 건축물 진동저감 적용을 통해 정밀한 모니터링 시스템을 구축하고 최적화된 액체감쇠기의 설계 및 운용을 기대할 수 있다.

• 한국컴퓨터정보학회논문지
• /
• 제26권3호
• /
• pp.35-42
• /
• 2021

본 연구에서는 3차원 RGB-D Xtion2 카메라를 이용하여 보행자의 골격좌표를 추출한 결과를 바탕으로 동적인 특성(속도, 가속도)을 함께 고려하여 딥러닝 모델을 통해 사람을 인식하는 방법을 제안한다. 본 논문의 핵심목표는 RGB-D 카메라로 손쉽게 좌표를 추출하고 새롭게 생성한 동적인 특성을 기반으로 자체 고안한 1차원 합성곱 신경망 분류기 모델(1D-ConvNet)을 통해 자동으로 보행 패턴을 파악하는 것이다. 1D-ConvNet의 인식 정확도와 동적인 특성이 정확도에 미치는 영향을 알아보기 위한 실험을 수행하였다. 정확도는 F1 Score를 기준으로 측정하였고, 동적인 특성을 고려한 분류기 모델(JCSpeed)과 고려하지 않은 분류기 모델(JC)의 정확도 비교를 통해 영향력을 측정하였다. 그 결과 동적인 특성을 고려한 경우의 분류기 모델이 그렇지 않은 경우보다 F1 Score가 약 8% 높게 나타났다.

• 한국멀티미디어학회논문지
• /
• 제19권9호
• /
• pp.1647-1658
• /
• 2016

RGB+D database has been widely used in object recognition, object tracking, robot control, to name a few. While rapid advance of active depth sensing technologies allows for the widespread of indoor RGB+D databases, there are only few outdoor RGB+D databases largely due to an inherent limitation of active depth cameras. In this paper, we propose a novel method used to build outdoor RGB+D databases. Instead of using active depth cameras such as Kinect or LIDAR, we acquire a pair of stereo image using high-resolution stereo camera and then obtain a depth map by applying stereo matching algorithm. To deal with estimation errors that inevitably exist in the depth map obtained from stereo matching methods, we develop an approach that estimates confidence of depth maps based on unsupervised learning. Unlike existing confidence estimation approaches, we explicitly consider a spatial correlation that may exist in the confidence map. Specifically, we focus on refining confidence feature with the assumption that the confidence feature and resultant confidence map are smoothly-varying in spatial domain and are highly correlated to each other. Experimental result shows that the proposed method outperforms existing confidence measure based approaches in various benchmark dataset.

• 방송공학회논문지
• /
• 제19권6호
• /
• pp.866-876
• /
• 2014

컴퓨터 그래픽스(CG)가 포함된 영상 컨텐츠를 홀로그램으로 만들기 위해서는 가상 객체와 현실 공간의 자연스러운 3차원 정보 융합이 필요하다. 본 논문에서는 RGB-Depth 카메라를 이용하여 현실-가상 공간의 3차원 정보를 자연스럽게 융합하고, 융합된 결과를 다중 GPU 기반의 컴퓨터 생성 홀로그램(CGH) 연산부를 사용하여 디지털 홀로그램을 고속 생성하는 시스템을 제안한다. RGB-Depth 카메라를 이용하여 카메라 투영 행렬을 계산하고, 이를 이용하여 가상 객체의 3차원 정보를 계산한다. 계산된 가상 객체의 깊이 정보와 RGB-Depth 카메라로 입력받은 현실 공간의 깊이 영상을 Z 버퍼에 입력하여 자연스럽게 융합한 후, 그 결과를 다중 GPU 기반의 CGH 연산부로 전송하여 고속으로 디지털 홀로그램을 생성한다. 실험 결과, 제안하는 시스템을 통해 만들어진 가상 객체의 3차원 정보는 현실 공간의 3차원 정보와 약 0.5138%의 평균 상대 오차를 나타내어, 약 99%의 정밀도를 갖고 있는 것을 확인할 수 있었고, 현실-가상 융합 깊이 영상을 생성함과 동시에 다중 GPU를 이용하여 고속으로 디지털 홀로그램을 생성할 수 있음을 확인할 수 있었다.

• 반도체디스플레이기술학회지
• /
• 제22권1호
• /
• pp.72-77
• /
• 2023

In many manufacturing settings, including the semiconductor industry, products are completed by producing and assembling various components. Sorting out from randomly mixed parts and classification operations takes a lot of time and labor. Recently, many efforts have been made to select and assemble correct parts from mixed parts using robots. Automating the sorting and classification of randomly mixed components is difficult since various objects and the positions and attitudes of robots and cameras in 3D space need to be known. Previously, only objects in specific positions were grasped by robots or people sorting items directly. To enable robots to pick up random objects in 3D space, bin picking technology is required. To realize bin picking technology, it is essential to understand the coordinate system information between the robot, the grasping target object, and the camera. Calibration work to understand the coordinate system information between them is necessary to grasp the object recognized by the camera. It is difficult to restore the depth value of 2D images when 3D restoration is performed, which is necessary for bin picking technology. In this paper, we propose to use depth information of RGB-D camera for Z value in rotation and movement conversion used in calibration. Proceed with camera calibration for accurate coordinate system conversion of objects in 2D images, and proceed with calibration of robot and camera. We proved the effectiveness of the proposed method through accuracy evaluations for camera calibration and calibration between robots and cameras.