• 전기학회논문지
• /
• 제58권12호
• /
• pp.2538-2541
• /
• 2009

H.264/AVC High 4:4:4 Intra/Predictive profiles supports RGB 4:4:4 sequences for high fidelity video. RGB color planes rather than YCbCr color planes are preferred by high-fidelity video applications such as digital cinema, medical imaging, and UHDTV. Several RGB coding tools have therefore been developed to improve the coding efficiency of RGB video. In this paper, we propose a new method to extract more accurate correlation parameters for inter-plane prediction. We use a searching method to determine the matched macroblock (MB) that has a similar inter-color relation to the current MB. Using this block, we can infer more accurate correlation parameters to predict chroma MB from luma MB. Our proposed inter-plane prediction mode shows an average bits saving of 15.6% and a PSNR increase of 0.99 dB compared with H.264 high4:4:4 intra-profile RGB coding. Furthermore, extensive performance evaluation revealed that our proposed algorithm has better coding efficiency than existing algorithms..

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권3호
• /
• pp.1595-1613
• /
• 2017

The IR camera and laser-based IR projector provide an effective solution for real-time collection of moving targets in RGB-D videos. Different from the traditional RGB videos, the captured depth videos are not affected by the illumination variation. In this paper, we propose a novel feature extraction framework to describe human activities based on the above optical video capturing method, namely spatial-temporal texture features for 3D human activity recognition. Spatial-temporal texture feature with depth information is insensitive to illumination and occlusions, and efficient for fine-motion description. The framework of our proposed algorithm begins with video acquisition based on laser projection, video preprocessing with visual background extraction and obtains spatial-temporal key images. Then, the texture features encoded from key images are used to generate discriminative features for human activity information. The experimental results based on the different databases and practical scenarios demonstrate the effectiveness of our proposed algorithm for the large-scale data sets.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 추계학술대회
• /
• pp.248-249
• /
• 2022

본 논문에서는 RGB-D 카메라를 이용하여 획득한 다중 사용자의 정보를 기반으로 대상을 구분 및 추적하는 기법을 제안한다. RGB-D 카메라를 통해 획득한 3차원 정보와 색상 정보를 획득하여 각 사용자에 대한 정보를 저장한다. 전체 영상에서 획득한 각 사용자의 위치와 외형에 대한 정보를 통해 현재 프레임과 이전 프레임에서의 사용자간 유사도를 계산하여 전체 영상에서의 사용자 구분 및 위치 추적 알고리즘을 제안한다.

• 디지털콘텐츠학회 논문지
• /
• 제6권3호
• /
• pp.169-174
• /
• 2005

본 논문은 Verilog HDL로 FPGA에 JPEG Decoder를 구현하여 TV에 JPEG 영상을 디스플레이 하기 위한 JPEG Image Display Board 설계 방법을 제안한다. 본 논문은 FPGA에 Decoder Algorithm을 구현하기 위한 효율적인 방안을 제시하였으며 JPEG Decoder Algorithm은 JPEG Standard Baseline에 기준으로 하여 설계 하였다. 압축된 JPEG bit stream을 저장하기 위하여 Nand Flash Memory를 사용하였으며, JPEG Decoding된 영상을 TV화면에서 확인하기 위하여 Video Encoder를 사용하였다. 또 한 JPEG 영상에 Text data를 쓰기 위하여 YCbCr의 출력 bit를 RGB 24bit로 변환하였다. Video Encoder에 변환된 RGB Data를 동기시켜 출력하기 위하여 CVBS 입력을 Sync Separator에 의해 Hsync, Vsync, Sync, Field signal로 분리하였다. 또한 Display B/D상의 스위치를 통하여 JPEG 모드와 일반영상 모드를 선택할 수 있게 입증하였다.

• 제어로봇시스템학회논문지
• /
• 제21권11호
• /
• pp.996-1002
• /
• 2015

In this paper, we present an effective system for the 3D scene labeling of objects from RGB-D videos. Our system uses a Markov Random Field (MRF) over a voxel representation of the 3D scene. In order to estimate the correct label of each voxel, the probabilistic graphical model integrates both scores from sliding window-based object detectors and also from object location prior maps. Both the object detectors and the location prior maps are pre-trained from manually labeled RGB-D images. Additionally, the model integrates the scores from considering the geometric constraints between adjacent voxels in the label estimation. We show excellent experimental results for the RGB-D Scenes Dataset built by the University of Washington, in which each indoor scene contains tabletop objects.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권2호
• /
• pp.800-816
• /
• 2018

In recent years, video surveillance research has been able to recognize various behaviors of pedestrians and analyze the overall situation of objects by combining image analysis technology and deep learning method. Human Activity Recognition (HAR), which is important issue in video surveillance research, is a field to detect abnormal behavior of pedestrians in CCTV environment. In order to recognize human behavior, it is necessary to detect the human in the image and to estimate the pose from the detected human. In this paper, we propose a novel approach for 2D Human Pose Estimation based on object detection using RGB-D information. By adding depth information to the RGB information that has some limitation in detecting object due to lack of topological information, we can improve the detecting accuracy. Subsequently, the rescaled region of the detected object is applied to ConVol.utional Pose Machines (CPM) which is a sequential prediction structure based on ConVol.utional Neural Network. We utilize CPM to generate belief maps to predict the positions of keypoint representing human body parts and to estimate human pose by detecting 14 key body points. From the experimental results, we can prove that the proposed method detects target objects robustly in occlusion. It is also possible to perform 2D human pose estimation by providing an accurately detected region as an input of the CPM. As for the future work, we will estimate the 3D human pose by mapping the 2D coordinate information on the body part onto the 3D space. Consequently, we can provide useful human behavior information in the research of HAR.

• 인터넷정보학회논문지
• /
• 제18권6호
• /
• pp.85-92
• /
• 2017

최근 영상감시 분야에서는 영상에서 움직이는 사람을 탐지하고, 탐지된 사람의 행위를 분석하는 방식에 딥러닝 기반 학습방법이 적용되기 시작했다. 이러한 지능형 영상분석 기술을 적용할 수 있는 분야 중 하나인 인간 행위 인식은 객체를 탐지하고 탐지된 객체의 행위를 인식하기 위해 신체 키포인트를 검출 하는 과정을 거치게 된다. 본 논문에서는 RGB-D 정보를 이용한 객체 탐지 기반의 신체 키포인트 검출 방법을 제시한다. 먼저, 두 대의 카메라로 생성된 색상정보와 깊이정보를 이용하여 이동하는 객체를 배경으로부터 분할하여 탐지한다. RGB-D 정보를 이용하여 탐지된 객체의 영역을 재조정하여 생성된 입력 데이터를 한 사람의 자세 추정을 위한 Convolutional Pose Machines(CPM)에 적용한다. CPM을 이용하여 한 사람당 14개의 신체부위에 대한 신념 지도(Belief Map)를 생성하고, 신념 지도를 기반으로 신체 키포인트를 검출한다. 이와 같은 방법은 키포인트를 검출할 객체에 대한 정확한 영역을 제공하게 되며, 개별적인 신체 키포인트의 검출을 통하여 단일 신체 키포인트 검출에서 다중 신체 키포인트 검출로 확장 할 수 있다. 향후, 검출된 키포인트를 이용하여 인간 자세 추정을 위한 모델을 생성할 수 있으며 인간 행위 인식 분야에 기여 할 수 있다.

• 인터넷정보학회논문지
• /
• 제18권4호
• /
• pp.61-67
• /
• 2017

최근 지능형 CCTV는 빅 데이터, 인공지능 및 영상 분석과 같은 분야와 결합하여 다양한 이상 행위들을 탐지하고 보행자와 같은 객체의 전반적인 상황을 분석할 수 있으며, 이러한 지능형 영상 감시 기능에 대한 영상 분석 연구가 활발히 진행되고 있는 추세이다. 그러나 일반적으로 2차원 정보를 이용하는 CCTV 영상은 위상학적 정보 부족으로 인해 객체 오 인식과 같은 한계가 존재한다. 이러한 문제는 두 대의 카메라를 사용하여 생성된 객체의 깊이 정보를 영상에 추가함으로써 해결 할 수 있다. 본 논문에서는 가우시안 혼합기법을 사용하여 배경 모델링을 수행하고, 모델링 된 배경에서 전경을 분할하여 움직이는 객체의 존재 여부를 탐지한다. RGB 정보 기반 분할 결과를 이용하여 깊이 정보 기반 분할을 수행하기 위해 두 대의 카메라를 사용하여 스테레오 기반 깊이 지도를 생성한다. RGB 기반으로 분할된 영역을 깊이 정보를 추출하기 위한 도메인으로 설정하고, 도메인 내부에서 깊이 기반 분할을 수행한다. 강건하게 분할된 객체의 중심점을 탐지하고 방향을 추적하기 위해 가장 기본적인 객체 추적 방법인 CAMShift 기법을 적용하여 객체의 움직임을 추적한다. 실험을 통하여 제안된 RGB-D 모델을 이용한 객체 탐지 및 추적 방법의 우수성을 입증하였다.

• 한국전산구조공학회논문집
• /
• 제32권1호
• /
• pp.29-35
• /
• 2019

본 논문에서는 건축물 진동저감장치에 적용되는 액체감쇠기 내 유체 자유표면의 동적 거동 계측을 위해 저가형 RGB-depth 센서인 Microsoft사 $Kinect^{(R)}$ v2의 활용과 계측시스템을 구축하는 방법을 제안하였다. $Kinect^{(R)}$ v2의 성능검토 및 실효성 확인, SDK(software development kit)를 사용한 실시간 모니터링, 3D 공간상에서 유체의 표면 정보 취득, 기존 비디오 센싱기법과의 비교를 통해 본 연구에서 제안한 유체의 동적 거동 계측 시스템의 정확성과 우수성을 검증하였다. 제안된 계측시스템을 활용하여 소형 수조 내 액체에 대한 동적 거동 정밀계측을 수행하였으며, 이를 바탕으로 광범위한 가진입력에 대한 유체 자유표면의 동적 거동 특징을 확인하였다. 본 연구의 결과를 바탕으로 RGB-depth센서의 건축물 진동저감 적용을 통해 정밀한 모니터링 시스템을 구축하고 최적화된 액체감쇠기의 설계 및 운용을 기대할 수 있다.

• 인터넷정보학회논문지
• /
• 제19권6호
• /
• pp.41-51
• /
• 2018

최근 영상 감시 분야에서는 지능형 영상 감시 시스템에 딥 러닝 기반 학습 방법이 적용되어 범죄, 화재, 이상 현상과 같은 다양한 이벤트들을 강건하게 탐지 할 수 있게 되었다. 그러나 3차원 실세계를 2차원 영상으로 투영시키면서 발생하는 3차원 정보의 손실로 인하여 폐색 문제가 발생하기 때문에 올바르게 객체를 탐지하고, 자세를 추정하기 위해서는 폐색 문제를 고려하는 것이 필요하다. 따라서 본 연구에서는 기존 RGB 정보에 깊이 정보를 추가하여 객체 탐지 과정에서 나타나는 폐색 문제를 해결하여 움직이는 객체를 탐지하고, 탐지된 영역에서 컨볼루션 신경망을 이용하여 인간의 관절 부위인 14개의 키포인트의 위치를 예측한다. 그 다음 자세 추정 과정에서 발생하는 자가 폐색 문제를 해결하기 위하여 2차원 키포인트 예측 결과와 심층 신경망을 이용하여 자세 추정의 범위를 3차원 공간상으로 확장함으로써 3차원 인간 자세 추정 방법을 설명한다. 향후, 본 연구의 2차원 및 3차원 자세 추정 결과는 인간 행위 인식을 위한 용이한 데이터로 사용되어 산업 기술 발달에 기여 할 수 있다.