• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권3호
• /
• pp.1390-1403
• /
• 2016

Facial expression recognition (FER) plays a very significant role in computer vision, pattern recognition, and image processing applications such as human computer interaction as it provides sufficient information about emotions of people. For video-based facial expression recognition, depth cameras can be better candidates over RGB cameras as a person's face cannot be easily recognized from distance-based depth videos hence depth cameras also resolve some privacy issues that can arise using RGB faces. A good FER system is very much reliant on the extraction of robust features as well as recognition engine. In this work, an efficient novel approach is proposed to recognize some facial expressions from time-sequential depth videos. First of all, efficient Local Binary Pattern (LBP) features are obtained from the time-sequential depth faces that are further classified by Generalized Discriminant Analysis (GDA) to make the features more robust and finally, the LBP-GDA features are fed into Hidden Markov Models (HMMs) to train and recognize different facial expressions successfully. The depth information-based proposed facial expression recognition approach is compared to the conventional approaches such as Principal Component Analysis (PCA), Independent Component Analysis (ICA), and Linear Discriminant Analysis (LDA) where the proposed one outperforms others by obtaining better recognition rates.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권10호
• /
• pp.4108-4125
• /
• 2015

This paper presents a scalable coding method for depth images by considering the quality of synthesized images in virtual views. First, we design a new edge detection algorithm that is based on calculating the depth difference between two neighboring pixels within the depth map. By choosing different thresholds, this algorithm generates a scalable bit stream that puts larger depth differences in front, followed by smaller depth differences. A scalable scheme is also designed for coding depth pixels through a layered sampling structure. At the receiver side, the full-resolution depth image is reconstructed from the received bits by solving a partial-differential-equation (PDE). Experimental results show that the proposed method improves the rate-distortion performance of synthesized images at virtual views and achieves better visual quality.

• 한국전자통신학회논문지
• /
• 제9권2호
• /
• pp.155-160
• /
• 2014

본 논문에서 RGB-Depth 카메라를 이용하여 실내에서의 연기를 검출하는 알고리즘을 제안한다. RGB-Depth 카메라는 RGB 색영상과 깊이 정보를 제공한다. 키넥트(Kinect)는 특정한 패턴의 적외선을 출력하고 이를 적외선 카메라로 수집하고 분석하여 깊이 정보를 획득한다. 특정한 패턴을 구성하는 점들 각각에 대하여 거리를 측정하고 객체면의 깊이를 추정한다. 따라서, 이웃하는 점들의 깊이 변화가 많은 객체인 경우에는 객체면의 깊이를 결정하지 못한다. 연기의 농도가 일정 주파수로 변화하고, 적외선 영상의 이웃하는 화소간의 변화가 많기 때문에 키넥트가 깊이를 결정하지 못한다. 본 논문에서는 연기에 대한 키넥트의 특성을 이용하여 연기를 검출한다. 키넥트가 깊이를 결정하지 못한 영역을 후보영역으로 설정하고, 색영상의 밝기가 임계값보다 큰 경우 연기영역으로 결정한다. 본 논문에서는 시뮬레이션을 통하여 실내에서의 연기 검출에 RGB-Depth 카메라가 효과적임을 확인할 수 있다.

• 한국통신학회논문지
• /
• 제38C권10호
• /
• pp.920-927
• /
• 2013

크로마키 방식에 의한 영상 합성은 색상 정보에 의해 전경 후경을 분리하기 때문에 객체 색상의 제약과 특정 스크린이 위치해 있어야 하는 공간의 제약이 있다. 특히 스테레오스코픽 3D 디스플레이를 위한 영상 합성은 크로마키 방식과는 달리 3D 공간에서의 자연스러운 영상 합성이 요구된다. 본 논문에서는 고해상도의 깊이 정보를 이용하여 깊이 키잉(depth keying) 방식에 의한 3D 공간에서의 스테레오스코픽 영상 합성을 제안하였다. 이를 위해 DSLR과 마이크로소프트사 키넥트 센서간의 카메라 캘리브레이션을 통해 고화질의 깊이 정보 획득 후 RGB 정보와의 정합 과정을 통해 3차원 데이터를 획득하였다. 깊이 정보에 의해 배경과 분리 된 객체는 3차원 공간에서의 포인트 클라우드 형태로 표현되어 가상 배경과 합성하였다. 이후 가상의 스테레오 카메라에 의해 Full HD 스테레오스코픽 비디오 합성 영상 획득 결과를 보였다.

• 융합신호처리학회논문지
• /
• 제18권2호
• /
• pp.68-75
• /
• 2017

본 연구에서는 이동 물체의 색상이 배경 내 색상과 동일하거나 유사한 색상이 존재하는 경우 컬러기반에서 효과적으로 이동 물체의 추적 방법을 다루고 있다. 대표적인 컬러 기반 추적방법인 CamShift 알고리즘은 배경 영상에 이동물체의 색상이 존재하는 경우 불안정한 추적을 보여주고 있다. 이러한 단점을 극복하기 위해 본 논문에서는 물체의 Depth 정보를 병합한 CamShift 알고리즘을 제안하고 있다. Depth 정보 영상의 모든 픽셀의 거리정보를 측정하는 Kinect 장치로부터 구할 수 있다. 실험결과 이동물체의 거리정보를 병합시킨 제안된 추적 방법은 기존 CamShift 알고리즘의 불안정한 추적기능을 보완하였고, CamShift 알고리즘만 사용한 경우와 비교해 볼 때 추적성능을 향상시켰다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1999년도 추계학술대회 논문집 학회본부 B
• /
• pp.839-841
• /
• 1999

This paper presents the method of 3D reconstruction of the depth information from the endoscopic stereo scopic images. After camera modeling to find camera parameters, we performed feature-point based stereo matching to find depth information. Acquired some depth information is finally 3D reconstructed using the NURBS(Non Uniform Rational B-Spline) algorithm. The final result image is helpful for the understanding of depth information visually.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1999년도 하계학술대회 논문집 G
• /
• pp.2950-2952
• /
• 1999

This paper presents the method of 3D reconstruction of the depth information from the endoscopic stereo scopic images. After camera modeling to find camera parameters, we performed feature-point based stereo matching to find depth information. Acquired some depth information is finally 3D reconstructed using the NURBS(Non Uniform Rational B-Spline) method and OpenGL. The final result image is helpful for the understanding of depth information visually.

• 한국정보통신학회논문지
• /
• 제24권3호
• /
• pp.384-390
• /
• 2020

영화나 VR 콘텐츠 제작 시 음향에 잔향 효과를 주는 것은 현장감과 생동감을 느끼게 하는데 매우 중요한 요소이다. 공간에 따른 음향의 잔향 시간은 RT60(Reverberation Time 60dB)이라는 표준에서 권고된다. 본 논문에서는 음향 편집 시 자동 잔향 편집을 위한 장면 인식 기법을 제안한다. 이를 위해 컬러 이미지와 예측된 깊이 이미지를 동일한 모델에 독립적으로 학습하는 분류 모델을 설계하였다. 실내 장면 분류는 내부 구조가 유사한 클래스가 존재하여 컬러 정보 학습만으로는 인식률의 한계가 존재한다. 공간의 깊이 정보를 사용하기 위해 딥러닝 기반의 깊이 정보 추출 기술을 사용하였다. RT60을 기반으로 총 10개의 장면 클래스를 구성하고 모델 학습 및 평가를 진행하였다. 최종적으로 제안하는 SCR+DNet(Scene Classification for Reverb＋Depth Net) 분류기는 92.4%의 정확도로 기존의 CNN 분류기들보다 더 높은 성능을 달성하였다.

• Journal of information and communication convergence engineering
• /
• 제5권4호
• /
• pp.324-327
• /
• 2007

In this paper, the p-n junction depth with nondestructive method by using scanning electron microscopy (SEM) is determined and conformed. By measuring the critical short circuit current on the p-n junction which induced by electron beam and calculating generation range, the diffusion depth can be obtained. It can be seen that values destructively measured by constant angle lapping and nondestructively by this study almost concur. As this result, it is purposed that diffusion depth of p-n junction can be easily measured by nondestruction. This nondestructive method can be recommended highly to the industrial analysis.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2008년도 하계종합학술대회
• /
• pp.1173-1174
• /
• 2008

In this paper, we propose a front-mounted single camera based depth estimation and robot localization method. The advantage of front-mounted camera is reduction of redundancy when the robot move. The robot computes depth information of captured image, moving around. And the robot location is corrected by depth information.