• 스마트미디어저널
• /
• 제11권3호
• /
• pp.90-101
• /
• 2022

버스는 대중적으로 많이 이용되는 교통수단이다. 그만큼 승객의 안전관리를 위해 철저한 대비가 필요하다. 하지만 2018년 승차하기 위해 접근하는 노인을 인지하지 못하고 버스가 출발하면서 사망사고가 발생하는 등 안전 시스템이 미흡한 상황이다. 기존에 뒷문 계단 쪽 센서를 통해 끼임 사고를 방지하는 안전 시스템은 있지만, 이러한 시스템은 위 사고처럼 승하차하려는 과정에서 발생하는 사고를 예방하진 못한다. 버스 승객의 승하차 의도를 예측할 수 있다면, 위와 같은 사고를 예방하는 안전 시스템 개발에 도움이 될 것이다. 그러나 승객의 승하차 의도를 예측하는 연구는 부족한 상태이다. 따라서 본 논문에서는 버스에 부착된 카메라 영상에서 UDP-Pose를 통해 승객의 skeleton keypoints를 추출하고, 이를 활용한 1×1 CNN3D 기반의 버스 승객 승하차 의도를 예측하는 모델을 제안한다. 제안한 모델은 승객의 승하차 의도를 예측하는 부분에서 RNN, LSTM 모델보다 약 1~2% 높은 정확도를 보여준다.

• 방송공학회논문지
• /
• 제17권4호
• /
• pp.611-624
• /
• 2012

'제스처'는 음성을 제외한 가장 직관적인 인간의 의사표현 수단이다. 따라서 키보드나 마우스를 대체하여 제스처를 입력으로 컴퓨터를 제어할 수 있는 방법에 대한 연구가 많이 진행되고 있다. 이러한 연구에서 사용자 객체의 검출과 주요 신체부위의 추정은 매우 중요한 과정 중의 하나이다. 본 논문에서는 깊이정보가 부정확한 조건에서 사용자 객체검출과 주요 신체부위를 추정하는 방법을 제시한다. 본 논문에서는 2D 영상정보와 3D 깊이정보를 이용하여 조명 변화와 잡음에 강인하고, 3D 깊이정보를 1D 신호로 변환하여 처리함으로써 실시간에 적합하며, 이전 객체정보를 이용하여 더욱 정확하고 환경변화에 강인한 사용자 검출 방법을 제안한다. 또한 주요 신체부위 추정 방법에서 본 논문에서는 2D 외곽선 정보와 3D 깊이정보 및 추적을 혼합 사용하여 사용자 자세를 추정하는 방법을 제안한다. 실험결과 제안된 사용자 객체 검출방법은 2D정보만을 이용하는 방법에 비해 조명변화와 복잡한 환경에 강인하고, 깊이정보가 부정확한 경우에도 정확한 객체검출을 수행하였다. 또한 제안된 주요 신체부위 추정방법은 2D 외곽선 정보만 이용할 경우 겹친 부분에 대한 검출이 불가능하고, 색상 정보를 사용하는 방법은 조명이나 환경에 민감한 단점을 극복함을 확인할 수 있다.

• 정보처리학회논문지B
• /
• 제18B권1호
• /
• pp.21-28
• /
• 2011

얼굴의 3차원 정보는 얼굴 인식이나 얼굴 합성, Human Computer Interaction (HCI) 등 다양한 분야에서 유용하게 이용될 수 있다. 그러나 일반적으로 3차원 정보는 3D 스캐너와 같은 고가의 장비를 이용하여 획득되기 때문에 얼굴의 3차원 정보를 얻기 위해서는 많은 비용이 요구된다. 본 논문에서는 일반적으로 손쉽게 얻을 수 있는 2차원의 얼굴 영상 시퀀스로부터 효과적으로 3차월 얼굴 형태를 추적하고 재구성하기 위한 3차원 Active Appearance Model (3D-AAM) 방법을 제안한다. 얼굴의 3차원 변화 정보를 추정하기 위해 학습 영상은 정면 얼굴 포즈로 다양한 얼굴 표정 변화를 포함한 영상과 표정 변화를 갖지 않으면서 서로 크게 다른 얼굴 포즈를 갖는 영상으로 구성한다. 입력 영상의 3차원 얼굴 변화를 추정하기 위해 먼저 서로 다른 포즈를 갖는 학습 영상으로부터 얼굴의 각 특징점(Land-mark)의 기하학적 변화를 이용하여 깊이 정보를 추정하고 추정된 특징점의 깊이 정보를 입력 영상의 2차원 얼굴 변화에 추가하여 최종적으로 입력 얼굴의 3차원 변화를 추정한다. 본 논문에서 제안된 방법은 얼굴의 다양한 표정 변화와 함께 3차원의 얼굴 포즈 변화를 포함한 실험 영상을 이용하여 기존의 AAM에 비해 효과적이면서 빠르게 입력 얼굴을 추적(Fitting)할 수 있으며 입력 영상의 정확한 3차원 얼굴 형태를 생성할 수 있음을 보였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제20권2호
• /
• pp.1-11
• /
• 2014

단안 영상에서 3차원 입체영상으로 변환한 결과물의 품질은장면의 물체들에게 부여한 깊이 정보의 정확도에 의존적이다. 영상의 매 프레임마다 장면의 물체들의 깊이 정보를 수동으로 입력하는 것은 많은 시간을 필요로 하는 노동집약적인 작업이다. 특히, 높은 자유도를 가진 관절형 물체인 인간의 몸은 고품질 입체변환에 있어서 가장 어려운 물체 중에 하나이다. 다양한 스타일의 옷, 액세서리, 머리카락들이 만드는 매우 복잡한 실루엣은 문제를 더욱 어렵게 한다. 본 논문에서는 단안 영상에 나타난 인간 오브젝트의 고품질 깊이 정보를 생성하는 효율적인 방법을 제안한다. 먼저, 적은 수의 사용자입력을 기반으로 3 원 템플릿 모델을 순차 관절 각도 제약을 가진 자세 추정 방법을 통해서 영상에 등장하는 2차원 인간 오브젝트에 정합한다. 정합된 3차원 모델로부터 초기 깊이 정보를 획득한 뒤, 컬러 세그멘테이션 방법을 기반으로 한 부분 깊이 전파 방법을 통해 세밀한 표현을 보장하며 누락된 영역을 포함하는 최종 깊이 정보를 생성한다. 숙련된 아티스트들의 수작업 결과물과 제안된 방법의 결과물을 비교한 검증 실험은 제안된 방법이 단안 영상에서 동등한 수준의 깊이 정보를 효율적으로 생성한다는 것을 보여준다.

• 방송공학회논문지
• /
• 제24권5호
• /
• pp.765-774
• /
• 2019

본 논문에서는 다중 RGB-D 카메라의 포인트 클라우드 정합 알고리즘을 제안한다. 일반적으로 컴퓨터 비전 분야에서는 카메라의 위치를 정밀하게 추정하는 문제에 많은 관심을 두고 있다. 기존의 3D 모델 생성 방식들은 많은 카메라 대수나 고가의 3D Camera를 필요로 한다. 또한 2차원 이미지를 통해 카메라 외부 파라미터를 얻는 기존의 방식은 큰 오차를 가지고 있다. 본 논문에서는 저가의 RGB-D 카메라 8대를 사용하여 전방위 3차원 모델을 생성하기 위해 깊이 이미지와 함수 최적화 방식을 이용하여 유효한 범위 내의 오차를 갖는 좌표 변환 파라미터를 구하는 방식을 제안한다.

• Journal of Electrical Engineering and Technology
• /
• 제11권2호
• /
• pp.508-518
• /
• 2016

In this paper, we propose a method combining an accelerometer with a cross structured light system to estimate the golf green slope. The cross-line laser provides two laser planes whose functions are computed with respect to the camera coordinate frame using a least square optimization. By capturing the projections of the cross-line laser on the golf slope in a static pose using a camera, two 3D curves’ functions are approximated as high order polynomials corresponding to the camera coordinate frame. Curves’ functions are then expressed in the world coordinate frame utilizing a rotation matrix that is estimated based on the accelerometer’s output. The curves provide some important information of the green such as the height and the slope’s angle. The curves estimation accuracy is verified via some experiments which use OptiTrack camera system as a ground-truth reference.

• 한국컴퓨터정보학회논문지
• /
• 제17권7호
• /
• pp.155-166
• /
• 2012

본 논문은 비마커 증강현실(Marker-less Augmented Reality)을 위한 색상 및 깊이 정보를 융합한 Mean-Shift 추적 알고리즘 기반 손 자세의 추정 기법을 제안한다. 기존 비마커 증강현실의 연구는 손을 검출하기 위해 단순한 실험 배경에서 피부색상 기반으로 손 영역을 검출한다. 그리고 손가락의 특징점을 검출하여 손의 자세를 추정하므로 카메라에서 검출할 수 있는 손 자세에 많은 제약이 따른다. 하지만, 본 논문은 3D 센서의 색상 및 깊이 정보를 융합한 Mean-Shift 추적 기법을 사용함으로써 복잡한 배경에서 손을 검출할 수 있으며 손 자세를 크게 제약하지 않고 손 영역의 중심점과 임의의 2점의 깊이 값만으로 정확한 손 자세를 추정한다. 제안하는 Mean Shift 추적 기법은 피부 색상정보만 사용하는 방법보다 약 50픽셀 이하의 거리 오차를 보였다. 그리고 증강실험에서 제안하는 손 자세 추정 방법은 복잡한 실험환경에서도 마커 기반 방법과 유사한 성능의 실험결과를 보였다.

• 방송공학회논문지
• /
• 제26권5호
• /
• pp.519-532
• /
• 2021

최근 게임, 영화, 애니메이션 다양한 분야에서 모션 캡처를 이용하여 신체 모델을 구축하고 캐릭터를 생성하여 3차원 공간에 표출하는 콘텐츠가 증가하고 있다. 마커를 부착하여 관절의 위치를 측정하는 방법에서 촬영 장비에 대한 비용과 같은 문제를 보완하기 위해 RGB-D 카메라를 이용하여 애니메이션을 생성하는 연구가 진행되고 있지만, 관절 추정 정확도나 장비 비용의 문제가 여전히 존재한다. 이에 본 논문에서는 애니메이션 생성에 필요한 장비 비용을 줄이고 관절 추정 정확도를 높이기 위해 RGB 이미지를 관절 추정 네트워크에 입력하고, 그 결과를 3차원 데이터로 변환하여 FBX 형식 애니메이션으로 생성하는 시스템을 제안한다. 먼저 RGB 이미지에 대한 2차원 관절을 추정하고, 이 값을 이용하여 관절의 3차원 좌표를 추정한다. 그 결과를 쿼터니언으로 변환하여 회전한 후, FBX 형식의 애니메이션을 생성한다. 제안한 방법의 정확도 측정을 위해 신체에 마커를 부착하여 마커의 3차원 위치를 바탕으로 생성한 애니메이션과 제안된 시스템으로 생성한 애니메이션의 오차를 비교하여 시스템 동작을 입증하였다.

• 로봇학회논문지
• /
• 제17권3호
• /
• pp.373-380
• /
• 2022

This paper considers a method of fast correspondence matching for iterative closest point (ICP) algorithm. In robotics, the ICP algorithm and its variants have been widely used for pose estimation by finding the translation and rotation that best align two point clouds. In computational perspectives, the main difficulty is to find the correspondence point on the reference point cloud to each observed point. Jump-table-based correspondence matching is one of the methods for reducing computation time. This paper proposes a method that corrects errors in an existing jump-table-based correspondence matching algorithm. The criterion activating the use of jump-table is modified so that the correspondence matching can be applied to the situations, such as point-cloud registration problems with highly curved surfaces, for which the existing correspondence-matching method is non-applicable. For demonstration, both hardware and simulation experiments are performed. In a hardware experiment using Hokuyo-10LX LiDAR sensor, our new algorithm shows 100% correspondence matching accuracy and 88% decrease in computation time. Using the F1TENTH simulator, the proposed algorithm is tested for an autonomous driving scenario with 2D range-bearing point cloud data and also shows 100% correspondence matching accuracy.

• 한국산학기술학회논문지
• /
• 제22권2호
• /
• pp.127-133
• /
• 2021

낙상 판단을 위한 최근 발표되는 연구는 RNN(Recurrent Neural Network)을 이용한 낙상 동작 특징 분석과 동작 분류에 집중되어 있다. 웨어러블 센서를 기반으로 한 접근 방식은 높은 탐지율을 제공하나 사용자의 착용 불편으로 보편화 되지 못했고 최근 영상이나 이미지 기반에 딥러닝 접근방식을 이용한 낙상 감지방법이 소개 되었다. 본 논문은 2D RGB 저가 카메라에서 얻은 영상을 PoseNet을 이용해 추출한 인체 골격 키포인트(Keypoints) 정보로 머리와 어깨의 키포인트들의 위치와 위치 변화 가속도를 추정함으로써 낙상 판단의 정확도를 높이기 위한 감지 방법을 연구하였다. 특히 낙상 후 자세 특징 추출을 기반으로 Convolutional Neural Networks 중 Gated Recurrent Unit 기법을 사용하는 비전 기반 낙상 감지 솔루션을 제안한다. 인체 골격 특징 추출을 위해 공개 데이터 세트를 사용하였고, 동작분류 정확도를 높이는 기법으로 코, 좌우 눈 그리고 양쪽 귀를 포함하는 머리와 어깨를 하나의 세그먼트로 하는 특징 추출 방법을 적용해, 세그먼트의 하강 속도와 17개의 인체 골격 키포인트가 구성하는 바운딩 박스(Bounding Box)의 높이 대 폭의 비율을 융합하여 실험을 하였다. 제안한 방법은 기존 원시골격 데이터 사용 기법보다 낙상 탐지에 보다 효과적이며 실험환경에서 약 99.8%의 성공률을 보였다.