• 전기전자학회논문지
• /
• 제24권4호
• /
• pp.1109-1116
• /
• 2020

사람이 따라 하는 능력을 평가하는 스코어는 아동의 발달 단계 혹은 골프, 무용 동작 등을 점검하는 좋은 수단이 될 수 있다. 또한, 이는 AR, VR 응용에서 HCI로도 활용될 수 있다. 본 논문에서는 동작을 주도해서 수행하는 시범자와 그 동작을 따라 하는 참여자 간의 동작 유사도를 평가하는 방안을 제시하고, 여기서 우리는 Openpose의 키포인트 벡터 유사도의 유클리디안 L2 거리를 활용하는 동작 유사도를 제안한다. 제안된 기법은 DTW를 사용하기 때문에 시간 지연차가 있는 동작에 유연하게 대처할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.667-670
• /
• 2020

최근에는 증강현실, 로봇공학 등의 분야에서 객체의 위치 검출 이외에도, 객체의 자세에 대한 추정이 요구되고 있다. 객체의 자세 정보가 포함된 데이터셋은 위치 정보만 포함된 데이터셋에 비하여 상대적으로 매우 적기 때문에 인공 신경망 구조를 활용하기 어려운 측면이 있으나, 최근에 들어서는 기계학습 기반의 자세 추정 알고리즘들이 여럿 등장하고 있다. 본 논문에서는 이 가운데 Dense 6d Pose Object detector (DPOD) [11]의 구조를 기반으로 하여 가구의 조립 설명서에 그려진 가구 부품들의 자세를 추정하고자 한다. DPOD [11]는 입력으로 RGB 영상을 받으며, 해당 영상에서 자세를 추정하고자 하는 객체의 영역에 해당하는 픽셀들을 추정하고, 객체의 영역에 해당되는 각 픽셀에서 해당 객체의 3D 모델의 UV map 값을 추정한다. 이렇게 픽셀 개수만큼의 2D - 3D 대응이 생성된 이후에는, RANSAC과 PnP 알고리즘을 통해 RGB 영상에서의 객체와 객체의 3D 모델 간의 변환 관계 행렬이 구해지게 된다. 본 논문에서는 사전에 정해진 24개의 자세 후보들을 기반으로 가구 부품의 3D 모델을 2D에 투영한 RGB 영상들로 인공 신경망을 학습하였으며, 평가 시에는 실제 조립 설명서에서의 가구 부품의 자세를 추정하였다. 실험 결과 IKEA의 Stefan 의자 조립 설명서에 대하여 100%의 ADD score를 얻었으며, 추정 자세가 자세 후보군 중 정답 자세에 가장 근접한 경우를 정답으로 평가했을 때 100%의 정답률을 얻었다. 제안하는 신경망을 사용하였을 때, 가구 조립 설명서에서 가구 부품의 위치를 찾는 객체 검출기(object detection network)와, 각 개체의 종류를 구분하는 객체 리트리벌 네트워크(retrieval network)를 함께 사용하여 최종적으로 가구 부품의 자세를 추정할 수 있다.

• 전자공학회논문지
• /
• 제50권1호
• /
• pp.215-224
• /
• 2013

본 논문은 주행중 차량에 장착된 카메라의 자세 변화를 카메라 외부 파라미터의 변화로 간주하고, 이의 추정을 통하여 도로의 요철과 전방 도로의 기울기 변화 등에 강건한 차선 검출 알고리즘을 제안한다. 제안하는 알고리즘에서 차선은 실세계 좌표에서 좌우가 평행하고 고정된 폭을 가진다 가정하며, 카메라 움직임을 고려한 연속된 영상들의 병합된 특징맵에서 B-snake를 이용하여 차선 검출과 카메라 외부 파라미터 추정이 동시에 수행된다. 실험을 통하여 카메라 외부 파라미터에 영향을 주는 주행 도로 환경의 변화에 강건한 차선 검출 결과를 확인하였으며, 추정된 카메라 외부 파라미터의 정확성은 전방 차량에 대한 레이더 실측 거리와의 비교를 통해 확인했다.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제13권3호
• /
• pp.186-199
• /
• 2013

We pose pattern classification as a density estimation problem where we consider mixtures of generative models under partially labeled data setups. Unlike traditional approaches that estimate density everywhere in data space, we focus on the density along the decision boundary that can yield more discriminative models with superior classification performance. We extend our earlier work on the recursive estimation method for discriminative mixture models to semi-supervised learning setups where some of the data points lack class labels. Our model exploits the mixture structure in the functional gradient framework: it searches for the base mixture component model in a greedy fashion, maximizing the conditional class likelihoods for the labeled data and at the same time minimizing the uncertainty of class label prediction for unlabeled data points. The objective can be effectively imposed as individual mixture component learning on weighted data, hence our mixture learning typically becomes highly efficient for popular base generative models like Gaussians or hidden Markov models. Moreover, apart from the expectation-maximization algorithm, the proposed recursive estimation has several advantages including the lack of need for a pre-determined mixture order and robustness to the choice of initial parameters. We demonstrate the benefits of the proposed approach on a comprehensive set of evaluations consisting of diverse time-series classification problems in semi-supervised scenarios.

• 한국지능시스템학회논문지
• /
• 제21권3호
• /
• pp.329-334
• /
• 2011

본 논문은 실내형 이동로봇에 적용하기 위한 위치인식과 장애물 추적 방법을 제안한다. 제안된 방법을 구현하기 위해 레이저 스캐너가 사용되었으며 로봇이 운행되는 공간의 지도정보를 미리 알고 있다고 가정한다. 레이저 스캐너의 측정치를 지도정보와 매칭해가며 Sequential Monte Carlo (SMC)방법을 이용하여 로봇의 위치를 파악하고 파악된 위치에서 주변 장애물의 위치를 인식하고 다중 물체 추적 알고리즘을 이용함으로써 장애물과의 충돌 위험성 등을 미리 파악할 수 있다. 마지막으로, 본 논문에서 제안한 방법을 실험을 통해 검증한다.

• 방송공학회논문지
• /
• 제1권2호
• /
• pp.176-187
• /
• 1996

본고는 로보트 팔의 선단에 부착된 카메라에 의하여 촬영된 일련의 스테레오 영상을 이용하여 운동물체의 3차원 자세 (위치와 방향)를 정확히 추정하는 방법을 다룬다. 본고는 이미 발표된 바 있는 연구결과를 확장한 것으로서[1], 2차원 영상의 측정잡음 뿐만아니라[1], 또한 로보트 팔의 죠인트 각도의 랜덤잡음이 함께 존재할 경우 world 좌표계 (또는 로보트 기지좌표계)를 기준으로 한 운동물체의 3차원 자세의 추정에 중점을 둔다. 이를 위하여, 다음 사항에 근거하여 선형 Kalman 필터를 유도한다. (1) 2차원 영상의 측정잡음이 3차원 공간으로 전파되는 것을 분석함으로써, 이에 기인한 물체좌표계의 방향오차를 카메라 좌표계를 기준으로 하여 모델링한다; (2) 죠인트 각도 오차에 의한 로보트 선단좌표계의 방향오차를 (1)의 결과와 결합하여 extended Jacobian matrix를 유도한다; 그리고 (3) 본질적으로 비선형인 물체의 회전운동을 quaternion을 도입함으로써 선형화 한다. 운동 파라메터는 추정된 quaternion으로부터 반복 최소자승 방법을 이용하여 계산된다. 모의실험 결과, 추정오차가 상당히 감소되고, 실제의 운동 파라메터가 참 값으로 정확히 수렴함을 알 수 있다.

• 방송공학회논문지
• /
• 제24권1호
• /
• pp.32-40
• /
• 2019

실내에서 위치를 추정하는 연구는 다양한 분야에서 필요하다. 실내에서 위치를 추정하는 방법은 하드웨어를 이용하는 방법과 하드웨어를 이용하지 않는 방법으로 나눌 수 있다. 하드웨어를 사용하는 방법은 정확도가 높지만, 하드웨어 설치비용이 든다는 단점이 있다. 반대로 하드웨어를 사용하지 않는 방법은 설치비용이 들지 않지만, 정확도가 떨어진다. AR 게임을 위한 위치추정에 제일 중요한 목표는 정확도를 높이는 것이다. 위치를 추정하기 위해서는 Perspective-N-Point (PnP)의 해를 얻어야 한다. PnP 문제의 해를 구하기 위해서는 위치를 추정하고 싶은 공간의 삼차원 좌표와 그 공간에서 찍은 영상이 필요하다. 삼차원 좌표와 매칭 되는 이차원 좌표 6쌍을 통해 위치를 추정할 수 있다. 해의 정확도를 높이기 위해 어떤 점들을 선택하면 정확도가 높아지는지 확인할 비공면도(non-coplanarity degree)를 추가로 사용할 것을 제안했다. 점 6개 이상인 상황에서 비공면도가 커질수록 위치추정 정확도가 높아질 확률이 높다. 제안한 방법의 장점은 모든 기존 위치추정 방법에 적용할 수 있다는 것과 하드웨어를 사용하여 위치를 추정하는 것보다 더 높은 정확도를 보인다.

• 인터넷정보학회논문지
• /
• 제14권6호
• /
• pp.117-124
• /
• 2013

본 논문에서는 실시간으로 입력되는 비디오 영상으로부터 사용자의 얼굴 방향을 효율적으로 추정하는 새로운 방법을 제안하였다. 이를 위하여 입력 영상으로부터 외부조명의 변화에 덜 민감한 Haar-like 특성을 이용하여 얼굴영역의 검출을 수행하고 검출 된 얼굴영역 내에서 양쪽 눈, 코, 입 등의 주요 특성을 검출한다. 이 후 실시간으로 매 프레임마다 광류를 이용해 검출된 특징 점을 추적하게 되며, 추적된 특징 점을 이용해 얼굴의 방향성 추정한다. 일반적으로 광류를 이용한 특징 추적에서 발생할 수 있는 특징점의 좌표가 유실되어 잘못된 특징점을 추적하게 되는 상황을 방지하기 위하여 검출된 특징점의 템플릿 매칭(template matching)을 사용해 추적중인 특징점의 유효성을 실시간 판단하고, 그 결과에 따라 얼굴 특징 점들을 다시 검출하거나, 추적을 지속하여 얼굴의 방향성을 추정을 가능하게 한다. 탬플릿 매칭은 특징검출 단계에서 추출된 좌우 눈, 코끝 그리고 입의 위치 등 4가지 정보를 저장한 후 얼굴포즈 측정에 있어 광류에의해 추적중인 해당 특징점들 간의 유사도를 비교하여 유사도가 임계치를 벗어 날 경우 새로이 특징점을 찾아내는 작업을 수행하여 정보를 갱신한다. 제안된 방법을 통해 얼굴의 특성 추출을 위한 특성 검출과정과 검출된 특징을 지속적으로 보완하는 추적과정을 자동적으로 상호 결합하여 안정적으로 실시간에 얼굴 방향성 추정 할 수 있었다. 실험을 통하여 제안된 방법이 효과적으로 얼굴의 포즈를 측정할 수 있음을 입증하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제20권2호
• /
• pp.1-11
• /
• 2014

단안 영상에서 3차원 입체영상으로 변환한 결과물의 품질은장면의 물체들에게 부여한 깊이 정보의 정확도에 의존적이다. 영상의 매 프레임마다 장면의 물체들의 깊이 정보를 수동으로 입력하는 것은 많은 시간을 필요로 하는 노동집약적인 작업이다. 특히, 높은 자유도를 가진 관절형 물체인 인간의 몸은 고품질 입체변환에 있어서 가장 어려운 물체 중에 하나이다. 다양한 스타일의 옷, 액세서리, 머리카락들이 만드는 매우 복잡한 실루엣은 문제를 더욱 어렵게 한다. 본 논문에서는 단안 영상에 나타난 인간 오브젝트의 고품질 깊이 정보를 생성하는 효율적인 방법을 제안한다. 먼저, 적은 수의 사용자입력을 기반으로 3 원 템플릿 모델을 순차 관절 각도 제약을 가진 자세 추정 방법을 통해서 영상에 등장하는 2차원 인간 오브젝트에 정합한다. 정합된 3차원 모델로부터 초기 깊이 정보를 획득한 뒤, 컬러 세그멘테이션 방법을 기반으로 한 부분 깊이 전파 방법을 통해 세밀한 표현을 보장하며 누락된 영역을 포함하는 최종 깊이 정보를 생성한다. 숙련된 아티스트들의 수작업 결과물과 제안된 방법의 결과물을 비교한 검증 실험은 제안된 방법이 단안 영상에서 동등한 수준의 깊이 정보를 효율적으로 생성한다는 것을 보여준다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제10권7호
• /
• pp.279-286
• /
• 2021

최근 COVID-19 확산 방지를 위한 공공장소에서는 최소 1m 이상을 유지하는 물리적 거리두기 정책을 실행하고 있다. 본 논문에서는 드론과 CCTV가 취득한 스테레오 영상에서 실시간으로 사람들 간의 거리를 추정하는 방법과 추정된 거리에서 1m 이내의 객체를 인식하는 자동화 시스템을 제안한다. 기존의 CCTV를 이용하여 다중 객체 간의 거리 추정에 사용되었던 방법의 문제점으로는 한 대의 CCTV만을 이용하여 객체의 3차원 정보를 얻지 못한다는 것이다. 선, 후행하거나 겹쳐진 사람 간의 거리를 구하기 위해서는 3차원 정보가 필요하기 때문이다. 또한, 일반적인 Detected Bounding Box를 사용하여 영역 안에서 사람이 존재하는 정확한 좌표를 얻지 못한다. 따라서 사람이 존재하는 정확한 위치 정보를 얻기 위해 스켈레톤 추출하여 관절 키포인트의 2차원 좌표를 획득한 후, Stereo Vision을 이용한 카메라 캘리브레이션을 적용하여 3차원 좌표로 변환한다. 3차원으로 변환된 관절 키포인트의 중심좌표를 계산하고 객체 간 사이의 거리를 추정한다. 3차원 좌표의 정확성과 객체(사람) 간의 거리 추정 실험을 수행한 결과, 1m 이내에 존재하는 다수의 사람 간의 거리 추정에서 0.098m 이내 평균오차를 보였다.