• 한국인터넷방송통신학회논문지
• /
• 제14권5호
• /
• pp.243-248
• /
• 2014

외부 광원여부에 상관없이 3D정보를 수신할 수 있는 Microsoft의 3D 모션 센서인 키넥트의 Depth frame을 사용하여 물체의 움직임 영역을 감지할 수 있는 방법을 연구하였다. 센서로부터 수신되는 Depth 정보 중 주로 물체의 경계면에 존재하는 노이즈를 제거하기 위해 픽셀의 x, y좌표에 대한 블러링 기법과 z좌표에 대한 주파수 필터를 적용하였다. 또한 인접 픽셀들의 변화량에 따른 군집화 필터를 적용함으로서 움직이는 물체 영역을 추출할 수 있었고 필터 설정에 따라 기준이상의 빠른 움직임을 감지할 수 있도록 하여 이동형 로봇에 응용할 수 있도록 하였다. 특히 IR 카메라에 의하여 만들어지는 Depth frame을 이용함으로써 주야간 모두 제약 없이 사용할 수 있다. 또한 직진 방향으로 움직이는 물체에 대해서도 입체적으로 감지할 수 있어 무인 로봇영역에 응용할 수 있다.

• 한국컴퓨터정보학회논문지
• /
• 제18권8호
• /
• pp.113-119
• /
• 2013

뇌졸중 및 척수 신경 손상으로 인해 재활에 대한 요구는 증대되고 있다. 재활 영역 중에서도 상지(上肢) 재활은 신경의 복잡도로 인해 매우 어렵고 시간이 많이 걸린다. 재활은 전문치료사가 시설에서 작업치료를 하는 것이 효과적이기는 하나, 접근성, 상시성, 자발성 등에 대한 문제와 함께 비용과 시간이 많이 소요되는 문제점을 가지고 있다. 이 논문에서는 상지 재활 동작을 인식하기 위해 스테레오 비전 센서를 통해 취득한 3D 궤적정보에 대해 PCA, ICA, LDA, SVM의 패턴인식 알고리즘을 적용하여 인식정확도 및 실행시간을 구하고, 여러 패턴인식 알고리즘 중에서 어떤 알고리즘이 인식정확도 및 실행시간 측면에서 적용이 가능한지 제시한다. 실험결과, PCA, ICA는 인식정확도가 낮아 사용하기에 부적합하며 LDA, SVM은 인식정확도가 우수하여 상지 재활 동작 인식에 사용이 적합함을 보인다.

• ETRI Journal
• /
• 제40권4호
• /
• pp.511-521
• /
• 2018

The ability to realize human-motion imitation using robots is closely related to developments in the field of artificial intelligence. However, it is not easy to imitate human motions entirely owing to the physical differences between the human body and robots. In this paper, we propose a work chain-based inverse kinematics to enable a robot to imitate the human motion of upper limbs in real time. Two work chains are built on each arm to ensure that there is motion similarity, such as the end effector trajectory and the joint-angle configuration. In addition, a two-phase filter is used to remove the interference and noise, together with a self-collision avoidance scheme to maintain the stability of the robot during the imitation. Experimental results verify the effectiveness of our solution on the humanoid robot Nao-H25 in terms of accuracy and real-time performance.

• 로봇학회논문지
• /
• 제13권4호
• /
• pp.230-236
• /
• 2018

3D depth perception has played an important role in robotics, and many sensory methods have also proposed for it. As a photodetector for 3D sensing, single photon avalanche diode (SPAD) is suggested due to sensitivity and accuracy. We have researched for applying a SPAD chip in our fusion system of time-of-fight (ToF) sensor and stereo camera. Our goal is to upsample of SPAD resolution using RGB stereo camera. Currently, we have 64 x 32 resolution SPAD ToF Sensor, even though there are higher resolution depth sensors such as Kinect V2 and Cube-Eye. This may be a weak point of our system, however we exploit this gap using a transition of idea. A convolution neural network (CNN) is designed to upsample our low resolution depth map using the data of the higher resolution depth as label data. Then, the upsampled depth data using CNN and stereo camera depth data are fused using semi-global matching (SGM) algorithm. We proposed simplified fusion method created for the embedded system.

• 공학교육연구
• /
• 제19권6호
• /
• pp.49-56
• /
• 2016

The Human Robot Interface (HRI) based on 3D depth sensor on the docent robot is developed and the localization algorithm based on extended Kalman Filter (EKFLA) are proposed through the capstone design by graduate students in this paper. In addition to this, the performance of the proposed EKFLA is also analyzed. The developed HRI system consists of the route generation and localization algorithm, the user behavior pattern awareness algorithm, the map data generation and building algorithm, the obstacle detection and avoidance algorithm on the robot control modules that control the entire behaviors of the robot. It is confirmed that the improvement ratio of the localization error in EKFLA on the scenarios 1-3 is increased compared with the localization algorithm based on Kalman Filter (KFLA) as 21.96%, 25.81% and 15.03%, respectively.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.518-521
• /
• 2015

컴퓨터 비전이나 감시영상 시스템에서 유동인구 수 측정은 보안 및 경제적 측면에서 중요한 과제이다. 본 논문에서는 RGB센서와 Depth센서를 이용해서 유동 인체를 식별하고 추적하며, 유동인구 수를 측정하는 방법을 제안한다. 제안된 방법은 받아온 영상에서 유동인체를 검출하고, 검출된 인체를 추적한다. 추적된 정보는 이동방향 인식을 하기 위해 사용된다. 중첩에 대한 문제를 해결하기 위해 Merge&Separate 방법과 Kinect Merge&Separate방법을 제안한다. 검출된 유동인체에 대한 정보는 다양한 변수들로 저장된다. 또한 RGB센서와 Depth센서의 장단점을 상호 보완할 수 있는 인체 매칭 시스템을 제안한다. 본 논문의 실험은 자체적으로 제작한 영상을 사용하여 실험을 진행하였다. 실험을 통하여 제안된 유동인구 수 측정 시스템이 유동인구 검출률을 향상시킬 수 있음을 보여준다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2014년도 춘계학술발표대회
• /
• pp.872-875
• /
• 2014

재난방지 및 구호에 사용되는 로봇의 주된 목적은 인간이 직접적인 접근을 할 수 없는 지역을 사전에 탐사하여 인간으로 하여금 올바른 판단을 돕기 위함에 있다. 하지만, 재난 지역에서는 통신장애 문제나, 육안 식별이 불가능한 상황, 원격조정을 통하여 로봇이 업무 수행에 상당한 제약을 받는다. 이 문제를 해결하기 위해 "LED-RGB 칼라센서를 이용한 상호위치 인식 방법연구"[1]을 수행하였으나, RGB의 인식거리가 상당히 짧고, 판단이 모호한 단점이 발생하였다. 따라서 본 연구에서는 이를 개선한 RGB-D센서를 이용하여 RGB의 인식거리를 증가시켰다. 또한 더욱 높은 정확성을 이용하기 위해, Depth를 사용하여 사물들의 특징점들을 랜드마크로 하고 랜드마크로부터의 상대위치를 파악하여 위치를 추정하는 방법을 제안하고자 한다. 마지막으로 상호인식 알고리즘을 이전 방식과 비교하고자 한다.

• 한국통신학회논문지
• /
• 제40권5호
• /
• pp.863-870
• /
• 2015

본 논문은 키넥트 센서 (Kinect sensor)를 탑재한 Human Robot Interface (HRI) 시스템에서 손 위치 데이터를 측정하여 제스처 인식 및 처리성능을 높이기 위하여 Moving Mean-Shift 기반 사용자 손 위치 보정 알고리즘($CAPUH_{MMS}$)을 제안하였다. 또한, $CAPUH_{MMS}$의 성능을 자체 개발한 실시간 성능 시뮬레이터로 이동궤적에 대한 평균 오차 성능개선 비율을 다른 보정 기법인 $CA_{KF}$ (Kalman-Filter 기반 보정 알고리즘) 및 $CA_{LSM}$ (Least-Squares Method 기반 보정 알고리즘)의 성능과 비교하였다. 실험결과, $CAPUH_{MMS}$의 이동궤적에 대한 평균 오차 성능개선 비율은 양손 상하 운동에서 평균 19.35%으로, 이는 $CA_{KF}$ 및 $CA_{LSM}$ 보다 각각 13.88%, 16.68% 더 높은 평균 오차 성능 개선 비율을, 그리고 양손 좌우 운동에서 평균 28.54%으로 $CA_{KF}$ 및 $CA_{LSM}$ 보다 각각 9.51%, 17.31% 더 높은 평균 오차 성능 개선 비율을 나타낸 것이다.

• 한국콘텐츠학회논문지
• /
• 제16권3호
• /
• pp.43-51
• /
• 2016

본 논문에서는 실시간 방송 및 스마트 미러 등과 같은 사용자 개인 또는 다른 사용자들과의 상호 작용이 가능한 인터렉티브 텔레프롬프터의 개념을 소개, 논의하고 실제 제작 사례를 제시한다. 이 적용 분야에서는 사용자 자신 또는 사용자와 제3자 사이의 시선의 일치가 심리적인 측면과 비음성적 커뮤니케이션에서 중요한 역할을 차지한다. 그러나 일반적인 모니터와 카메라의 조합만으로는 실제 거울을 보는 것과 같은 시선 일치를 구현하기가 쉽지 않기 때문에, 기존 방송 현장에서 널리 사용하는 텔레프롬프터의 원리를 응용한다. 제안하는 설계에서는 기존 방식과는 달리 깊이 정보를 통한 제스처 인식까지 구현하며 가시광선 정보와 적외선 정보 각각의 효율적인 처리를 위해서 텔레프롬프터에서 핵심적인 역할을 담당하는 빔 스플리터의 설계 사례와 실험 결과를 제시한다.

• 한국CDE학회논문집
• /
• 제18권4호
• /
• pp.290-298
• /
• 2013

A walking navigation system (usually known as a locomotion interface) is an interactive platform which gives simulated walking sensation to users using sensed bipedal motion signals. This enables us to perform navigation tasks using only bipedal movement. Especially, it is useful for the certain VR task which emphasizes on physical human movement, or accompanies understanding of the size and complexity of building structures. In this work, we described system components of VR walking system and investigated several types of walking platform by literature survey. We adopted a MS Kinect depth sensor for the motion recognition and a treadmill which includes directional turning mechanism for the walking platform. Through the integration of these components with a VR navigation scenario, we developed a simple VR walking navigation system. Finally several technical issues were found during development process, and further research directions were suggested for the system improvement.