• Journal of Semiconductor Engineering
• /
• 제2권2호
• /
• pp.130-135
• /
• 2021

Recently, deep neural networks (DNNs) are actively used for action control so that an autonomous system, such as the robot, can perform human-like behaviors and operations. Unlike recognition tasks, the real-time operation is essential in action control, and it is too slow to use remote learning on a server communicating through a network. New learning techniques, such as reinforcement learning (RL), are needed to determine and select the correct robot behavior locally. In this paper, we propose an energy-efficient DNN processor with a LUT-based processing engine and near-zero skipper. A CNN-based facial emotion recognition and an RNN-based emotional dialogue generation model is integrated for natural HRI system and tested with the proposed processor. It supports 1b to 16b variable weight bit precision with and 57.6% and 28.5% lower energy consumption than conventional MAC arithmetic units for 1b and 16b weight precision. Also, the near-zero skipper reduces 36% of MAC operation and consumes 28% lower energy consumption for facial emotion recognition tasks. Implemented in 65nm CMOS process, the proposed processor occupies 1784×1784 um2 areas and dissipates 0.28 mW and 34.4 mW at 1fps and 30fps facial emotion recognition tasks.

• 한국산학기술학회논문지
• /
• 제16권3호
• /
• pp.2123-2130
• /
• 2015

본 실내에서 활용되고 있는 자동 감시 로봇이나 로봇 청소기 등의 경우 누군가에 의해 옮겨지거나 혹은 예상치 못한 물체와의 충돌 등으로 이동 로봇의 방향이나 계획됐던 경로에서 이탈하였을 경우 원래 계획했던 경로로 다시 진입해야 하며 이에 대한 이동 로봇의 강인한 자기 위치 추정 능력이 필요하며, 이는 기존 이동 로봇의 납치 문제 해결과도 연관된다. 본 연구에서는 이동 로봇의 경우 실내에서만 동작하며, 저가의 로봇을 활용하고자 한다. 따라서 본 논문에서는 실내에 설치되어 있는 CCTV 등 외부 영상 정보 획득 장치를 활용하여 환경 영상을 획득하고 이를 절대 공간 좌표로 변환한 동시에 이동 로봇의 마커 인식을 활용함으로써 실내에서 이동 로봇의 자기 위치 추정과 납치 문제 해결하고자 하였으며, 실제 로봇 시스템을 활용하고자 포텐셜 필드 방법을 구현하였다. 이와 같이 실제 이동 로봇 시스템에 본 연구에서 제안한 방법을 구현하여 관련 실험을 진행하였고 결과를 검증하였다.

• 제어로봇시스템학회논문지
• /
• 제14권3호
• /
• pp.242-247
• /
• 2008

As an absolute positioning system, iGS is designed based on ultrasonic signals whose speed can be formulated clearly in terms of time and room temperature, which is utilized for a mobile robot localization. The iGS is composed of an RFID receiver and an ultra-sonic transmitter, where an RFID is designated to synchronize the transmitter and receiver of the ultrasonic signal. The traveling time of the ultrasonic signal has been used to calculate the distance between the iGS system and a beacon which is located at a pre-determined location. This paper suggests an effective operation method of iGS to estimate position of the mobile robot working in unstructured environment. To expand recognition range and to improve accuracy of the system, two strategies are proposed: utilization of beacons belonging to neighboring blocks and removal of the environment-reflected ultrasonic signals. As the results, the ubiquitous localization system based on iGS as a pseudo-satellite system has been developed successfully with a low cost, a high update rate, and relatively high precision.

• 조명전기설비학회논문지
• /
• 제24권8호
• /
• pp.119-125
• /
• 2010

본 논문에서는 초음파를 이용하여 자율 운행을 하는 이동로봇이 가지는 물리적인 문제점을 해결하기 위한 방안을 제시 한다. 이동 로봇이 주변 환경을 인지함에 있어서 각종 센서를 사용한다. 그러한 센서들은 항상 올바른 값을 주지 않는다. 센서값에는 항상 노이즈가 포함되어 있는데 이것을 해결하기 위해서 학습 알고리즘인 SVR(Support Vector Regression)을 사용하여 주변 환경을 센싱한 초음파 값을 토대로 주변 환경을 추정할 수 있다. SVR을 사용하기 위해서는 SVR의 요소인 parameter와 커널을 선정해야 한다. SVR의 요소를 선정함에 있어서 정해진 값이 존재하지 않기 때문에 실험을 통해서 가장 적합한 parameter 값을 선정해야 한다. 또한 커널을 선정함에 있어서는 일반화가 가장 잘 되어 있는 RBF(Radial Basis Function)커널을 사용하였다. 본 논문에서는 세가지 환경에서의 실험을 통하여 SVR을 이용하여 센서값의 오류를 개선할 수 있음을 나타내었다.

• 한국정밀공학회:학술대회논문집
• /
• 한국정밀공학회 1992년도 추계학술대회 논문집
• /
• pp.266-270
• /
• 1992

In this study an active vision system using a laser range finder is proposed for the navigation of a mobile robot in unknown environment. The laser range finder consists of a slitted laser beam generator, a scanning mechanism, CCD camera, and a signal processing unit. A laser beam from laser source is slitted by a set of cylindrical lenses and the slitted laser beam is emitted up and down and rotates around the robot by the scanning mechanism. The image of laser beam reflected on the surface of an object is engraved on the CCD array. A high speed image processing algorithm is proposed for the real-time navigation of the mobile robot. Through experiments it is proved that the accurate and real-time recognition of environment is able to be realized using the proposed laser range finder.

• 한국정보통신학회논문지
• /
• 제14권9호
• /
• pp.1987-1992
• /
• 2010

본 논문에서는 이동로봇에 장착된 CCD 카메라를 통해 입력되는 영상에서 3차원 물체가 가지는 특징정보를 분석 및 추출하여하여 주행전방의 환경을 구분하는데 적용하게 된다. 복도 내에서 주행하는 로봇에 탑재된 카메라로 입력된 영상은 3차원 특징정보에 의해 장애물과 복도의 코너, 문으로 검출되어진다. 바닥의 장애물 정보 인식을 통한 이동로봇의 주행경로를 구하는데 있어 이들 세 가지는 최적의 경로 생성과 장애물 회피를 위한 매우 중요한 정보로 사용될 수 있다. 따라서, 본 논문에서는 입력영상을 전처리 후에 제안된 알고리즘을 기반으로한 이동로봇의 주행방향결정과, 입력 영상에서 신경망을 통하여 장애물 인식 및 특징정보 검출을 통한 이동로봇의 주행을 위한 선행 실험결과를 제시하였다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2004년도 ICCAS
• /
• pp.1485-1490
• /
• 2004

Recently, we have remarkable developments in intelligent robot systems. The remarkable features of intelligent robot are that it can track user, does face recognition and vital for many surveillance based systems. Advantage of face recognition when compared with other biometrics recognition is that coerciveness and contact that usually exist when we acquire characteristics do not exist in face recognition. However, the accuracy of face recognition is lower than other biometric recognition due to decrease in dimension from of image acquisition step and various changes associated with face pose and background. Factors that deteriorate performance of face recognition are many such as distance from camera to face, lighting change, pose change, and change of facial expression. In this paper, we implement a new 3D active camera system to prevent various pose variation that influence face recognition performance and propose face recognition algorithm for intelligent surveillance system and mobile robot system.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2003년도 하계학술대회 논문집 D
• /
• pp.2444-2446
• /
• 2003

This paper presents identified locations of obstacles using ultrasonic and vision sensor for mobile robots. An ultrasonic and a vision sensor provide complementary information. To overcome limitations of each sensor, they are combined. To improve effectiveness of detecting of obstacles in image processing, a modified splitting/merging algorithm is proposed. In order to verify effectiveness, proposed algorithm is applied to a mobile robot control system.

• 전자공학회논문지CI
• /
• 제45권4호
• /
• pp.34-40
• /
• 2008

본 논문에서는 손 모양 인식을 이용한 비전기반의 모바일 로봇제어 시스템을 제안한다. 손 모양을 인식하기 위해서는 움직이는 카메라로부터 정확한 손의 경계선을 추출하고 추적하는 것이 필요하다. 이를 위해 본 논문에서는 초기 윤곽선 위치 및 경계에 강건하고, 빠른 물체를 정확히 추적할 수 있는 mean shift를 이용한 활성 윤곽선 모델(ACM) 추적 방법을 개발하였다. 제안된 시스템은 손 검출기, 손 추적기, 손 모양 인식기, 로봇 제어기 4가지 모듈로 구성된다. 손 검출기는 영상에서 피부색 영역으로 정확한 모양을 손으로 추출한 이후 활성 윤곽선 모델(ACM) 과 mean shift를 사용하여 손 영역을 정확히 추적한다. 마지막으로 Hue 모멘트에 이용하여 손의 형태를 인식한다. 제안된 시스템의 적합성을 평가하기 위하여 2족 보행로봇 RCB-1에서 실험이 수행되었다. 실험 결과는 제안된 시스템의 효율성을 증명하였다.

• 제어로봇시스템학회논문지
• /
• 제20권9호
• /
• pp.957-963
• /
• 2014

This paper proposes a predictive control for an efficient human following robot using Kinect sensor. Especially, this research is focused on detecting of foot-end-point and foot-vector instead of human body which can be occluded easily by the obstacles. Recognition of the foot-end-point by the Kinect sensor is reliable since the two feet images can be utilized, which increases the detection possibility of the human motion. Depth image features and a decision tree have been utilized to estimate the foot end-point precisely. A tracking point average algorithm is also adopted in this research to estimate the location of foot accurately. Using the continuous locations of foot, the human motion trajectory is estimated to guide the mobile robot along a smooth path to the human. It is verified through the experiments that detecting foot-end-point is more reliable and efficient than detecting the human body. Finally, the tracking performance of the mobile robot is demonstrated with a human motion along an 'L' shape course.