Iot Based Vision and Remote Control a Compact Mobile Robot System

IoT 기반의 비전 및 원격제어 소형 이동 로봇 시스템

Abstract

Recently, the small-size mobile robots with remote-control are rapidly growth which market of mobile is increased in the world. Especially, the smart-phones are widely used for interface device in the small size of a mobile robot. The research goal is control system design which is applied to miniaturization of a mobile robot using smart-phone and it can be confirmed performance for designed system. Meanwhile, the fabrication of mini-mobile robot can also be remote-control operation through the WIFI performance of a smart-phone. The smart-phone is used to remote-control for robot operation which control data transmit to robot via the WIFI network. To drive the robot, we can observe by the smart-phone screen and it can easily adjust the robot drive condition and direction by smart-phone button. Consequentially, there was no malfunction and images were printed out well. However, in drive, because of blind spot, robot was bumped into obstacle. Therefore, the additional test is necessary to sensor for blind spot which sensor can be equipment to mobile robot. In addition, the experiment with robot object recognition is needed.

1. 서론

전 세계적으로 로봇 산업이 다양화되고 의료용, 산업용, 군사용 등 많은 곳에 활용을 위한 원격 조종 소형 이동 로봇(robot)의 개발 연구가 활발히 진행되고 있다[1]. 특히, 최근에 코로나 바이러스 19(Covid- 19)감염으로 인해 감염 확산 지역 혹은 폐쇄된 구역에 대한 언택트(untact) 로봇이 더욱 활성화될 전망이다. 이러한 소형 이동 로봇의 특징은 소형 경량화 구조로 구현되어 협소한 장소 주행이 가능하고 다양한 기능을 수행할 수 있다[1]. 예를 들어, 붕괴된 건물의 경우처럼 인간이 직접 진입하기 어려운 곳은 작은 틈새를 통과하여 다양한 임무를 수행하는 소형 로봇이 필요하다[2]. 소형 이동 로봇에 대한 많은 연구가 이루어지고 있지만 실질적으로 소형보다는 이동 로봇에 초점이 맞춰져 있고, 소형 이동 로봇 연구 사례에 대해 분석한 결과, 가로와 세로 그리고 높이 등이 약 10cm에서 최대 30cm까지 존재하는 것으로 보고되었다[3].

2000년도 초반은 인터넷 기반의 원격 제어가 가능한 이동 로봇 시스템과 이미지 분리 및 위치 전송알고리즘(algorithm)에 대한 연구가 함께 진행되었고, 컴퓨터에 조종기를 연결하여 원격조종 다 개체로봇의 협동 제어에 대한 연구를 진행하면서 원격조종 로봇 축구 시스템도 구현하였다[4,5]. 또한, 최근 연구는 원격조종 이동 로봇 시스템을 이용한 방사능진단에 대한 연구도 진행되었다. 이는 컴퓨터 2대와 컴퓨터에 연결된 원격조종기를 적용하였으며, 원격조종 이동 로봇은 여러 분야에서 활용되고 있다[6].

앞서 언급한 내용과 같이 기존 용도의 로봇 시스템은 외부에 컴퓨터를 두고 신호를 무선으로 송수신하는 원격제어 방식의 로봇이 일반적이었다. 이러한무선 조종기를 조종하기 위해 반드시 컴퓨터를 연결해야만 한다[7]. 그러나 원하는 장소에서 조종하는 것에 한계가 있는 것으로 분석된다. 즉, 물리적 공간이 필요하고 번거롭고 추가적인 비용이 요구되며 문제점을 해결하기 위한 방법은 스마트폰(smart-phone) 사용이 최적이다. 최근 기술의 변화와 기기의 인터페이스 형태에 따라 스마트폰 보급률이 증가하면서 국내 시장에서 93% 육박하여 세계에서 으뜸을 차지했고, 다양한 유형의 모바일 컨텐츠(mobilecontents) 가 제작되고 있다[8, 9, 10]. 스마트폰 제어는 컴퓨터 기반 제어 로봇보다 유용성이 확대되며 움직임의 제약이 없다. 또한, 때와 장소 관계없이 네트워크(net- work)를 접속할 수 있는 환경이 구축되어 있다[11]. 따라서 이동 로봇을 위한 인터페이스 장치로서 스마트폰의 활용이 매우 기대된다[12,13].

본 논문은 실제 현장에서 와이파이(WIFI)를 사용하여 스마트폰을 이용한 이동 로봇을 제어한다는 점을 고려하여, 와이파이 통신 기반의 제작된 소형 이동 로봇 제어 인터페이스(interface)에 대한 구성을 제안하고, 이를 구현한다[14]. 또한, 필요한 부품은 내장되어있다는 10cm이하의 초소형으로 제작할 수 있도록 설계한다. 소형이동 로봇의 방향 모터를 와이파이 무선통신을 통해 스마트폰으로 제어하고 실시간 영상을 송출하여 스마트폰으로 영상이 출력되도록 설계한다. 마지막으로 실시간 영상에서 원하는 부분만 사진 형식으로 저장할 수 있도록 설계한다.

2. 시스템 구성

Fig.1에서 스마트폰 제어 소형 이동 로봇에 대한 전체 구성을 보여준다. 이 구성을 살펴보면 스마트폰 기반의 소형 이동 로봇 시스템으로 스마트폰 서버 부분과 로봇 부분으로 나눌 수 있다.스마트폰 서버 부분은 소형 이동 로봇을 구동하기 위한 모터 제어, 로봇에서 나오는 영상을 스마트폰에 스트리밍(strea- ming), LED(light emitting diode)제어로 구성된다. 로봇 부분은 모터(motor) 구동, 카메라 영상 송출, LED로 이루어져 있다. 또한, 스마트폰 서버와 로봇을 연결해주는 와이파이 무선통신환경을 제공한다.

Fig. 1. Block diagram of compact-size mobile robot with remote control using smart-phone.

Fig.2는 시스템 분석에 관한 것으로서 스마트폰 서버에서 모터 제어를 위한 버튼을 조작하면, 와이파이 무선통신을 통해서 로봇의 본체로 신호가 입력된다. 이 신호는 모터까지 전달되어 바퀴가 원하는 대로 제어될 수 있도록 유도한다. 영상은 로봇에 내장되어 있는 카메라에서 와이파이 무선통신을 통해 송출되고 스마트폰 서버로 받아서 출력된다. 또한, LED도 모터와 같은 방식으로 제어하여, 야간에도 선명한 영상이 출력될 수 있도록 유도한다.

Fig. 2.Flow chart for process of a smart-phone based on small size of a mobile robot.

3. 시스템 설계 및 제작

소형 이동 로봇의 이륜구동을 위해 2개의 모터를 사용하게 되며 모터 동작을 위한 시스템 설계 회로는 Fig.3과 같이 제어부와 모터 구동부로 구분되어 동작하게 된다. 그림으로부터 7번에서 10번은 데이터 입력 및 모터 구동을 위한 전력 공급 단자이며 2번에서 5번은 제어부로 출력되는 신호로써 이는 모터 구동을 위한 데이터 명령을 공급한다.

Fig. 3.Schematic of motor drive (without GND, VM, and VCC)[15].

Fig.4는 시스템 설계를 위한 회로의 동작 흐름에 대한 구성도이며 입력부에서 7번과 9번은 제 1DCM (direct control motor)을 실행시키기 위한 명령 신호 입력부와 위상차를 맞추기 위한 위상 제어 신호를 입력부이고 8번과 10번은 제 2DCM을 실행시키기 위한 명령 신호 입력부 및 위상차를 맞추기 위한 위상 제어 신호 입력부 의미를 가지고 있다.2번과 3번은 제 1 모터를 구동시키기 위한 명령신호의 출력부이며 4번과 5번은 제 2 모터를 구동시키기 위한 명령 신호의 출력부이다. 이때, 7-10번의 입력부에서 전력공급과 데이터를 입력하게 되면 분주기로부터 제 1 모터와 제 2 모터를 구동하기 위해 데이터를 1/N 분주하게 된다. 본 설계 시스템에서 분주작업은 1/2 분주를 수행하였다. 분주를 통해 출력되는 데이터는 경로설정을 통해 제1 및 제 2버퍼(buffer)로 입력하게 되며 버퍼들은 분주를 통해 손실되는 데이터의 양을 보완하기 위한 증폭 및 데이터 축척 역할을 하게 된다. 그러므로 버퍼를 통해 출력되는 2개의 분주 신호는 모터를 구동시키기 위해 모터 제어부(DCM)에 입력되어 모터 제어부는 모터의 구동 속도와 회전 수를 결정하게 된다. 그러므로 모터 제어부에서 출력되는 전류는 패러데이(fraday) 법칙에 의거하여 코일의 L1과 L2에 인가되어 자기장을 발생시킨다[16].

Fig. 4. Block diagram for motor control.

자기장은 모터로 유도되어 유도 전류를 발생시키며 유도 전류를 통해 모터가 동작하게 된다. 그러므로 소형 이동 로봇은 다양한 환경에서 주행을 원활하게 하기 위해 이륜구동 방식으로 설계하게 되며 2개의 바퀴에 모터를 설치하게 된다. 소형 이동 로봇은 전륜 구동이므로 모터는 전륜 동작을 위한 바퀴 부위에 장착한다. 설계된 소형 이동 로봇은 무선통신을 통해 원격제어가 가능하며 스마트폰의 버튼을 통해 로봇의 주행에 대해 제어가 가능하다.

카메라 및 와이파이 모듈(ESP32-CAM)은 타 모듈(module)과는 다르게 와이파이 모듈에 카메라를 부착시켜서 사용하기 때문에 간편하고, 불편함을 최소화한다. 모듈의 크기가 소형(27×40.5×4.5mm³)수준이기 때문에 소형 로봇을 제작하기 위한 최적의 조건은 충분히 만족시킬 수 있다. Table1은 카메라와 와이파이 모듈의 사양에 대해 제시된다.

Table 1. Parameter of camera and WIFI performance[17].

직렬 주변 장치 인터페이스(SPI)Flash는 주로 단거리 통신에 사용되는 임베디드 시스템이고 32Mbit 를 사용한다.RAM은 520KBSRAM+4MPSRAM 두 가지의 종류로 내장되어 있기 때문에 저장공간 여유가 충분히 존재한다. 소형 이동 로봇을 동작할 때 64-QAM(quadrature amplitude modulation)을 사용하므로, Table1과 같이 -70dBm의 수신감도를 얻었다. 그러므로 전력 값으로 변환되면 식(1)을 적용했을 때 0.0001uW로 나타낼 수 있다.

\(\mathrm{dBm}=10 \log (\mathrm{mW})\)       (1)

전송 거리 1m부터 10m까지 전력 전송 손실(path loss)에 대해 식 (2) 와 식 (3) 을 이용하여 Fig.5와 Table2로 제시되었을 때, 그림 및 표는 신호 전달손실 값에 대한 분석 결과이며 이때 거리가 멀어질수록 손실이 증가하게 된다. 그러므로 거리가 2배가 되면 경로 손실이 약 6dB 정도 증가하는 것으로 분석된다. 그러나 분석과정에서 무손실공간을 고려하지 않고(장애물 존재 공간 고려) 이론적인 예상 분석 가정하고 분석되었기 때문에 장애물도 고려해야 한다.

\(\mathrm{FSPL}=\left(\frac{4 \pi d}{\lambda}\right)^{2}=\left(\frac{4 \pi d f}{c}\right)^{2}\)       (2)

\(\mathrm{FSPL}(d \mathrm{~B})=10 \log \left(\frac{4 \pi d f}{c}\right)^{2}\)       (3)

Fig. 5. Path loss graph over distance.

Table 2. Path loss value over distance.

이동로봇의 활동 범위는 박물관의 실내 공간이며 데이터를 전파를 이용하여 전송할 때 실내공간은 전파를 방해하는 여러 장애 요소들이 존재한다고 가정할 수 있다. 장애물에 따라 데이터를 전달하는 전파의 손실이 따를 것으로 판단되며 장애물은 콘크리트 벽, 유리 벽, 파티션 등이 있을 것으로 예상된다. 따라서 Table3과 같이 각 장애 물질에 대한 평균 손실률들이 존재할 것으로 판단된다.그러므로 거리만큼의발생되는 손실 전력과 장애물을 통과했을 때 발생되는 손실 전력을 모두 고려하게 된다며 단말기에 수신되는 최종 손실 전력은 매우 미약할 것으로 판단되어 데이터를 전송하는데 문제없는 것으로 분석되었다.

Table 3. Average loss per wall material[18].

스마트폰 서버를 제어하기 위해서는 손실 전력 분석을 토대로 HTTP(hyper text transfer protocol) 통신을 이용하며 3가지의 설계를 필요로 한다. 이에 3가지는 Fig.6에 간략히 명시되고 있다. 첫 번째, 카메라 스트리밍을 위해 로봇과 스마트폰 서버가 와이파이 무선통신으로 연동되어 실시간 영상을 스마트폰에서 확인하도록 유도한다. 그 후,capture 버튼을 누를 경우 원하는 부분의 사진을 jpg형태로 SD카드에 저장할 수 있도록 제작한다. 두 번째, LED를 제어하기 위해서 LED ON/OFF 버튼을 설계한다. 이렇게 설계를 함으로서 어두운 공간에서도 카메라로부터 밝고 선명한 영상이 출력될 수 있도록 지원해준다. 마지막으로, 모터를 제어하기 위한 버튼을 설계한다. 방향에 따른 버튼을 설계하고, 각 버튼에 알맞은 모터 동작을 연동시킨다.

Fig. 6.Entire operation for proposed robot (camera streaming, LED ON/OFF and motor direction control).

앞서 말한 구성품을 조립한 후에 마지막 단계로 3D프린터를 사용해 외관을 완성한다.외관은 불필요한 선들이 보이지 않도록 하고, 카메라와 LED 부분은 가리지 않도록 설계한다. 또한, 소형 로봇의 장점을 극대화하기 위해 초소형 기반으로 설계하였고 그 결과로 9.8×8.1×8.8cm의 소형 이동 로봇을 완성하였다. 바퀴에는 타이밍벨트를 추가하여 여러 지형에서도 견딜 수 있도록 견고하게 설계했다.Fig.7은 최종제작된 작품으로써 3D프린터를 이용하여 제작했다.

Fig. 7.Fabrication of the proposed robot; (a) front im- age and (b) profile image.

4. 동작 및 테스트 결과

소형 이동 로봇을 작동시키기 위하여 원격 조종환경과 같은 무선통신환경의 원활함을 고려한 후, 시리얼 모니터에 생성되는 웹 주소를 스마트폰으로 인가하게 되면 Fig.8처럼 표현되면서 동작을 시키기 위한 준비가 완료된다. 이와 동시에 실시간으로 영상이 출력되는 것을 확인할 수 있다.Fig.9는 소형 이동로봇의 주행 예시를 보여준다. 주행 경로를 통해 모든 방향의 버튼이 원활하게 조작되는지, 그에 따른 주행이 문제없이 진행되고 있는지를 실시간 영상 출력을 통해 확인한다. 영상 중간에 capture버튼을 통해 원하는 부분의 jpg 파일이 SD카드에 저장이 되는지 파악한다. 또한, 야간 환경을 대비하여 LED의 동작 성능에 대해 확인한다.

Fig. 8.Smart-phone control for operation of compact mobile robot.

Fig. 9.Example for path navigation of supposed small- sized mobile robot.

결과로써, 와이파이 통신을 통하여 제어 명령이 이동 로봇에 전달된다. 주행 경로에 따라서 모든 버튼이 원활하게 동작하는 것을 확인하였고, 박물관 곳곳을 이동해본 결과 통신에 무리 없이 동작하였기에 위에서 구한 손실 전력은 무시될 수 있다고 판단된다. Fig.10은 앞서 말한 주행 경로에 따른 이동 로봇의 영상 출력을 나열한다. 이로서 이동 로봇의 카메라 기능 및 이미지 저장도 문제없이 동작되는 것으로 분석되었다. 마지막으로 LED버튼도 동작하여 측정한 빛의 발생 여부 결과도 우수한 것으로 파악되었다.

Fig. 10. Photograph test results for filming in accord- ance with path navigation. (a) fossil exhibition, (b) farming exhibition, (c) flight exhibition, and (d) weapon exhibition.

5. 결론

본 논문에서는 소형 이동 로봇을 제어하기 위하여 스마트폰(smart-phone) 기반의 인터페이스(inter-face)방법을 도출하고 이를 구현한다.로봇을 원격제어하기 위해 모터(motor)의 움직임과 LED에 관련되어 소프트웨어(software)와 하드웨어(hardware) 를 구성한다. 또한 소형 이동 로봇과 스마트폰으로 구성된 환경을 구성하고, 제어를 위한 버튼과 영상으로 이루어진 인터페이스를 구현한다.로봇에서 입력되는 영상을 이용자에게 전달하며, 버튼을 이용한 모터 및 LED 제어 신호를 서버에 전달한다.이로써 이용자가 때와 장소에 관계없이 와이파이를 통해 로봇의 제어가 가능하도록 유도한다.

2000년대 후반 이후부터 의료, 산업 및 가정 등 다양한 공에서 스마트폰 기반의 로봇 및 조종기에 대한 개발이 계속 진행되고 있다.스마트폰 기반의 로봇 조종은 로봇 이외에 추가적인 기기를 필요로하지 않아 쉽고 간편하다는 장점이 있기에 많은 사용자들이 관심을 가진다[12].이와 같이 스마트폰 기반의 소형 이동 로봇은 사람이 들어갈 수 없는 재난 현장에 적용할 수 있는 탐사로봇, 사람이 없는 곳에 대신 임무를 수행할 수 있는 감시 로봇 등 많은 분야에서 활용도가 높아질 것으로 예상된다. 추가적으로물체를 인식하거나 자율 주행을 하는 등 별도의 조종기 없어도, 원하는 경로에 따라서 혹은 원하는 물체를 목표로 선정하여 주행하는 소형 로봇에 대한 연구가 활발히 이루어질 것으로 예상된다.

추후에는 가속도 센서와 초음파 센서, 자이로(gyro) 센서 등을 복합적으로 이용하여 조금 더 부드러운 움직임을 구현하고, 사각지대에서도 무리 없이 구동을 할 수 있도록 추가 연구가 필요할 것으로 판단된다. 스마트폰 기반 제어와 더불어 객체를 인식하고 이 객체에 따라 카메라가 회전하는 것에 대한 연구가 거듭 필요할 것으로 분석된다. 이를 위해 딥러닝(deep-learning)알고리즘(algorithm)을 이용한 방법이 고려되어야 할 것으로 판단된다. 향후 인공지능적인 요소들을 포함하고 많은 데이터 값을 대입해주면, 스스로 주변을 인식하여 장애물을 피하고, 원하는 객체를 찾아 필요한 행동을 취할 것으로 기대된다. 이는 IT 및 인공지능 세대에 맞추어 인간과 로봇의 상호작용을 위한 필수적 기능으로 예상되며 이를 사업화하기 위한 개발이 이루어지기 위한 대안이 필요할 것으로 사료된다.