A Development of Unbalanced Box Stacking System with High Stability using the Center of Gravity Measurement

무게중심 측정을 이용한 불평형 상자의 고안정 적재 시스템 개발

Abstract

The logistics industry is converging with digital technology and growing into various logistics automation systems. However, inspection and loading/unloading, which are mainly performed in logistics work, depend on human resources, and the workforce is shrinking due to the decline in the productive population due to the low birth rate and aging. Although much research is being conducted on the development of automated logistics systems to solve these problems, there is a lack of research and development on load stacking stability, which has the potential to cause significant accidents. In this study, loading boxes with various sizes and positions of the center of gravity were set up, and a method for stacking that with high stability is presented. The size of the loading box is measured using a depth camera. The loading box's weight and center of gravity are measured and estimated by a developed device with four loadcells. The measurement error is measured through various repeated experiments and is corrected using the least squares method. The robot arm performs load stacking by determining the target position so that the centers of gravity of the loading boxes with unbalanced masses with a random sequence are transported in alignment. All processes were automated, and the results were verified by experimentally confirming load stacking stability.

1. 서론

글로벌 전자상거래가 늘어남에 따라 물류 산업은 여러 정보기술(IT)과 융합되어 비약적인 발전이 이루어지고 있다[1]. 하지만, 현재 물류 작업에서 주로 이뤄지는 검수와 상하차 작업은 인력에 의존하는 경우가 많고[2], 저출산, 고령화로 인한 생산 가능인구가 감소하여 노동력이 줄어들고 있다[3]. 이를 대체하기 위해 최근 물류 산업에서는 인공지능, 자율주행과 같은 첨단 디지털기술을 적용하여 사람의 개입을 최소화하고 물류 변화의 신속성, 효율성을 향상하는 구조변화가 이뤄지고 있다[4]. 이러한 사회적 요구에 따라 아래와 같은 다양한 연구가 진행되었다. 김상우 외 5인은 항만 내 컨테이너 영상데이터와 인공지능을 통해 작업자가 현장의 사고 위험도를 파악할 수 있는 시스템을 개발하였다[5]. 김명식 외 2인은 노동 강도와 근골격계 부상 위험이 큰 농산물 검수 작업을 대체하기 위해 컨베이어, 로봇팔, 바코드 리더기로 구성된 사과 구분적재 자동화 로봇 시스템을 개발하였다[6]. 정의정 외 5인은 RGB-D 카메라와 로봇팔을 사용하여 화물 적재 상황을 파악하고 자동으로 화물 하차 작업을 수행하는 시스템을 개발하였다[7].

이처럼 산업별로 목적에 따른 자동화 물류 시스템에 관한 많은 연구개발이 수행되고 있다. 하지만, 기존 연구에서 사용되는 물품은 표준화된 규격의 상자를 사용하며, 기하학적 무게중심이 실제 무게중심과 일치한다고 가정한다. 이는 크기가 다양하고, 기하학적 무게중심과 다른 물품을 적재하는 경우, 적재 안정성에 문제가 생겨 안전사고가 발생할 가능성이 있다. 따라서 본 연구에서는 물류 작업의 주체가 되는 적재물의 크기와 무게중심을 무작위로 설정하고, 자동으로 적재물의 크기, 무게, 무게중심의 위치를 측정하고, 이를 적재하는 시스템의 설계 방법을 제시한다. 해당 시스템은 여러 개의 적재물을 적층 시 전체 무게중심을 적재 더미의 중앙에 일치하도록 적재한다. 이를 통해 적재물들의 정적 안정성을 크게 높일 수 있다. 따라서 창고, 선박 화물과 같은 다양한 물류 이송 시스템에 적용하여 효율성 증대뿐만 아니라 안전 사고 예방에 기여할 수 있을 것으로 기대된다.

2. 적재 시스템의 구성

2.1 시스템의 배치 구조 및 동작 순서

Fig. 1은 본 연구에서 보인 시스템의 구조를 보인 것이다. 불균질한 크기와 편중된 무게중심을 가지는 적재물 상자(① Box)는 이송장치(② Linear moving stage)에 의하여 특정 위치로 이송된다. 뎁스카메라(③ Depth camera)는 적재물 상자의 위치 및 크기, 방향과 높이를 측정하고 QR코드를 저장한다. 로봇팔(④ Robot arm)은 앞에서 얻은 정보를 이용하여 적재물 상자를 무게중심 측정장치(⑤ Center of gravity measurement device)에 올려놓는다. 무게중심 측정장치는 4개의 하중센서(Loadcell)를 이용하여 적재물 상자의 무게중심을 추정하며 QR코드로 구분되는 뎁스카메라에서 얻은 정보와 조합하여 무게중심의 위치를 기록한다. 로봇팔은 다시 적재물 상자를 잡아서 적재장소(⑥ Stacking area)에 순서대로 적재한다. 이때 로봇은 위의 과정에서 얻은 정보를 이용하여 무게중심이 일치하도록 쌓아 올림으로써 안정성이 매우 높은 적재 동작을 수행한다. 3D 프린터로 제작된 적재물 상자의 무게는 0.1∼0.5 kgf 사이이며 크기 또한 60×60×50 mm, 60×80×50 mm, 60×100× 50 mm 등 다양하게 제작하였다. Fig. 2는 본 연구에 사용된 적재물 상자 중 하나의 내부를 보인 것이다. 의도적으로 상자의 재질보다 무거운 무게를 가지는 철편을 무게중심에서 멀리 부착함으로써 적재물 상자의 무게중심이 기하학적인 중심과 크게 벗어나게 하여 연구의 효용성을 높이고자 하였다.

Fig. 1 Experiment system setup for high stability stacking system

Fig. 2 The inside of a box

2.2 데이터 수집 및 제어 구조 설계

Table 1에는 본 시스템에서 사용된 하드웨어 및 소프트웨어의 상세 모델을 나타내었으며 Fig. 3은 구성요소와 통신 및 제어를 위한 데이터의 흐름 관계를 나타내었다. PC는 각각의 역할에 따라 2대를 사용하였다. 하중센서 데이터 수집 및 선형 이송장치 제어를 위하여 윈도우즈가 설치된 PC가 이용되었다. 여러 장치간 통신, 데이터 처리, 그래픽 사용자 인터페이스(GUI) 등 구동용 S/W 개발을 위하여 C#이 사용된다. 선형이송장치 내에는 스텝모터 (Step motor)가 사용되는데 이를 위하여 위치 제어 목표값에 해당되는 펄스를 정교하게 공급할 필요가 있으므로 마이크로프로세서(Atmega128)을 활용하였으며, 이송과 정지 등의 명령은 C#으로 개발된 구동 S/W에서 시리얼 통신을 이용하여 전달된다. 또한 하중센서 표시장치(Indicator)는 모두 RS-485 규격의 통신을 제공하므로 역시 PC에 연결하여 4개의 하중센서 데이터를 순차적으로 받아들일 수 있다. 한편, 뎁스카메라는 적재용 상자의 외곽 크기 측정에 활용되는데 이때 수집되는 좌표 데이터는 로봇제어에 긴밀하게 사용되므로 로봇팔과 뎁스카메라는 별도의 PC에서 제어하기로 한다. 이때 사용되는 PC에는 우분투(Ubuntu) 버전의 리눅스가 설치되어 있으며 로봇의 원활한 제어를 위하여 ROS2를 추가로 설치한다. 또한 앞서 설명한 윈도우가 설치된 PC에서 생성된 무게 중심, 제어신호 등 다양한 정보를 교환할 필요가 있으므로 TCP/IP 네트워크를 별도로 연결하였다.

Fig. 3 Communication system diagram of a stacking system using the center of gravity measurement

Table 1. Composition of the stacking system

3. 적재상자의 무게중심 및 크기 측정

3.1 하중센서를 이용한 무게중심 추정

Fig. 4는 무게중심 측정장치의 구조를 보인 것이다. 튼튼한 평판의 4 모서리 부분에는 각각 하중센서를 위치시킨다. 영점을 맞춘 후 시험 추(Test weight)을 임의의 위치에 놓으면 각각의 하중센서에서 그 무게가 측정되며 이를 3 자유도로 모델링하면 아래의 식 (1)∼(3)과 같은 힘과 모멘트의 정적 평형 방정식을 만족한다. 이를 이용하여 무게중심을 추정할 수 있다.

Fig. 4 A structure of C.G measurement system

ΣF = 0       (1)

ΣM_x = 0       (2)

ΣM_y = 0        (3)

Fig. 5는 평판 위의 임의의 위치(X_cg, Y_cg)에 시험하중에 놓여졌을 때의 자유 물체도를 보인 것이다. 이때 평판의 x 방향 크기는 T, y방향 크기는 L로 간주한다.

Fig. 5 Free body diagram of C.G measurement system

식 (1)과 식 (3)을 이용하면 아래의 식 (4), (5)를 얻을 수 있다.

F = F₁ + F₂ + F₃ + F₄       (4)

FX_cg = (F₂ + F₃)T       (5)

따라서 x방향 무게중심의 위치는 식 (6)과 같다.

\(\begin{align}X_{c g}=\frac{\left(F_{2}+F_{3}\right) T}{F_{1}+F_{2}+F_{3}+F_{4}}\end{align}\)       (6)

마찬가지로, 식 (1)과 식 (2)를 이용하면 y방향 무게중심의 위치는 아래의 식 (7)과 같이 유도된다.

\(\begin{align}Y_{c g}=\frac{\left(F_{3}+F_{4}\right) L}{F_{1}+F_{2}+F_{3}+F_{4}}\end{align}\)       (7)

그럼으로, 4개의 하중센서로 x, y 방향 무게중심의 위치를 모두 추정할 수 있다.

3.2 뎁스카메라를 이용한 크기 측정과 무게중심 데이터 합성

적재물 상자의 크기 정보는 뎁스카메라를 사용하여 얻는다. 로봇 정지상태에서 컬러 이미지를 촬영한 후 RGB 이미지를 GRAY 이미지로 변환하여 0에서 255의 명도값으로 데이터를 변환한다. 이후 해당 명도값의 문턱값(Threshold)을 선정하고 이를 경곗값을 두어 흑백으로 이진화한다. 잡음에 비교적 강건하고 좋은 결과를 보이는 것으로 알려진 캐니에지(Canny edgy) 검출 방법을 적용하여 적재물 상자의 외곽선을 추출하며, 이를 이용하여 크기 정보와 놓여진 각도 정보를 구한다. 이미지 전처리 과정을 통해 얻은 꼭짓점은 픽셀 좌표계로 표현된 2D 공간의 점이므로 실제 크기를 얻기 위해서 이를 실제 길이 단위의 좌표계로 변환한다. QR코드로부터 기록된 추의 무게와 무게중심 데이터를 측정한 적재물 상자의 좌표계에서 합성하여 다양한 적재물 상자별 크기와 무게중심의 위치를 기록한다. Fig. 6은 그 결과의 예를 보인 것이다. 로봇팔 제어부에 이러한 데이터를 전달하여 로봇팔 제어의 목표점 설정에 활용한다.

Fig. 6 Box border measurement and overlapped C.G point

3.3 로봇팔 제어를 통한 적재용 상자 쌓기

로봇팔은 위의 과정에서 얻은 적재물 상자의 크기 및 위치, 각도 정보와 무게중심의 정보를 활용하여 적재물 상자를 적재 장소에 쌓아 올리는 역할을 수행한다. 이를 위하여 무게중심 측정장치에 놓여진 적재물 상자의 무게중심부를 시작 위치점으로 선정하여 이동한 후 그리퍼(Gripper)로 잡고 적재 장소의 이전에 놓여진 적재물 상자의 상단에 무게 중심부를 목표 위치점으로 선정하여 이동한 후 부드럽게 내려놓아야 한다. 이러한 로봇제어를 수행하기 위하여 로봇 해석 S/W인 Moveit2을 이용한다. 이는 로봇팔의 정기구학, 역기구학 해석을 통해 이동 경로를 미리 계산해주는 프로그램으로 이동하는 로봇팔의 끝점 이동 경로를 역기구학 계산을 하기 위해 사용되었다. 이를 통해 생성된 로봇팔의 끝점 위치와 현재 로봇팔 각 관절부의 회전 각도 값을 바탕으로 목표 이동 경로에 대한 각 조인트 회전각을 얻을 수 있다.

3.4 그래픽 사용자 인터페이스 제작

Fig. 7은 Fig. 3에서 제시한 본 시스템의 구성 요소 간 통신을 통합하여 사용자가 손쉽게 현황을 파악하고 명령을 내릴 수 있도록 개발된 그래픽 사용자 인터페이스 화면이다. PC에서 모니터를 통해 시스템 동작 순서에 따라 진행 순서와 센서 데이터를 실시간으로 확인할 수 있다. 또한, 사용자가 GUI 내부의 버튼을 통해 시스템 외부의 시작 또는 비상정지 스위치를 누르지 않고도 시스템 동작을 제어할 수 있다.

Fig. 7 Graphic user interface using C#

4. 성능평가 및 보정

4.1 무게중심 측정 오차 평가

제작된 무게중심 측정장치의 T와 L의 길이는 각각 250 mm이다. 사용된 하중센서의 최대하중은 6 kgf이며, 비직진성, 히스테리시스, 반복성 오차는 모두 0.02 % 이내를 가진다. 제작된 시스템의 정확성을 측정하기 위하여 수평계를 이용하여 x, y방향으로 수평을 조정한 후 무게 0.35 kgf의 시험추를 중심으로부터 각각 x, y 방향으로 일정한 길이만큼 이동시키면서 50회 이상 측정을 반복하였다. 먼저 식 (1)의 만족 여부를 확인하기 위하여 측정된 오차를 아래의 Fig. 8에 나타내었다.

Fig. 8 Weight measurement error with deviation from C.G

실험 결과는 시험추가 무게중심 측정장치의 중앙에 놓여진 경우 그 오차는 0.1 % 이하로 약 0.3×10^-3 kgf 이내임을 확인하였다. 그러나 중심에서 끝쪽으로 100 mm 이상 이동하는 경우 최대 1 % 이상의 오차가 확인되며 이는 y 방향 보다는 x방향이 매우 큰 오차를 가짐을 확인할 수 있다. 이는 측정면이 정확하게 중력 방향에 수직으로 설치되어 있는지 여부, 튼튼하지 못한 설치 바닥, 조립시 발생되는 미세한 기하학적인 오차, 모델링에 포함되지 않은 자유도의 영향성 등 다양한 원인이 있을 것으로 예상된다. 또한 아래의 Fig. 9는 각각의 하중센서로 부터 측정된 결과를 식 (6)과 (7)에 대입하여 얻은 무게중심과 실제 놓여진 위치를 비교하여 구한 오차를 나타낸 것이다. 그림에서 보는 바와 같이 역시 x방향이 큰 오차를 보이며 중심위치로부터 100 mm 이동한 경우 12 mm 이상의 편향된 큰 오차를 가진다.

Fig. 9 Estimated C.G point error with deviation from C.G

4.2 최소자승법을 이용한 오차 보정

제작된 무게중심 측정장치는 측정용 평판에 시험추를 놓았을 경우 중심에서 2.5 ∼ 3 % 수준의 오차가 존재하며, 특히 중심으로부터 멀리 벗어나는 경우 오차의 값이 매우 커지게 되므로 이를 보정할 필요가 있다. 이를 위하여 참값인 시험추의 놓여진 위치(X, Y)와 추정된 위치(X_cg, Y_cg)의 값에 최소자승법(Least square method)를 적용한다. 본 연구에서는 실험 결과의 큰 비선형성을 고려하여 4차 방정식을 이용하였다. Fig. 10과 Table 2는 보정 전과 후의 결과를 나타낸 것으로, 보정 전의 3.37 %의 평균오차에서 보정 후 –0.68 %의 평균 오차로 크게 저감하였으며 길이 평균 1 mm 이내의 충분한 정확도를 확보하였음을 확인할 수 있다.

Fig. 10 A C.G point calibration result with least square method

Table 2. Calibration results

4.3 수직쌓기 평가 실험

적재물 상자의 무게중심은 중앙에서 멀리 떨어져 있고 이는 외부에 표시되어 있지 않다. 따라서 적재물 상자의 기하학적 중심을 기준으로 쌓아 올리면 적재물 더미의 무게중심이 한쪽으로 쏠리게 되며 높은 확률로 붕괴에 이르게 되는 것을 확인하였다. 이는 현장에서 적재물 내부의 무게중심을 파악하기는 매우 어려우므로 적재물 박스의 외형만을 이용하여 적재하는 것을 가정한 것이다.

본 연구에서 구성된 시스템의 성능을 평가하기 위하여 이송장치에 임의의 크기와 무게중심을 가지는 적재물 상자를 임의의 순서로 공급하였다. Fig. 11은 최종적으로 적재된 다양한 상자의 모습이다. 시험을 위하여 적재 단의 단면의 지름이 20 mm인 원기둥을 시작으로 적재를 시작하였으며 이후 측정된 적재물의 무게중심이 해당 원내에 위치하도록 하여 로봇팔의 워크스페이스가 허용되는 5층 높이의 적재물 적재를 시행하여 적재 안정성 검증을 수행하였다. 다양한 적재물 박스의 적재 순서, 방향의 변화에도 항상 붕괴되지 않으며 작은 박스를 아래에 두어 기하학적인 안정성을 해치도록 유도하여도 마찬가지로 안정성을 유지하는 결과를 보였다.

Fig. 11 A picture of a unbalanced box stacking result

5. 결론

본 연구에서는 현재 자동화된 박스 적재 시스템에 적재 안정성을 확보하기 위한 연구를 수행하였으며 무게중심을 측정하고 이를 일치시키며 쌓은 불균질한 적재용 상자 더미는 높은 안정성을 보이는 것을 실험적으로 검증하였다. 따라서, 이를 이용하면 더욱 안전하고 효율적인 적재 작업이 가능하며 다양한 자동창고뿐만 아니라 차량, 열차, 항만으로 운송되는 다양한 적재화물에 적용될 수 있다. 이는 적재 안정성뿐만 아니라 작업장에서의 안전사고를 줄이는 측면에서도 우수한 효과를 기대할 수 있다.