Development of a Hole Cup Recognition Model on Golf Green Using Object Detection Technology

물체 탐지 기술을 사용하여 골프 그린에서 홀 컵 인지 모델 개발

Abstract

This paper is a study on the development of an artificial intelligence model that recognizes a hole cup on a golf green. A CNN-based object detection algorithm was used to recognize the hole cup on the green. Also, Apple's CreateML was used to create a model of the object detection algorithm. This paper created a JSON file with 120 training images and annotations to meet the needs of CreateML. In addition, for more accurate learning, data amplification algorithm was used for learning data and 288 learning data were used for learning. By changing the Iterations, Batch size, and Grid size required by CreateML, we found parameter values that improve the performance of the model. A prototype app was developed by applying the developed model, and performance was measured on an actual golf course green using the prototype app. As a result of the measurement, it was found that the hole cup was accurately recognized within 10m, which is the typical golfer's putting distance.

본 논문은 골프 그린에서 홀 컵을 인식하는 인공 지능 모델의 개발에 관한 연구이다. 그린에서 홀 컵의 인지을 위하여 CNN기반 물체 탐지 알고리즘을 사용하였다. 또한 물체 탐지 알고리즘의 모델을 생성하기 위하여 애플사의 CreateML을 사용하였다. 본 논문은 CreateML의 요구에 맞도록 120개의 학습 이미지 및 주석 데이터로 JSON 파일을 만들었다. 또한 정확한 학습을 위하여 학습 데이터에 데이터 증폭 알고리즘을 사용하여 288개의 학습 데이터로 증폭하였고, 이를 사용하여 학습하였다. CreateML에서 요구하는 Iterations, Batch size, Grid size를 변화시키면서 모델의 성능을 높이는 파라미터 값을 찾았다. 개발된 모델을 적용하여 프로토타입 앱을 개발하였고, 이 프로토타입을 이용하여 실제 골프장 그린에서 홀 컵 인지에 대한 성능을 측정하였다. 측정 결과 일반적인 골퍼의 퍼팅 거리인 10m이내에서 홀 컵을 정확히 인지함을 알 수 있었다.

Ⅰ. 서론

골프에서 퍼팅은 그린에 올라온 볼에 대하여 홀 컵에 공을 넣을 때까지의 행위를 퍼팅이라고 한다. 퍼팅이 전체 스코어에 큰 비중을 차지하는 것은 퍼팅이 결코 쉽지 않기 때문이다. 퍼팅 시 그린이 평평한 평지이면 퍼팅을 하는 것이 큰 어려움이 없을 것이다. 그러나 대부분의 그린은 소위 말하는 언듈레이션이 있어서 그린이 평평하지 않고 다양한 고도차를 가지고 있기 때문이다^[1]. 그린이 평평한 평지라면 똑바로 공을 보내는 훈련만 하면 되지만 언듈레이션이 있어 평평하지 않는 경우 공을 홀 컵이 아닌 경우를 정 조준해야 할 뿐만 아니라 언듈에이션에 따라 공이 굴러야 하므로 퍼팅의 스피드 또한 중요하기 때문이다^{[1, 2]}. 즉, 방향과 힘을 동시에 알맞게 적용하여야 하기 때문에 퍼팅이 어렵다.

최근 인공 지능 기술은 눈부시게 발전하고 있다. 연구실 레벨에서 연구되고 응용되든 인공 지능 기술은 사회 모든 분야에 적용되는 실정이다. 이것은 인공 지능 기술의 결과가 이론적 사실을 넘어서 실질적으로 도움이 되는 결과를 주고 있기 때문이다. 인공 지능의 다양한 기술중에서도 특히 신경망 기술을 기반으로 하는 딥 러닝 기술이 좋은 성과를 이루고 있다 ^{[3, 4]}. 따라서 딥 러닝 기술을 활용한 응용 소프트웨어가 활발히 연구되고 있다. 딥러닝 모델의 대표적인 연구 결과가 Convolutional Neural Network (CNN)이다 ^{[4, 5]}. CNN을 활용하는 대표적인 기술이 이미지 분류, 이미지 속에 있는 객체 탐지, 스타일 전이, 객체 분할 등이 있다. 특히 CNN 기반 물체 인지 기술^{[6, 7]}은 이미지 내 물체를 인지하고 그물체가 어디에 있는지를 찾아내는 인공 지능 기술이다.

본 논문은 인공 지능 기술을 이용하여 그린에서 홀 컵을 인지하여 퍼팅을 보조하는 앱의 개발에 연구이다. 개발하고자 하는 앱의 기능에서 그린에서 홀 컵에 대한 인지 및 위치를 찾는 것은 필수적이다. 본 논문에서는 이를 위하여 인공 지능 기술 중에 물체 인지 기술을 적용하여 그린에서의 홀 컵과 위치를 인지한다. 본 논문은 물체 인식(Object Detection) 기술을 적용하기 위하여 학습 데이터를 준비하고 적절한 학습을 하여 물체 인지 인공 지능 모델의 생성에 대한 연구이다. 또한 생성된 모델에 대하여 다양한 성능 평가를 하고, 프로토타입 앱을 제작하여 실제 그린에서 홀 컵 인지 여부를 평가하는 것이다.

2장에서는 본 논문에서 적용하고자 하는 인공 지능 기술에 대하여 설명하며, 3장에서는 학습 데이터에 대한 소개 및 실제 학습 과정을 설명한다. 4장에서는 생성된 모델에 대한 다양한 성능을 소개하며 또한 간단하게 개발된 프로토타입 앱을 이용하여 실제 골프장에서 홀 컵인지 여부를 측정한 결과를 소개한다. 5장에서는 연구결과를 요약하며 향후 연구에 대하여 소개한다.

Ⅱ. 관련 연구

1. 물체 인지 인공지능 기술

물체 인지 기술 문제^{[5, 6, 7]}는 이미지 분류 문제와 달리 다수의 다른 물체를 인식할 수 있어야 하고 또한 물체의 위치도 탐지하여야 하므로 이미지 분류 기술보다는 난이도가 높다. 그림 1에서 왼쪽은 이미지 분류이고 오른쪽은 물체 인지이다. 그림 1에서 볼 수 있듯이 물체 인지에서는 물체 인식과 더불어 사각형으로 표시되는 위치를 탐지하여야 한다.

그림 1. 이미지 분류(왼쪽)과 물체 탐지(오른쪽)

Fig. 1. Image classification (left) and object detection (right)

또한 물체 인지 기술은 한 종류의 클래스에 대하여 여러 물체를 인식하여야 할 뿐만아니라 다수의 종류를 동시에 탐지해야 한다. 모든 딥 러닝 알고리즘과 마찬가지로 물체 인지 알고리즘도 학습을 위해서는 학습 데이터가 필요하다. 이 알고리즘의 학습 데이터는 물체의 종류와 물체의 위치 정보를 포함해야 한다. 즉, 학습 데이터는 이미지의 이름과 이미지 내 물체의 종류 위치 및 크기의 정보를 담고 있어야 한다.

물체 인지 알고리즘의 성능 측정 지표로써 IoU (Intersection over Union)가 사용된다. 이것은 실제 물체를 포함하는 박스의 면적과 물체 탐지 결과 예측된 물체의 박스 면적의 일치성 여부를 나타내는 척도이다. 그림 2는 IoU 계산 방법을 보인다. 여기서 ‘Detection Box’는 실제 이미지에서 물체를 감싸고 있는 박스의 위치와 크기이며, ‘Prediction Box’는 물체 인지 알고리즘을 적용하여 예측된 박스의 크기와 위치이다. 이 척도를 사용하는 이유는 물체 탐지 알고리즘이 물체를 탐지하더라도 종종 정확한 크기와 위치를 탐지하지 못하기 때문이다.

그림 2. IoU의 정의

Fig. 2. Definition of IoU

2. CreateML

2017에 애플사는 "Neural Engine" 코어를 특징으로 하는 새로운 A11 Bionic 칩을 발표했으며 애플사의 모든 ML 도구의 핵심인 CoreML 프레임워크도 선보였다^{[8, 9]}. 애플사의 CoreML은 인공 지능 알고리즘을 학습하여 생성된 인공 지능 모델을 이용하여 응용프로그램을 쉽게 개발할 수 있는 API이다 ^[9]. 즉, CreateML은 학습 데이터를 사용하여 CoreML에서 사용할 수 있는 인공지능 모델을 생성하는 도구이다. CreateML을 사용하면 실제로 코드를 사용하지 않고 모델을 훈련할 수 있으며 Xcode에 포하 되어 있다. 이미지, 비디오, 사운드, 텍스트, 움직임, 포즈 및 테이블과 같은 다양한 데이터에 대하여 여러 모델 템플릿을 제공한다.

Ⅲ. 홀 컵 인지 모델 생성

1. 요구 사항

본 논문은 골프 운동에서 퍼팅 시 퍼팅 조준을 도와주는 기능에 필요 요소 기술인 그린에서의 홀 컵 인지 인공지능 모델을 개발하는 것이다. 골프 코스에서 그린이 평지인 경우에는 일반적으로 홀 컵을 정 조준하여 퍼팅하면 되지만 많은 경우 그린에서 마운드의 고도 차에 의하여 홀 컵을 정 조준 하지 못하고 다른 곳을 정 조준하여야 한다. 이 경우 많은 골퍼들은 홀 컵을 기준으로 오른쪽 도는 왼쪽으로 얼마만큼 떨어진 지점을 정 조준하여 퍼팅한다. 그러나 많은 경우 정조준 지점이 생각과 같이 일치하지 않아서 퍼팅 수를 늘리게 되고 점수를 잃게 되는 경우가 허다하다.

본 논문에서는 이러한 어려움을 돕기 위하여 스마트폰을 이용한 퍼팅을 도와주는 앱을 개발하기 위하여 가장 기본이 되는 그린에서의 홀 컵을 인지하는 인공 지능 모델을 개발하고 그 성능을 측정하는 것이다. 이를 위하여 최근 인공 지능 기술 중의 하나인 물체 인지 기술을 사용한다. 그린에서 카메라를 이용하여 그린을 촬영하는 동안 물체 인지 기술의 이용하여 실시간으로 홀 컵의 위치와 크기를 픽셀 단위로 인식하는 것이 목표이다.

2. 모델 생성을 위한 학습 데이터

본 논문에서는 홀 컵 인지를 위하여 물체 인지 인공지능 기술을 사용한다. 이 기술을 사용하면 홀 컵의 위치와 크기를 알 수 있기 때문이다. 객체 인지 알고리즘은 이미지에서 하나 이상의 객체 위치와 클래스를 인식한다. 본 논문에는 그린에서 홀 컵은 오직 하나이므로 이 알고리즘은 정확히 한 개의 물체에 대하여 크기와 위치를 인식하면 된다. 이를 위하여 실제로 알고리즘을 학습하기 위하여 적절한 데이터 세트가 필요하다.

본 논문에서는 그린에서 홀 컵이 포함된 총 120장 이미지를 준비하였다. 객체 인지 알고리즘을 학습시키기 위해서는 각 이미지에 대한 주석을 포함하는 주석 파일이 필요하다. 주석은 이미지 내에 물체의 크기, 위치, 레이블을 포함하여야 한다. 본 논문에서 레이블은 오직 한가지이고 그 이름을 ‘Hole’로 하였다. 일반적으로 주석 파일은 JSON, XML 또는 CSV 파일 형식으로 지정할 수 있다. 본 논문에서 사용할 createML 도구는 JSON 형식을 요구하기 때문에 그림 3과 같이 구성하였다. 이미지 파일 이름인 ‘image1.jpg’, 레이블인 ‘Hole’, 그리고 위치와 크기 정보인 ‘coordinates’로 구성한다. 만약 그린에서 홀 컵이 여러 개일 경우에는 ‘coordinates’가 증가하게 된다. 본 논문에서는 골프장의 그린에서 홀 컵의 이미지를 그림 3과 같이 직접 촬영하여 수집하였다. 수집된 이미지를 수작업으로 직접 총 120장의 이미지를 선택하여 주석 파일을 생성하였다.

그림 3. 학습 이미지 및 주석 파일 예

Fig. 3. An image of training data and an example of annotation file

딥 러닝은 좋은 결과를 얻고 과적합을 방지하기 위해 많은 훈련 데이터가 필요하다. 그러나 충분한 훈련 데이터를 얻는 것은 종종 매우 어렵다. 여러 가지 이유로 충분한 데이터를 수집하는 것이 매우 어렵거나 불가능할 수 있다. 이러한 어려움을 극복하는 하나의 방법이 이미지 증폭이다. 이것은 기본 이미지에 대하여 회전, 좌우반전, 노이징 등을 적용하여 유사한 다른 이미지를 생성하여 학습 데이터 준비 비용을 줄이는 것이다. 본 논문은 표 1와 같이 이미지 증폭 과정을 거쳐 최종 학습 데이터를 준비하였다. 또한 학습 데이터를 표 1과 같이 ‘Train’, ‘Vaild’, ‘Test’용으로 적절히 나누었다.

표 1. 홀 컵 인식을 위한 학습 데이터

Table 1. Training data for hole cup recognition

3. CreateML을 이용한 학습

애플사에서는 인공 지능 모델을 생성하기 위하여 학습 도구를 제공하고 있는데 그것이 CreateML이다. 본 논문에서는 홀 컵 인식을 위한 모델 생성을 위하여 CreateML을 사용한다. CreateML에서는 물체 인지를 위하여 ‘Full Network’와 ‘Transfer Learning’ 알고리즘을 지원한다. 전자는 YOLO의 주조에 따른 전체 학습 알고리즘을 의미하며 후자는 하나의 작업을 위해 훈련된 모델을 유사 작업 수행 모델의 시작점으로 활용하는 알고리즘이다.

CreateML을 사용하여 물체 인지 알고리즘을 학습하여 물체 인지 모델을 생성하기 위해서는 다양한 파라미터에 대한 값을 선택하여야 한다. 이러한 파라미터에 대한 정해진 값은 없고 학습된 모델을 적용하고자 하는 응용 분야, 학습 데이터의 특징 등에 의하여 개발자가 선택하여야 한다.

표 2는 CreateML에서 제공하는 파라미터와 선택 가능한 값 그리고 본 논문에서 선택한 값을 보인다. Alogrithm으로는 ‘Full Network’를 선택하였는데 이것은 ‘Transfer Learning’이 기존의 모델로부터 시작하는 것에 반하여 ‘Full Network’은 처음부터 모델을 생성하는 것이기 때문이다. Iterations은 크면 클수록 더 좋은 모델을 만들 수 있으나 일정 이상의 반복을 수행하면 거의 변화가 없다. 본 논문에서는 2500, 5000번을 선택하였다. Batch size는 반복하는 데이터의 세트의 크기를 말하는 것으로, 이것이 작으면 학습 속도는 빠르나 충분히 학습되지 않는 경향이 있고 반대로 크면 충분히 학습은 되나 시간이 많이 소요된다. 본 논문에서는 16, 32, 64, 128에 대하여 선택하였다. Grid size는 하나의 이미지를 통째로 분석하는 것이 아니라 조각을 내서 분석한다. 이때 하나의 이미지를 몇 개의 조각으로 나눌 것인지를 결정한다. 이 Grid size를 정하는 것은 매우 중요하다. 그림 4는 Grid size에 대한 하나의 예이다. 원래 그림의 사이즈는 오른쪽 그림과 같이 1500*800이다. 그런데 만약 Grid size를 8*8로 정하면 1500*800 이미지를 왼쪽 그림과 같이 이미지를 축소한 후 이미지를 조각내기 때문에 정확한 이미지의 인지를 어렵게 하는 요인이 된다. 반면 오른쪽의 경우 15*8로 이미지를 조각내기 때문에 특별히 이미지의 축소/확대가 일어나지 않는다. 본 논문에서 학습 이미지의 크기는 모두 1080*1920으로 제한하였다. 따라서 Grid size를 이 비율에 적합한 6*12, 9*16에 대하여 학습하였다. Grid size가 크면 클수록 학습 시간의 기하급수적으로 늘어난다. 반면 좀 더 정확한 물체 인지 모델을 생성할 수 있다.

그림 4. 그리드 크기에 따른 이미지 분할의 차이

Fig. 4. Difference in Image Segmentation by Grid Size

표 2. CreateML에서 파라미터들과 선택한 값

Table 2. Parameters and selected value in CreateML​​​​​​​

Ⅳ. 성능 측정

1. 모델의 평가

CreateML에서는 학습 과정과 결과에 대하여 대표적인 평가 지표인 Loss와 IoU를 측정하여 제공한다. Loss는 어떤 학습된 모델을 실제 데이터에 적용했을 때 모델의 추정 오차로 인해 발생하는 손실을 의미하고, IoU는 앞의 그림 2에서 정의한 것이다. 정의상 Loss는 작은 값일수록 좋고 IoU는 큰 값일수록 좋다. 그렇다고 Loss가 작다고 해서 높은 IoU를 기대할 수 있는 것은 아니다. 이것은 두 변수가 서로 독립적인 관계이기 때문이다. 따라서 좋은 학습 모델을 얻기 위해서는 이 두 평가 지표가 높도록 학습 데이터, 파라미터들의 값을 선정하여야 한다.

본 논문에서도 학습 모델의 평가를 위하여 파라미터들의 다양한 값을 변경하면서 두 평가 지표의 값을 측정하였다. 표 3은 물체 인지 알고리즘에 대하여 본 논문에서의 학습 데이터로 학습한 모델에 대한 ‘Loss’와 ‘IoU’에 대하여 측정한 값이다. (a)는 Batch size는 128, Grid size는 9*16으로 고정하고 Iterations의 값으로 2500과 5000에 대하여 학습한 결과이다. 이 표의 결과로부터 알수 있듯이 Iterations가 클수록 더 좋은 Loss와 IoU를 얻을 수 있다. 그러나 Iterations가 일정 이상 커지면 학습 시간은 기하급수적으로 증가하나 Loss와 IoU는 거의 변하지 않는 것을 확인할 수 있었다. (b)는 Iterations를 5000으로 고정하고 Grid size를 9*16으로 고정한 상태에서 다양한 Batch size에 대한 평가이다. 표에서 볼 수 있듯이 Batch size가 커지면서 Loss는 낮아지고 있으나 IoU는 일정한 변화를 보이지 않는다. 당연히 Batch size가 커지면서 학습 시간은 기하급수적으로 증가한다. 마지막으로 표 (c)는 Grid size의 변화에 따른 성능 평가이다. 이 학습에서는 Iterations와 Batch size는 각각 5000, 128로 고정하였다. Grid size 7*12와 9*16은 이미지의 비율 1.8(=1080/1920)과 비슷한 비율을 적용하여 이미지의 왜곡을 최소화 한 것이다. 이 두 가지 경우를 비교하여 보면 Grid size가 증가함에 따라 성능이 매우 좋아짐을 알 수 있다. 반면 Grid size 12*12는 9*16과 비교할 때 이미지 조각은 144개로 같으나 이미지 왜곡이 발생하는 경우이다. 이 두 가지 경우 Loss는 비슷하나 IoU는 차이가 있다. 시험의 결과를 종합하여 보면 각 파라미터 값들은 가능하면 큰 값으로 정하는 게 좋다는 것을 알수 있다. 또한 Grid size를 정할 때는 이미지 비율을 고려하여 왜곡을 최소화하도록 정하여야 한다는 것을 알 수 있었다.

표 3. 다양한 파라미터 값에 따른 학습의 결과

Table 3. Training results according to values of parameters​​​​​​​

2. 프로토타입 앱에 의한 홀 컵 인지 측정

본 논문에서는 학습된 모델을 포함하는 간단한 응용프로그램을 개발하여 실제 골프장에서 개발된 앱을 사용하여 얼마나 홀 컵을 정확히 인지하는지를 실험하였다. 개발된 앱은 카메라로부터 촬영되는 이미지를 실시간으로 분석하여 홀 컵 여부를 표시하도록 하였다. 그림 5는 프로토타입으로부터 개발된 앱의 화면이다. 쉽게 추측할 수 있듯이 카메라를 통한 이미지를 실시간으로 분석되기 때문에 거리가 멀수록 홀 컵 인식이 쉽지 않을 것임을 예측할 수 있다. 표 4는 실제 골프장에서 측정한 거리별 홀컵 인식 여부를 측정한 결과이다.

그림 5. 홀 컵인 인지된 경우와 인지되지 못한 경우

Fig. 5. Cases where a hole cup is recognized and not recognized​​​​​​​

표 4. 프로토타입에 의한 홀 컵 인지 결과

Table 4. Results of hole cup detection by prototype​​​​​​​

표 4의 결과를 볼때 대체로 10m이 내의 경우에 퍼팅시 정 조준이 심각하므로 현재 학습된 모델로는 충분히 응용프로그램에 적용될 수 있음을 알 수 있다. 서서 촬영하는 경우보다, 앉아서 촬영하는 경우 인지가 더 어려운 것은 카메라의 각도에 의하여 홀 컵이 쉽게 나타나지 않기 때문이다.

Ⅴ. 결론

본 논문은 골프에서 퍼팅의 어려움을 완화하는 앱 개발에 필수 요소인 그린에서의 홀 컵을 인지하는 인공지능 모델을 개발하는 것이다. 개발된 모델을 이용하여 프로토타입을 개발하였으며 이를 이용하여 성능 측정을 하였다. 성능 측정 결과 일반적인 퍼팅 거리에서 홀 컵을 잘 인지함을 알 수 있었다.

개발된 모델을 프로토타입으로 실험한 경과 홀 컵을 인지하는 것에서 만족할만한 수준이나 홀 컵의 정확한 크기를 측정하기에는 부족하였다. 향후 연구로 홀 컵의 정확한 크기를 인지하도록 모델의 지능을 높여 응용프로그램에 직접 적용하는 것이다. 또한 본 논문에서 개발한 홀 컵 인지 모델을 활용하여 그린에서 퍼팅에 실질적인 도움을 줄 수 있는 앱을 개발하는 것이다.