DOI QR코드

DOI QR Code

A Study on Futsal Video Analysis System Using Object Tracking

객체 추적을 이용한 풋살 영상 분석 시스템에 관한 연구

  • 정하림 (한국산업기술대학교 컴퓨터공학부) ;
  • 권한길 (한국산업기술대학교 컴퓨터공학부) ;
  • 이길형 (한국산업기술대학교 컴퓨터공학부) ;
  • 정수경 (한국산업기술대학교 컴퓨터공학부) ;
  • 고동범 (한국산업기술대학교 스마트팩토리융합학과) ;
  • 전광일 (한국산업기술대학교 컴퓨터공학과) ;
  • 박정민 (한국산업기술대학교 컴퓨터공학과)
  • Received : 2021.03.23
  • Accepted : 2021.06.04
  • Published : 2021.06.30

Abstract

This paper introduces the futsal video analysis system consisting of an analysis program using object tracking technology and a web server that visualizes and provides analyzed data. In this paper, small and medium-sized organizations and amateur players are unable to provide game analysis services, so they propose a system that can solve this problem through this paper. Existing analytical systems use special devices or high-cost cameras, making them difficult for users to use. Thus, in this paper, a system is designed and developed to analyze the competitors' competitions and visualize the data using flat images only. Track an object and calculate the accumulated values to obtain the distance per pixel of the object and extract speed-related data and distance-based data based on it. Converts extracted data to graphs and images through a visualization library, making it convenient to use through web pages. Through this analysis system, we improve the problems of the existing analysis system and make data-based scientific and efficient analysis available.

본 논문에서는 객체 추적 기술을 이용한 분석 프로그램과 분석한 데이터를 시각화하여 제공하는 웹서버로 구성된 풋살 영상분석 시스템을 소개한다. 기존의 분석 시스템의 경우 특수한 장치나, 고비용의 카메라를 이용하기 때문에 사용자들이 쉽게 이용하기에 부담스럽다. 따라서 본 논문에서는 평면 영상만을 이용해 선수의 경기를 분석하여 데이터를 시각화하는 시스템을 설계하고 개발한다. 객체를 추적하며 누적된 값을 계산하여 객체의 픽셀당 거리를 구하고 이를 기반으로 속도 관련 데이터와 거리 기반 데이터를 추출한다. 추출된 데이터를 시각화 라이브러리를 통해 그래프와 이미지로 변환하고, 웹페이지를 통해 편리하게 이용할 수 있도록 한다. 본 분석 시스템을 통해 기존의 분석 시스템의 문제점을 개선하고 데이터 기반의 과학적이고 효율적인 분석을 이용할 수 있도록 한다.

Keywords

Ⅰ. 서론

최근 딥러닝, 인공지능, 빅데이터를 활용한 첨단 기술이 등장함에 따라 4차 산업혁명에 관심 또한 증가하는 추세이다. 이러한 4차 산업혁명 기술과 여러 분야가 결합하는 형태로 기술이 발전하고 있다[1]. 융합된 기술 중 빅데이터를 활용하는 데이터 사이언스와 스포츠가 만나 데이터를 기반으로 하는 스포츠 사이언스로 발전하고 있다[2][3]. 예를 들어, 독일의 분데스리가의 경우 전문 분석관과 함께 분석 프로그램을 사용하여 선수와 팀 모두에게 과학적이고 효율적인 피드백 방법을 사용하고 있다.

데이터를 이용한 분석 시스템은 축구뿐만 아니라 농구, 야구 등 다양한 스포츠 산업에서도 사용하고 있다. 그러나 작은 중소단체나, 비인기 종목, 아마추어 팀과 같이 재정적으로 부족한 경우 분석관을 고용하거나 분석 서비스의 도움을 받지 못하고 있다.

분데스리가, K-리그에서 사용하고 있는 분석 서비스인 “Bepro 11”의 경우 약 500만원에서 5,000만원 상당의 연간 사용료가 필요하므로 아마추어나 동호인 수준의 작은 단체에서는 분석 서비스를 이용하기 어렵다. 비교적 저렴한 GPS 장치를 이용한 분석 서비스의 경우 선수당 약 15만 원의 장치를 선수별로 구매하여 착용해야 한다. 금전적으로 비교적 저렴하지만, 선수들이 경기에서 직접 착용해야 하므로 움직임에 불편함을 느낄 수 있다. 이러한 금전적 문제와 활동력에 대한 문제를 해결하기 위해서는 간편하고 저렴한 장치를 이용하여 분석할 수 있는 서비스가 중소단체의 팀이나 아마추어 선수들에게 필요하다.

국내 축구와 풋살의 시장 규모는 5,000억 원으로 점차 증가하는 추세이다[4]. 유럽의 축구 시장은 약 32조 원으로 큰 규모를 차지하고 있다. 하지만 큰 시장에도 불구하고 아마추어나 동호인들에게 제공되는 서비스는 매우 부족한 실정이다.

따라서 본 논문에서는 드론을 활용한 평면 영상을 이용하여 경기를 분석하여 웹으로 분석한 데이터를 제공하는 분석 서비스를 제안하고 기존의 장치와 비교하여 정확성과 효율성을 검증한다[5].

본 논문의 구성은 다음과 같다. 2장에서는 기존의 분석 서비스의 사례와 분석 프로그램에 필요한 관련 기술을 소개하고 3장에서는 분석 시스템의 프로세스와 구조를 설명한다. 4장에서는 분석 시스템 소개 및 평가를 진행하고 5장에서 결론으로 본 논문의 마무리를 맺는다.

Ⅱ. 관련연구

1. GPS 기반 선수 분석 시스템

GPS 장치를 이용한 분석 시스템은 선수가 직접 특수한 장치를 신체 부위에 부착하거나 의류에 착용하여 현재 위치를 위성으로 파악하는 방식이다. 이 경우 착용자의 위치를 정확하게 파악하여 거리를 측정하기에는 좋으나[6], 경기중 선수가 불편함을 느낄 수 있는 단점이 존재한다. 팀 전체를 분석하기 위해서는 팀에 소속된 모든 선수가 이러한 장치를 착용해야 하므로 불편함 문제와 비용적인 문제로 아마추어 선수들이 사용하기 어렵다.

2. 고정 카메라 기반 선수 분석 시스템

고정 카메라를 사용한 선수 분석 시스템의 경우 여러 대의 카메라를 이용해 직사각형의 경기장을 사각지대 없이 촬영하여 영상을 스티칭하여 하나의 파노라마 영상으로 만들어서 분석한다[7]. 파노라마 영상을 이용하기 때문에 이동하는 선수를 경기장 시작부터 끝까지 이동하더라도 놓치지 않는다는 장점이 존재한다. 하지만 고정 카메라의 경우 사전에 설치된 경기장에서만 사용할 수 있으며, 원정과 같이 경기장을 이동할 때 고정된 카메라를 이용하지 못하는 단점이 존재한다. 또한, 측면에서 촬영하기에 선수가 볼 경합을 하는 등 겹치는 경우가 발생하면 분석할 때 분석할 대상을 놓칠 수 있다. 고정식 카메라의 경우 설치비용과 고가의 카메라 그리고 번거로운 스티칭 과정을 거쳐 분석하기 때문에 요구 비용이 높아 일반 아마추어나 동호회에서는 사용하기 어렵다[8].

3. Object Tracking

Object Tracking은 컴퓨터 비전의 주요기술 중 하나로 일련의 영상 프레임 내 객체의 모양이나 크기, 색상 같은 해당 객체의 특징적 정보 간의 유사도를 활용하여 위치가 변화하는 객체를 추적하기 위해 사용한다[9]. 주로 질병 식별, 산업 검사, 교통 통제, 증강 현실 등의 여러 분야에서 활용되고 있다. 현재 사용되고 있는 Tracker는 MOSSE, KCF, CSRT, MedianFlow가 있다. 그 중 CSRT 트래커는 공간 신뢰도의 개념을 도입하고 추적 과정에 따라 필터를 업데이트하는 알고리즘으로 관심 영역 (Region Of Interest)으로 지정한 객체에 가중치를 매핑해 객체를 추적한다. 관심영역 기반 트래커는 먼저 객체 추적을 위해 공간 신뢰도 맵을 구축하여 관심 영역 안의 필터 작동 범위를 제한함으로써 불규칙한 모양의 객체에 대한 추적 신뢰성을 높인다. 이후 관심영역에서 제한된 영역 내부에 가중치를 부여하여 배경의 영향을 감소시키고 이전 채널들에서 산정한 가중치를 곱해 객체의 위치를 추정한다[10]. 비록 다른 Tracker에 비해 FPS(Frame Per Second)가 느린 편이지만 프레임당 평균 25ms 이상의 처리 속도를 지니고 불규칙한 모양의 객체를 안정적으로 추적할 수 있다는 장점이 있다[11]. 본 논문에서는 이 CSRT 트래커를 활용하여 선수 객체의 활동량이나 활동반경 등의 데이터를 추출한다.

4. OpenCV

OpenCV(Open Source Computer Vision Library)는 실시간 이미지 프로세싱에 목적을 둔 오픈소스 컴퓨터 비전 및 머신러닝 라이브러리이다[11]. OpenCV에는 이미지 프로세싱을 위한 약 2500종류의 알고리즘이 정의되어 있고 기본적 이미지 출력 및 처리와 최신 컴퓨터 비전 기술, 머신러닝 알고리즘[12] 등이 포함되어 있다.

크로스 플랫폼을 지향하여 Window, Linux, Android, iOS 등 다양한 운영체제를 지원하고 C언어를 기반으로 만들어졌지만 C++, Python 등 다양한 언어에서 활용할 수 있다. 또한, 모듈식으로 구성되어 한 패키지에 여러 라이브러리가 포함되어 있는데 이미지 처리 모듈, 비디오 분석 모듈, 객체 감지 모듈, HighGUI 모듈, Video I/O 모듈 등 다양한 모듈들을 활용할 수 있다[13].

본 논문에서는 동영상의 이미지에서 원하는 결과를 추출 및 분석할 수 있도록 OpenCV 라이브러리를 활용하였으며 매트릭스 연산과 시각화를 위한 Matplotlib, Scipy 라이브러리를 함께 사용하기 위해 Python 언어를 기반으로 OpenCV를 사용한다.

Ⅲ. 시스템 프로세스 및 구조

본 장에서는 선수 객체를 추적하여 분석하는 시스템프로세스와 구조를 설명한다.

1. 시스템 프로세스

본 절에서는 경기 영상을 분석하여 이를 시각화 데이터로 제공하기 위한 분석 단계와 시각화 데이터를 Web 으로 제공하는 정보 제공 단계를 정의한다. 영상 경로부터 분석 그리고 시각화 데이터로 변환까지의 과정을 1) 영상 입력 및 초기 정보 입력, 2) 관심영역 지정, 3) 선수 좌표 추적 및 저장, 4) 거리와 속도 추정치 계산, 5) 선수추적을 표시, 6) 데이터베이스에 분석결과 저장의 6단계 프로세스로 설명한다. 그림1은 이러한 6단계의 프로세스를 나타낸다.

OTNBBE_2021_v21n3_201_f0001.png 이미지

그림 1. 분석 프로그램의 시스템 프로세스

Fig. 1. System process of analysis program

Step 1: Input data

경기 영상을 위한 비디오 파일의 경로를 GUI를 이용해 입력받는다. 영상을 불러온 후 분석에 필요한 정보를 입력한다. 경기장 크기, 선수의 이름, 포메이션과 같은 정보 데이터를 입력하고 나면 영상 처리 속도 향상을 위해 영상 크기를 재조정한다. 이때 선형 보간법을 활용하여 적절한 크기로 영상을 전처리한다.

Step 2: Select ROI

선수 식별 및 추적을 위해 분석할 선수 객체의 위치를 마우스를 이용한 Drag&drop을 통해 사각형 형태로 지정한다. 지정한 관심영역은 Region Of Interest(ROI)로 할당된다. 그림2와 표1은 관심영역 지정을 위해 사용하는 파라미터를 나타낸다. 경기장을 좌표평면화 하여 측정하는데, 드론 영상은 왜곡으로 인해 완벽한 직사각형이 아니므로 4개의 corner를 기준으로 선수 위치 보정을 해야하지만 추적하는 객체의 개수가 늘어날 수록 계산량이 많아져 실시간 분석에 적합하지 않다. 따라서 본 논문에서는 왼쪽 위 corner를 기준으로 시작좌표를 (x, y)로 지정하고 영역의 폭은 w(Width)와 영역의 높이는 h(Height)로 둔다. 실제 선수의 위치는 관심영역의 중앙을 뜻하는 (A, B) 좌표가 된다.

OTNBBE_2021_v21n3_201_f0002.png 이미지

그림 2. 관심영역 지정방식

Fig. 2. Region of interest designation method

표 1. 관심영역 지정에 사용된 파라미터

Table 1. Parameters used to specify the region of interest

OTNBBE_2021_v21n3_201_t0001.png 이미지

Step 3: Object Tracking

관심영역(ROI)과 영상 스트림을 입력받아 프레임마다 CSRT Tracker를 활용하여 이미지에서 선수의 위치를 식별 및 검출하여 좌표를 추출한다. 이동경로, 활동반경 히트맵 생성을 위해 좌표를 스트링 데이터로 변환하여 파일에 누적하고 저장한다.

Step 4: Process Data

경기장의 실제 크기와 영상의 경기장 픽셀 크기 간의 격차를 가중치 계산을 통해 최소화시킨다. 시간에 따라 변화하는 선수의 좌표를 통해 선수의 이동 거리를 측정하고 그것을 기반으로 최고 속도, 평균 속도, 속도 비율, 소모 칼로리 등 다양한 데이터를 분석하여 출력한다.

영상에서의 뛴 거리를 통해 실제 뛴 거리를 구하기 위해서는 영상 픽셀에서의 선수 이동 거리를 보정하여 실제 풋살 경기장에서 뛴 거리를 측정해야 한다. 그림 3은 시스템에서 보정한 영상 프레임과 실제 풋살 경기장의 크기를 비교한 것이다.

OTNBBE_2021_v21n3_201_f0003.png 이미지

그림 3. 경기장 크기를 이용한 가중치 계산 알고리즘

Fig. 3. Weight calculation algorithm using stadium size

영상에서의 뛴 거리를 통해 실제 뛴 거리를 구하기 위한 가중치를 산출하기 위해 먼저 실제 영상 해상도인 width와 height를 조정하여 가로길이를 1000픽셀, 세로 길이를 z로 맞춰준다(식 1). 이후 실제 풋살장의 크기 (cm)를 이미지의 해상도 크기(pixel)로 나누어 한 픽셀이 실제로 어느 정도의 거리인지를 뜻하는 가중치를 계산한다(식 2). 식 1과 식 2는 이러한 작업을 수식으로 나타낸 것이다.

\(z=\frac{h e i g h t^{*} 1000}{w i d t h}\)          (1)

\(\text { width_weight }=\frac{x}{1000} \text { height weight }=\frac{y}{z}\)         (2)

그림 4는 그림 3에서 계산한 가중치를 기반으로 선수가 뛴 거리를 누적하여 실제 추정 거리로 변환하는 과정을 나타낸다.

OTNBBE_2021_v21n3_201_f0004.png 이미지

그림 4. 실제 추정거리를 계산하기 위한 알고리즘

Fig. 4. Algorithm for calculating the actual estimated distance

먼저 영상분석으로 누적된 선수의 좌표를 통해 영상에서 선수의 이동 거리를 뜻하는 이전 픽셀과 현재 픽셀 간의 차이 값을 구한다. 계산에는 유클리디안 거리 측정 공식을 이용하여 x축의 변화량인 a와 y축의 변화량인 b를 통해 실제 이동 거리인 c를 구해준다(식 3). 이러한 이동 거리 계산의 각 x축, y축 변화량에 앞서 계산한 가중치를 곱하여 실체 추정 거리인 C값을 계산한다[식 4].

\(c=\sqrt{a^{2} \times b^{2}}\)          (3)

\(C=\sqrt{\left(\text { width_weight }^{*} a\right)^{2}+\left(\text { height }_{-} w \operatorname{eigh} t^{*} b\right)^{2}}\)          (4)

Step 5: Visualize Data

추적하는 선수의 좌표를 통해 선수의 해당 위치를 쉽게 확인할 수 있도록 경기장 이미지를 배경으로 선수 객체를 원 형태의 심볼로 표시한다. 선수의 이동경로를 2 초 단위로 경기장 이미지 위에 표시해주어 객체의 진행 방향을 알 수 있도록 한다. 선수의 순간 속도를 꺾은 선 그래프로 표시하고, 속도에 따른 움직임 비율은 원그래프로 표현한다. 또한, 누적된 선수의 좌표를 바탕으로 밀집도를 계산하여 선수의 움직임이 밀집된 구역을 표현하는 활동반경 히트맵 이미지를 생성한다.

그림 5는 히트맵 이미지를 생성하기 위한 중간 과정으로 경기장 전체를 평면 좌표계로 표현하였다. 선수의 주요활동 좌표를 점으로 표현한 후 커널밀도추정을 통해 점이 밀집되어있는 선수가 주로 활동한 영역을 특정하였다.

OTNBBE_2021_v21n3_201_f0005.png 이미지

그림 5. 히트맵 생성 과정

Fig. 5. Heat map creation process

Step 6: Store result

분석된 경기 데이터를 Mysql 데이터베이스에 저장하고 활동반경 히트맵, 이동경로 이미지 같은 경우 Base64 형식으로 인코딩하여 데이터베이스에 저장한다.

2. 시스템 아키텍처

본 논문의 시스템 구조는 크게 분석 프로그램과 웹 서버, 데이터베이스로 구성되어 있다. 분석 프로그램의 경우 사용자가 제공하는 경기 영상을 입력받아 전처리한다. 전처리 된 영상을 이용하여 선수의 움직임을 분석하고 데이터베이스에 전송한다.

웹서버는 분석된 데이터를 사용자들이 간편하게 이용할 수 있도록 하고, 분석된 데이터를 그래프와 도표처럼 알아보기 쉬운 시각화 자료로 변화하여 제공하는 서비스를 제공한다.

데이터베이스는 분석된 데이터들과 웹서버를 통해 서비스를 이용하는 사용자들의 정보를 관리하고 분석 프로그램과 웹서버의 데이터 중간 매개체 역할을 한다. 그림 6은 이러한 시스템의 전체적인 구조를 나타낸다.

OTNBBE_2021_v21n3_201_f0006.png 이미지

그림 6. 시스템 구조도

Fig. 6. System Architecture

가. 사용자

사용자는 분석 시스템을 이용하기 위한 데이터를 제공한다. 분석에 필요한 영상을 촬영할 드론 및 카메라와 경기 영상 그리고 분석 서비스를 이용하기 위한 웹서버로 구성된다.

∙영상 촬영

드론 또는 고정식 카메라를 이용하여 풋살 경기 영상을 촬영한다. 상공에서 촬영한 평면 영상을 이용하게 되면 선수가 겹치는 상황에서도 빠르고 정확하게 분석할 수 있다.

∙경기 영상

분석할 대상이 직접 뛴 경기를 촬영하여 평면 영상으로 생성한다. 촬영된 영상을 이용하여 데이터를 분석하고 시각화한다.

∙웹서버

분석된 데이터를 편리하고 쉽게 이용할 수 있도록 제공하는 서비스이다. 분석된 데이터를 시각화하여 이용할 수 있게 변환하여 제공한다.

나. 분석 프로그램

분석 프로그램은 사용자로부터 제공된 영상을 분석한다. 사용자로부터 데이터를 영상 데이터를 입력받는 데이터 수신 모듈과 제공된 영상을 분석하는 데이터 분석 모듈 그리고 데이터베이스에 분석된 데이터를 전송하는 데이터 송신 모듈로 구성된다.

∙데이터 수신 모듈

분석할 영상의 경로를 GUI(Graphical User Interface)를사용하여 지정한다. 영상 데이터를 입력받고 나면 전처리 과정을 통해 분석할 대상의 정보와 위치 데이터를 입력받는다.

∙데이터 분석 모듈

데이터 수신 모듈의 입력을 바탕으로 경기 영상을 프레임마다 선수 객체의 위치를 추적하고 좌표를 파일에 기록한다. 기록된 파일을 이용해 뛴 거리, 속도 관련 데이터, 활동반경 히트맵, 선수의 이동경로, 경기중 소모한 칼로리와 같은 데이터로 변환하고 분석한다.

∙데이터 송신 모듈

분석이 완료된 데이터를 Amazon Web Service에 있는 MySQL 데이터베이스로 전송한다.

다. 웹서버

분석된 데이터를 편리하게 이용할 수 있도록 하는 웹서버는 데이터베이스와 연동하여 사용자의 데이터를 불러오는 로그인 모듈과 감독과 선수에 따른 인터페이스를 제공하는 유저 인터페이스 모듈 그리고 데이터베이스에 저장된 분석된 데이터를 시각화 데이터로 변환해주는 데이터 시각화 모듈로 구성된다.

∙로그인 모듈

웹서버를 이용하는 사용자 로그인 기능을 수행하는 모듈이다. 감독 또는 선수로 선택하여 로그인할 수 있도록 하고 데이터베이스로부터 가입할 때 입력한 회원 정보를 불러오는 기능을 수행한다.

∙유저 인터페이스 모듈

로그인한 사용자의 직책에 따라 유저 인터페이스를 다르게 제공한다. 선수의 경우 자신의 데이터와 팀원 간의 비교 데이터, 경기 일정, 감독의 팀 피드백 기능을 이용할 수 있다. 감독의 경우 모든 선수 데이터와 팀원 간 비교 데이터, 경기 일정, 선수 피드백 입력, 포지션별 활동반경 비교 기능을 이용할 수 있다.

∙데이터 시각화 모듈

HighChart API를 활용하여 분석된 경기 영상의 데이터를 그래프로 시각화한다. 선수당 분석 데이터를 같은 그래프와 도표를 이용하여 제공하여 팀 내 소속된 선수의 지표를 한눈에 파악할 수 있도록 한다.

라. 데이터베이스

데이터베이스는 분석된 경기 영상의 데이터를 관리하는 경기 분석 테이블과 웹서버를 이용하는 사용자의 회원 정보를 관리하는 테이블 그리고 선수 이동경로와 활동반경 히트맵과 같은 이미지 파일을 Base64 형태로 저장하는 이미지 데이터 테이블로 구성된다.

∙경기 데이터 테이블

뛴 거리, 속도 관련 데이터, 시간별 이동 거리, 움직인 비율과 같은 분석된 데이터를 저장하고 관리하는 테이블이다.

∙사용자 정보 테이블

소속 팀, 포지션, 키, 몸무게 등 회원가입을 통해 입력된 데이터를 저장하고 관리하는 테이블이다.

∙이미지 데이터 테이블

Base64 형태로 인코딩된 이동경로, 활동반경 히트맵과 같은 이미지 데이터를 저장하고 관리하는 테이블이다.

Ⅳ. 실험 및 결과

본 장에서는 풋살 영상분석 프로그램과 분석결과를 시각화하여 사용자에게 제공하는 웹 서비스의 데모를 설명하고 영상을 통한 분석의 정확도를 파악하기 위해 GPS 장치를 통해 측정한 활동 경로 및 뛴 거리 데이터와 분석프로그램에서 도출된 데이터를 비교한다.

∙분석 프로그램

분석 프로그램에서는 관심영역을 입력받아 일련의 영상 프레임에서 CSRT Tracker를 통해 관심영역 내 선수객체의 위치를 추적하며 분석과정을 시각화하여 보여준다.

그림 7은 경기를 분석하는 과정에서 선수의 위치를 한 명씩 관심영역으로 지정해주는 과정이다. 그림 8은 분석과정에서 누적되는 선수의 속도 값을 통해 시간에 따른 선수의 속도 변화량을 꺾은 선 그래프로 표현하고 누적된 속도의 비율을 원그래프로 표현한 것이다.

OTNBBE_2021_v21n3_201_f0007.png 이미지

그림 7. 관심영역 지정 과정

Fig. 7. Region of Interest selection process

OTNBBE_2021_v21n3_201_f0008.png 이미지

그림 8. 선수의 속도 데이터 시각화

Fig. 8. Visualization of futsal player speed data

∙웹 서비스

웹 서비스에서는 분석 프로그램을 통해 입력되는 뛴 거리, 속도 관련 데이터, 소모 칼로리, 활동반경 이미지 등의 데이터를 입력받은 후 HighChartAPI를 통해 사용자에게 시각화된 그래프 데이터들을 제공한다.

그림9는 사용자에게 제공되는 다양한 시각화 그래프들이다. 경기 내 자신의 데이터를 확인할 수 있고 또한 막대 그래프를 통해 같은 팀에 속한 인원들과 순위를 비교해 볼 수 있다.

OTNBBE_2021_v21n3_201_f0009.png 이미지

그림 9. 웹을 통한 선수 데이터 시각화

Fig. 9. Visualization of player data using web

∙성능 평가

본 시스템의 성능을 평가하기 위해 영상분석을 통해 도출된 움직인 거리, 평균 속도, 이동경로 등의 결과 데이터를 GPS 센서장치의 계측데이터와 비교하여 정확도를 측정하였다.

그림 10, 11은 본 논문에서 소개하는 영상분석 프로그램으로 경기 내 선수를 추적하며 위치 좌표를 누적하여 데이터를 선수의 이동경로와 활동반경 히트맵을 이미지로 표현한 것이고 그림 12 는 선수가 GPS 계측 장치를 착용하고 경기를 진행하여 도출한 위성에서 측정한 선수의 이동경로이다.

OTNBBE_2021_v21n3_201_f0010.png 이미지

그림 10. 영상분석을 통한 선수 이동경로

Fig. 10. Player movement path through image analysis

OTNBBE_2021_v21n3_201_f0012.png 이미지

그림 11. 영상분석을 통한 선수 히트맵

Fig. 11. futsal player heat map through image analysis

OTNBBE_2021_v21n3_201_f0013.png 이미지

그림 12. GPS 계측 장치를 통한 이동 경로 데이터

Fig. 12. Movement route data through GPS measuring device

그림 13과 표 2는 정확도를 수치로 분석하기 위한 데이터이다. 그림 13는 GPS 계측장치를 통해 선수의 움직임 데이터를 나타낸 것이고 표 2는 영상분석을 통하여 선수의 움직임 데이터와 GPS 계측장치로 분석한 데이터를 비교하여 정확도를 측정한 것이다. 그림 13의 움직임데이터 중 평균 페이스는 1km를 이동하는 데 걸리는 시간으로 평균속도로 환산하면 3.4km/h가 된다. 프로그램으로 측정한 이동거리, 평균속도, 칼로리 소모량는 각각 264m, 3.4km/h, 17.7cal이고 GPS 기기로 측정한 이동 거리, 평균속도, 칼로리 소모량은 각각 270m, 3.3km/h, 18cal로 각각의 측정 수치 모두 97% 이상의 정확도를 보인다.

OTNBBE_2021_v21n3_201_f0011.png 이미지

그림 13. GPS 계측장치를 통한 선수 움직임 데이터

Fig. 13. Player movement data through GPS measuring device

표 2. 분석지표 비교

Table 2. Parameters used to specify the region of interest

OTNBBE_2021_v21n3_201_t0002.png 이미지

Ⅴ. 결론

본 논문에서는 프로와 아마추어 모두 사용할 수 있는 분석 시스템을 제안하였다. 드론으로 촬영한 평면 영상을 이용하여 선수의 움직임을 분석하여 뛴 거리, 경기 내 움직임 비율, 속도 관련 데이터, 경기 내 누적 이동경로, 선수의 경기 내 활동반경 히트맵 등 다양한 데이터를 제공한다. 분석 시스템은 크게 선수의 경기 움직임을 분석하는 분석 프로그램과 분석된 데이터를 시각화하여 사용자에게 제공하는 웹서버로 구성된다.

분석 프로그램은 선수들을 Region Of Interest(ROI) 를 설정하여 분석 대상을 추적하며 분석 대상의 움직임을 다양한 데이터로 분석하고 데이터베이스 분석된 데이터를 전송한다.

웹서버는 분석 프로그램을 통해 분석된 선수의 데이터를 데이터베이스에서 불러와 HighChart API를 이용해 그래프와 도표로 사용자에게 편리하고 쉽게 이용할 수 있도록 한다.

실험 및 구현의 결과로 신체 활동에 제약을 주는 특수한 장치나 고가의 장치 없이 평면 영상을 이용한 분석을 가능하게 하며 분석 데이터를 이용하여 데이터 사이언스와 스포츠 사이언스 분야에서 더 효율적이고 과학적인 데이터를 이용할 수 있다는 것을 보였다.

그러나 이미 촬영된 영상을 토대로 선수 데이터를 분석하기 때문에 선수 및 전술 교체 등 실시간 전략 수립 및 대처가 어렵다. 따라서 향후 연구로 실시간 영상을 토대로 경기 내용을 평가하고 실시간 전략을 제안하는 연구를 진행할 예정이다.

References

  1. Najafzadeh. N, Fotouhi. M, Kasaei. S, "Multiple soccer players tracking", In 2015 The International Symposium on Artificial Intelligence and Signal Processing (AISP), June 2015 DOI: https://doi.org/10.1109/aisp.2015.7123503
  2. Rein. R, Memmert. D, "Big data and tactical analysis in elite soccer: future challenges and opportunities for sports science", SpringerPlus 5, Aug 2016 DOI: https://doi.org/10.1186/s40064-016-3108-2
  3. Memmert .D, Rein .R, "Match Analysis, Big Data and Tactics: Current Trends in Elite Soccer", Dtsch Z Sportmed, Vol. 69, pp. 65-72, Feb 2018 DOI: https://doi.org/10.5960/dzsm.2018.322
  4. Yeong-Hyeon Choi, Kyu-Hye Lee, "Analysis of Football Fans' Uniform Consumption: Before and After Son Heung-Min's Transfer to Tottenham Hotspur FC", Journal of Intelligence and Information Systems Vol.26 No.3, pp. 91-108 , Sep 2020 DOI: https://doi.org/10.13088/jiis.2020.26.3.091
  5. Hyongjun CHOI, "Differences of measurement tools based on the positioning data for the performance analysis of soccer", The Korean Journal of Measurement and Evaluation in Physical Education and Sports Science Vol.21 No.2, pp. 1 - 9, Jun 2019 https://doi.org/10.21797/ksme.2019.21.2.001
  6. Alessio Rossi, Enrico Perri, et al., "GPS Data Reflect Players' Internal Load in Soccer", In 2017 IEEE International Conference on Data Mining Workshops (ICDMW), Nov 2017 DOI: https://doi.org/10.1109/icdmw.2017.122
  7. Quanlu Wei, Songyang Lao, et al., "Panorama Stitching, Moving Object Detection and Tracking in UAV Videos", In 2017 International Conference on Vision, Image and Signal Processing (ICVISP), Sep 2017 DOI: https://doi.org/10.1109/icvisp.2017.13
  8. Yuri Nishikawa, Hitoshi Sato, Jun Ozawa, "Multiple sports player tracking system based on graph optimization using low-cost cameras", In 2018 IEEE International Conference on Consumer Electronics (ICCE), Jan 2018 DOI: https://doi.org/10.1109/icce.2018.8326126
  9. Wonjun Kim, "Multiple object tracking in soccer videos using topographic surface analysis", Journal of Visual Communication and Image Representation, Vol. 65, Dec 2019 DOI: https://doi.org/10.1016/j.jvcir.2019.102683
  10. Kwan-Joong Kim, "A study for object recognition based on location information", Journal of the Korea Academia-Industrial cooperation Society, Vol. 14, No. 4, pp. 1988-1992, Apr 2013 DOI : https://doi.org/10.5762/KAIS.2013.14.4.1988
  11. Adnan Brdjanin, Nadja Dardagan, et al., "Single Object Trackers in OpenCV: A Benchmark", In 2020 International Conference on INnovations in Intelligent SysTems and Applications(INISTA), Aug 2020 DOI: http://doi.org/10.1109/inista49547.2020.9194647
  12. Gwon-dong Lee , Juhyoung Maeng , Seokil Song ,"Mobility Mode Classification Method for Trajectory Data Using CNN", Journal of KIIT. Vol. 17, No. 12, pp.13-20, Dec. 31. 2019 DOI: https://doi.org/10.14801/jkiit.2019.17.12.13
  13. Sang-Gu Lee, "An Object Tracking Method for Studio Cameras by OpenCV-based Python Program", The International Promotion Agency of Culture Technology, The journal of Convergence on Culture Technology (JCCT), Vol.4 No.1, pp. 291-298, 2018 DOI: https://dx.doi.org/10.17864/JCCT.2018.4.1.291