A Novel Data Prediction Model using Data Weights and Neural Network based on R for Meaning Analysis between Data

데이터간 의미 분석을 위한 R기반의 데이터 가중치 및 신경망기반의 데이터 예측 모형에 관한 연구

Abstract

All data created in BigData times is included potentially meaning and correlation in data. A variety of data during a day in all society sectors has become created and stored. Research areas in analysis and grasp meaning between data is proceeding briskly. Especially, accuracy of meaning prediction and data imbalance problem between data for analysis is part in course of something important in data analysis field. In this paper, we proposed data prediction model based on data weights and neural network using R for meaning analysis between data. Proposed data prediction model is composed of classification model and analysis model. Classification model is working as weights application of normal distribution and optimum independent variable selection of multiple regression analysis. Analysis model role is increased prediction accuracy of output variable through neural network. Performance evaluation result, we were confirmed superiority of prediction model so that performance of result prediction through primitive data was measured 87.475% by proposed data prediction model.

1. 서 론

지난 5년 동안 Twitter와 Facebook과 같은 소셜 네트워크 서비스가 급격히 성장하면서 소셜 네트워크 분석에 관련된 연구들도 많은 관심을 받고 있는 실정이다. 소셜 네트워크 성장은 다른 한편으론 데이터 생성이 기하급수적으로 늘어나고 있다는 반증이다. IDC(International Data Corporation)는 2011년 기준으로 지난 10년간 생성된 데이터 보다 최근 2년간 생성된 데이터의 양이 훨씬 많으며, 전 세계 디지털 정보량이 매 2년마다 2배씩 증가하고 있다고 발표했다. 특히 이전에 생성되던 정형화된 데이터와 다르게 관계형 데이터베이스로 처리할 수 없는 비정형 데이터의 생성이 늘어나는 특징을 나타내고 있다. 이러한 비정형 데이터를 분류 및 분석하는 빅데이터 분석 기술은 모든 사회 분야에서 중요성이 부각되고 있으며, 활발한 연구가 진행 중이다. 예를 들어[1-4,13], 2010년 튀니지 재스민혁명, 2011년 이집트 민주화 운동, 중동지역의 민주화 시위, 홍콩 민주화 시위에서 소셜 네트워크를 이용한 실시간 상황 전송과 이를 이용한 여론 형성은 상당한 파급효과를 초래하였다. 언론사와 사회 분석가들은 새롭게 생성되는 소셜 데이터를 기반으로 시위 상황 예측할 수 있었다.

빅데이터를 활용한 특정 분야의 예측 분석은 모든 학문 분야에서 주요 관심 사항으로 부각되고 있는 실정이다. 이러한 예측 분석은 데이터 분석(Data Analysis)을 기반으로 하고 있다. 데이터 분석은 인류가 문자를 저장한 이후로 데이터 분류를 위한 중요한 키워드로 인식되고 있다. 그러나 데이터 분석을 하기 위해서는 데이터 분류가 선행되어야 하지만 현재 데이터 분류 기술은 몇 가지의 문제점을 내포하고 있다. 그 중에서 특히 데이터 분류의 데이터 불균형은 아직도 해결되지 못한 연구 분야이다. 데이터 비교를 하기 위해 추출하는 표본 데이터 집단간의 크기는 일정하지 않다는 단점이 존재한다. 또한 현재 사회의 소셜 데이터를 분석하여 데이터간의 정보를 얻기 위해서는 기존의 정형화된 데이터 분석방법을 적용시키는 것으로 문제를 해결하기엔 한계가 존재하고 있다.

본 논문에서는 R[5]을 이용한 데이터 가중치 및 신경망 분석[14-15]기반의 데이터간의 의미 분석을 위한 데이터 예측 모델을 제안한다. 제안하는 데이터 분석 예측 모델은 분석을 위한 특정 표본 집단의 관측값을 클래스로 규정한다. 다량의 클래스 집단과 소량의 클래스 집단을 분석하기 위한 전처리 과정으로 각 집단의 데이터 정규분포를 기반으로 가중치값을 적용하며, 두 집단간의 가중치 적용 수치를 동등하게 하도록 샘플링 과정을 적용한다. 또한 가중치가 적용된 데이터를 기반으로 신경망분석을 적용하였고, 데이터간의 의미 분석과정을 포함한 데이터간 예측 모델을 제안한다.

본 논문의 구성은 다음과 같다. 2장에서 기존 연구된 빅데이터 분류, 분석 방법 및 신경망에 관한 연구를 제시하고 3장에서는 제안하는 R기반의 빅데이터 가중치 및 신경망을 활용한 빅데이터 분석의 예측 모형 설계를 제시한다. 4장에서는 데이터 예측 모형의 적용에 대한 실험 및 성능평가를 제시한다. 마지막으로 5장에서는 결론 및 향후 연구 방안으로 논문의 구성을 맺는다.

 

2. 관련연구

기존에 연구에서 진행되고 있는 빅데이터 분류, 분석 방법 및 신경망에 관한 연구를 제시한다. 빅데이터 분류 및 분석 방법의[6] 연구에서는 R을 활용하여 산업지식재산권에 대한 검색에 관한 모델을 제시 하였다. 텍스트 마이닝 기법을 활용하여 유사특허끼리의 클러스터링을 통한 후보군 도출과 그 후보군에서 키워드를 추출하였다. 연관 단어 추출을 통한 복합 명사 생성 과정을 거치도록 하였다. 제안된 모델을 통해 성능평가를 제시하여 위치기반이라는 키워드를 기반으로 약 7분 동안 6만건의 특허 데이터 중관련 키워드를 기반으로 약 200여개의 데이터를 추출하는 결과를 제시하였다.

신경망 분석을 위한[7] 연구에서는 기존 회귀분석과 달리 시계열분석과 인공신경망 모형을 이용하여 장래 해상교통량 예측 모형을 제안하였다. 시계열분석을 통한 예측값을 인공신경망 모형에 추가 입력변수로 적용하여 예측하는 시스템이다. 특히 해당 연구에서는 과거 자료의 추세를 단순히 반영한 회귀방법을 벗어난 시계열분석, 신경망분석, 시계열분석과 신경망분석으로 이루어진 3가지 예측 모델을 제시함으로써 해상교통량의 예측 정확성을 높였다.

초음파 검사를 기반으로 비파괴검사 방법을 사용하는 용접의 결함에 대한 패턴인식 알고리즘을 적용하여 결함의 예측을 프로세스를 제안하였다[8]. 결함 예측을 위하여 역전파 신경망과 확률 신경망의 두 가지 알고리즘을 적용하였고, 두 가지 알고리즘에 동일 변수를 적용하였다. 적용된 특징변수는 용접결함으로부터 반사된 시간영역 상의 전체 결함신호로부터 결함부분만을 분리한 신호파형을 사용하였고 적용 결과 확률 신경망에 비하여 역전파 신경망에 적용한 체적결함의 분류 안정도가 우수한 결과를 초래하였다. 그러나 해당 연구의 신경망 적용 예측은 입력 데이터에서 전체 결함신호가 아닌 부분 결함신호를 적용하여 데이터간의 결함성이 낮아 예측 결과에 대한 신뢰성이 부족한 결과를 초래하였다.

 

3. 제안하는 데이터간 의미 분석 및 예측 모델

3.1 데이터간 의미 분석 및 예측 모델의 구성도

본 논문에서 제안하는 모형은 두 가지로 구성된다. 원시 입력 데이터를 분류하기 위한 분류모델과 분류된 데이터의 의미 분석을 위한 분석모델로 구성 된다. Fig. 1은 제안하는 데이터간 의미 예측 모델 흐름도를 나타낸다.

Fig. 1.Flow Chart of Prediction Analysis Model.

분류모델은 데이터 가중치 분류(Classification)를 위하여 원시 데이터로부터 데이터셋(클래스)을 추출한다. 분석을 하기 위한 데이터의 전처리 과정은 데이터의 손실을 막고 통합적인 메타데이터 분류를 위해 임시 데이터베이스에 저장하게 된다. 학습 데이터 생성하기 위하여 데이터 가공 과정을 거치게 된다. 이를 위하여 데이터셋으로 추출된 클래스 표본 데이터 수치를 확인하고 비교 데이터간의 데이터 불균형을 보완하기 위하여 각 표본 데이터간의 정규분포 과정을 적용하게 된다. 정규분포 과정 후 적용된 데이터들은 언더 샘플링 및 오버 샘플링을 실시한다.

오버 샘플링은 데이터에 노이즈를 발생시킴으로써 기존의 데이터에서 값들이 일부 변한 새로운 데이터를 얻는 방법과 기존에 존재하는 데이터를 중복적으로 사용하여 데이터를 늘리는 방법이다[9]. 샘플링 과정을 거친 후 다중 회귀분석을 통하여 예측모델의 입력변수 선택을 위한 독립변수 및 종속변수를 추출하게 된다. 예측모델은 출력변수의 예측을 위하여 선형 분리 기반의 SLP(Single Layer Perceptron)과 다양한 변수를 분석할 수 있는 시그모이드 함수 기반의 MLP(Multi Layer Perceptron)을 예측모델에 포함하여 설계하였다. 인공 신경망의 학습 데이터 모델은 입력된 클래스 데이터의 분류 작업을 위한 퍼셉트론 훈련 알고리즘을 3단계로 적용하였으며, 초기화-> 활성화->반복 단계를 거치게 된다. 마지막으로 반복 학습을 통해 최종적인 데이터간의 의미 분석인 예측 모형의 결과를 출력하게 된다.

3.2 다중 회귀분석기반의 분류모델

분류 모델은 데이터 가중치 분류(Classification)를 위하여 원시 데이터로부터 데이터셋(클래스)을 추출한다. 분류모델은 의미 분석을 위한 클래스간의 정규분포(Normal Distribution)을 활용하여 검증한다. 데이터간의 비교 기준이 되는 클래스를 정규 분포식에 적용하여 최적의 데이터셋의 위치를 검출하고 데이터간의 불균형을 보완한다. 본 연구에서 적용되는 정규 분포식은 식 (1)과 같다. f(xlocation)는 정규 분포의 값으로 클래스간의 최적의 물리적인 위치를 나타내며, 파라미터 μ는 해당 클래스의 평균, σ는 해당 클래스의 표준편차를 적용한다.

다중 회귀분석 방법(Multiple Regression Analysis)을 적용하여 원시데이터의 데이터 분류에 대한 다량의 데이터셋 확보를 목표로 한다. 다중 회귀분석의 장점인 한 개의 독립변수를 사용하는 것보다 예측과 추정 능력을 높일 수 있다는 점과 두 변수의 관계뿐만 아니라 셋 혹은 그 이상의 변수들 사이에 관계도 동시에 파악할 수 있다는 장점을 활용하여 모델을 설계하였다[10]. 예측을 위한 변수의 수는 매우 다양하므로 본 연구에서 제안하는 예측 모델의 입력변수 (p)는 p ≥ 2 이상으로 설계할 경우 분류모델의 다중 회귀분석 모형은 수식 (2)과 같다. Yi는 분석모델을 위한 출력변수를 나타내며, xi는 샘플링된 입력변수 벡터이다. αi는 서로 독립적인 오차항으로 평균이 0이고 분산이 σ2이다. β0,β1,...,βp는 분류를 위한 원시 데이터의 회귀계수이다.

수식 (2)를 활용하여 분석을 위한 훈련 자료의 학습 데이터 생성은 최소제곱 추정치를 이용한 수식 (3)과 같다. 최소제곱 추정치를 통해 생성되는 분류 모델의 변수는 모형요약에 나타나는 R은 독립변수와 종속변수간의 상관관계를 나타낸다.

3.3 인공 신경망기반의 분석모델

분석모델은 다중 회귀분석을 통하여 원시데이터를 분류한 후 독립 변수를 추출하고 다중 회귀분석을 통해 도출된 결과변수를 입력변수로 설정하여 인공 신경망에 적용한다. 본 논문에서는 추출된 변수인 독립 변수 및 종속 변수의 각각 가중치와 선형결합의 입력노드 합인 은닉노드의 결합을 통한 분석모델 모형화를 설계한다. 식 (4)는 본 연구에서 제안한 분석 모델의 인공 신경망을 모형화한 식이다. 은닉노드값 zm 은 입력노드 값들의 선형결합이며, 출력값은 zm 들의 선형결합 tk 들의 함수이다. 또한 z = (z1,...,zm)T이며, t = (t1,...,tk)T 이다.

식 (4)를 통해 생성되는 인공 신경망 모델의 학습 데이터는, 식 (5)의 다층 퍼셉트론을 통해 예측을 위한 변수의 인공 신경망 학습 규칙이다. wi(p)는 이전 학습량이며, α는 학습률이고, e(p)는 오차율이다.

 

4. 실험 및 성능평가

4.1 실험환경

4.1.1 실험 데이터

지난 2014년 10월 이슈화된 SNS 사이버망명[11]의 타당성 검토와 앞으로의 사이버망명 예측을 위하여 본 연구에서 제안한 데이터간의 의미 분석 및 예측 모델을 적용한다. 실험에 사용되는 데이터는 2014년 월별(1월~12월)로 국내·외 특정 SNS의 인지도를 조사하였다. 데이터셋은 384개의 설문조사를 사용하였다. 2014년 월별(1월~12월)로 특정 SNS 탈퇴자의 설문조사 97개를 활용하였다. 자세한 데이터 구성의 일부는 Fig. 2에 제시하였다. Fig. 2는 특정 SNS (Kakao, Telegram, Line, Facebook, MyPeople, Tictoc, Tumblr, Instagram, Twiter)의 인지도를 무작위로 일부 출력한 부분이다.

Fig. 2.The Sample of data.

4.1.2 실험 분석

본 연구논문의 실험을 위해 2개의 설문조사의 의미 분석을 위하여 SNS 인지도에 따른 특정 SNS 탈퇴 후 변화를 예측하고자한다. 이를 위해 연구문제는 2가지로 구분한다. 연구가설은 1) 특정 SNS 탈퇴 후 SNS 가입 예측 및 검증 2) 특정 SNS(Kakao) 탈퇴후 특정 SNS(Telegram) 가입 예측 및 검증으로 해당 실험가설을 분석하였고, 예측가설로는 특정 SNS(Kakao) 탈퇴 후 해외 서버기반의 SNS 가입률이 증가하는 부분에 대하여 검증 및 분석결과를 제시한다. 실험 데이터 처리를 위한 툴(Tool)은 R을 활용하였다.

제안한 예측 모형실험을 위한 분류 및 분석 방법으로는 nortest, lm, nnet, ggplot2 패키지를 활용하여 데이터 가중치 적용을 위한 다중 회귀분석, 데이터간 분석을 위한 인공 신경망 분석을 처리하였고, 분석결과를 그래프로 나타냈다. Fig. 3은 제안하는 데이터간 의미 분석 및 예측 모델의 알고리즘이다.

Fig. 3.Algorithm of Experiment(Proposal Prediction Model).

4.2 다중 회귀분석을 이용한 분류모델

4.2.1 데이터 가중치를 이용한 변수 구분

특정 SNS(Kakao)의 문제점 지적 후 사이버망명이 증가하는 상황을 분석하고 예측하는 모델을 위한 데이터 분류 단계인 다중 회귀분석에서는 독립변수와 종속변수를 추출해야 한다. 본 실험에 적용된 설문조사는 특정 SNS의 인지도와 특정 SNS 탈퇴자의 탈퇴 후 가입여부이다. 데이터셋 활용은 각각 384개와 97개를 활용하였다. 설문조사 데이터간의 불균형을 처리하기 위하여 데이터 가중치 적용인 정규분포를 적용하며, 정규분포 결과 F-검정을 통해 유의수준이 0.05이상인 날짜(month)로 4월~12월까지의 9개 클래스를 기준으로 설정한다. 또한 각 클래스별 15건의 데이터 샘플링을 설정한 후 데이터 가중치가 적용된 변수 선정 시 독립변수는 인지도 설문조사의 각점수(Kakao, Telegram, Line, Facebook, MyPeople, Tictoc, Tumblr, Instagram, Twiter)이며, 독립변수에 대한 설명은 Table 1과 같으며, 종속변수 및 출력 변수는 타 SNS 가입률로 구분하였다.

Table 1.The Independent Variables of Data Classification

4.2.2 분류모델을 적용한 변수 선택

분석모델에 적용할 최종 입력변수의 선택을 위하여 다중 회귀분석의 독립변수 선택은 확률변수를 고려한 유의수준(p-Value) 0.05를 기준으로 처리한다. 이는 신뢰도 95%이상을 기준으로 유의수준이 0.05 이상일 경우 변수 선택의 신뢰도가 만족하지 못하는 결과를 초래할 수 있다. Table 2는 다중 회귀분석을 실시한 결과이며, 수정된 결정계수(Adjusted Rsquared)가 73.95%로 해당 자료의 설명이 가능하다. Table 2는 각 변수에 따른 추정값, 표준편차, t-값 및 p-값을 보여주고 있다. 해당 결과를 통하여 유의 수준이 0.05 이하인 독립변수 Telegram, Facebook, Tumblr, Instagram이 특정 SNS(Kakao) 탈퇴 후 가입이 증가하는 종속변수로 추출되었으며, 분류모델인 인공 신경망 모델의 입력변수로 적용된다. 이는 실험가설인 특정 SNS(Kakao) 탈퇴 후 해외 서버기반의 SNS 가입률이 증가하는 부분과 일치하는 것을 확인할 수 있었다.

Table 2.The Results of Multiple Regression Analysis

4.3 인공 신경망을 이용한 분석모델

분석모델 실험을 위하여 R기반의 인공 신경망을 구현하였다[12]. 1개의 입력층과 1개의 은닉층, 1개의 출력층으로 구성된 3계층 퍼셉트론 학습 알고리즘을 적용하였다. 분류모델을 통해 입력층에 입력되는 입력변수는 4개(Telegram, Facebook, Tumblr, Instagram)로 구성되며, 특정 SNS(Kakao) 탈퇴 후 다른 SNS에 재가입하는 비율을 출력값으로 사용한다. Fig. 4는 입력변수 훈련시키기 위한 신경망 모델 생성 결과이며, 본 논문에는 4개의 변수중 1개의 변수만 제시한다. Fig. 4(a)는 Telegram 입력변수의 생성을 위한 훈련 모델이며, 은닉층의 수는 2개, 데이터 훈련 횟수는 200번으로 설정하였다. Fig. 4(b)는 은닉층의 수를 3개, Fig. 4(c)는 은닉층의 수를 4개, Fig. 4(d)는 은닉층의 수를 5개로 설정하여 훈련 모델을 생성하였다.

Fig. 4.Analysis Model of Artificiality Neural Network (Telegram).

Fig. 5는 은닉층의 노드 수에 따른 SNS 재가입의 정확률을 측정하였다. 각 은닉층의 노드 수에 따른 훈련 횟수는 모두 200번으로 고정하였다. 은닉층을 평가하여 최적의 은닉층의 수가 4개일 때 가장 높은 정확성을 보여주었다. 본 논문에서는 최종적으로 SNS 가입률을 측정하기 위한 인공신경망의 입력층-은닉층-출력층의 구성은 3-4-1의 구조가 적용되었다.

Fig. 5.The Join Prediction Accuracy in accordance with hidden nodes.

4.4 적용된 예측 모델의 성능평가

제안한 데이터간의 의미 분석 및 예측 모델 실험을 위하여 현재 사회적 이슈가 되고 있는 SNS 사이버망명에 대한 성능평가를 실시하였다. 실험에 적용된 설문조사별 데이터는 384개, 97개의 데이터를 사용하였으며, 분류모델 적용을 위하여 정규분포 및 다중 회귀분석 방법을 활용하였다. 식 (6)은 예측 모델의 예측값에 대한 정밀도를 확인하기 위하여 RMSE (Root Mean Squared Error)이며, 결과는 Table 3과 같다.

Table 3.The Experiment Results of Prediction Model (Cyber Asylum Data)

실험 성능평가 결과 특정 SNS(Kakao) 탈퇴 시 Telegram, Facebook, Tumblr, Instagram으로 재가입하는 예측값은 평균 87.475%로 측정 되었으며, 그 중 Telegram의 변수로 재가입하는 확률이 89.2%로 가장 높게 측정되었으며, 예측값과 실제값의 차이를 표현하는 RMSE의 역시 0.8649로 값의 측정 차이가 거의 없는 효과를 도출하였다. 또한 특정 SNS(Kakao) 사용자가 다른 SNS의 재가입을 위한 데이터간 연관성은 Fig. 6과 같이 총 460가지의 연관성이 추출되었다. 특정 SNS(Kakao) 사용자는 x축의 0(2014.12)을 기준으로 x축의 6(2014.06)까지 Telegram의 인지도 변화를 확인할 수 있다. 특히 2014년 10월을 기준으로 Telegram을 낮게 평가한 사용자도 탈퇴 후 재가입의 사례가 발생한 결과를 확인할 수 있었다.

Fig. 6.Data Correlation for Meaning Analysis between Kakao and Telegram.

 

5. 결론 및 향후 연구

본 논문에서는 빠르게 생성되고 파생되는 빅데이터의 특정 데이터간 의미 분석과 인공 신경망기반의 예측모델을 제안하였다. 데이터 집단을 분석하기 위한 전처리 과정으로 각 데이터 집단의 데이터 정규분포를 기반으로 가중치값을 적용하고 두 집단간의 가중치 적용 수치를 동등하게 하도록 샘플링 과정을 적용하였다. 가중치가 적용된 데이터를 기반으로 다중 회귀분석 및 신경망분석을 적용한 데이터간의 의미 분석과정을 포함한 데이터 예측 모델을 제안하였다. 제안한 모델의 적합성을 확인하기 위해 설계한 예측모델에 SNS 사이버망명의 주제인 실험 데이터를 적용하여 모델의 성능을 평가하였다. 2개의 설문조사(SNS 인지도, Kakao 탈퇴) 데이터를 기반으로 데이터 분석을 위한 분류과정에서 정규분포에 따른 최적의 데이터셋의 위치를 확인하였다. 다중 회귀분석을 통하여 특정 SNS(Kakao) 탈퇴 후 SNS 가입률의 변화에 유의한 영향을 미치며, 분석모델에 적용할 입력변수 4개(Telegram, Facebook, Tumblr, Instagram)를 추출하였다. 각 입력변수는 기본 입력변수 (Kakao withdrawal survey : Date, Other Join)와 같이 인공신경망을 적용한 결과 특정 SNS(Kakao) 탈퇴 후 해외에 서버를 구축한 SNS 가입률이 증가하는 것을 확인하였다. 예측값은 평균 87.475%였지만 Telegram 가입의 출력변수는 은닉층을 4개로 하였을 경우, 89.2%가 출력되어 가장 우수한 성능을 보였다.

향후 연구로는 제안한 데이터간 의미 분석과 예측 모델의 실험 적용 데이터셋을 확장하여 제안한 모델의 우수성을 검증하고, 다른 클래스간의 가중치 적용과 샘플링의 과정을 좀 더 세분화하여 신뢰도 검증에 필요한 모델을 추가적으로 개발하는 것이 필요하다.