• 제목/요약/키워드: 인공신경망 알고리즘

검색결과 500건 처리시간 0.025초

Extra Tree와 ANN을 활용한 이상 탐지 및 공격 유형 분류 메커니즘 (Anomaly detection and attack type classification mechanism using Extra Tree and ANN)

  • 김민규;한명묵
    • 인터넷정보학회논문지
    • /
    • 제23권5호
    • /
    • pp.79-85
    • /
    • 2022
  • 이상 탐지는 일반적인 사용자들의 데이터 집합 속에서 비정상적인 데이터 흐름을 파악하여 미리 차단하는 방법이다. 기존에 알려진 방식은 이미 알려진 공격의 시그니처를 활용하여 시그니처 기반으로 공격을 탐지 및 방어하는 방식인데, 이는 오탐율이 낮다는 장점이 있지만 제로 데이 취약점 공격이나 변형된 공격에 대해서는 매우 취약하다는 점이 문제점이다. 하지만 이상 탐지의 경우엔 오탐율이 높다는 단점이 존재하지만 제로 데이 취약점 공격이나 변형된 공격에 대해서도 식별하여 탐지 및 차단할 수 있다는 장점이 있어 관련 연구들이 활발해지고 있는 중이다. 본 연구에서는 이 중 이상 탐지 메커니즘에 대해 다뤘다. 앞서 말한 단점인 높은 오탐율을 보완하며 그와 더불어 이상 탐지와 분류를 동시에 수행하는 새로운 메커니즘을 제안한다. 본 연구에서는 여러 알고리즘의 특성을 고려하여 5가지의 구성으로 실험을 진행하였다. 그 결과로 가장 우수한 정확도를 보이는 모델을 본 연구의 결과로 제안하였다. Extra Tree와 Three layer ANN을 동시에 적용하여 공격 여부를 탐지한 후 공격을 분류된 데이터에 대해서는 Extra Tree를 활용하여 공격 유형을 분류하게 된다. 본 연구에서는 NSL-KDD 데이터 세트에 대해서 검증을 진행하였으며, Accuracy는 Normal, Dos, Probe, U2R, R2L에 대하여 각각 99.8%, 99.1%, 98.9%, 98.7%, 97.9%의 결과를 보였다. 본 구성은 다른 모델에 비해 우수한 성능을 보였다.

상처와 주름이 있는 지문 판별에 효율적인 심층 학습 비교연구 (A Comparative Study on the Effective Deep Learning for Fingerprint Recognition with Scar and Wrinkle)

  • 김준섭;림빈 보니카;성낙준;홍민
    • 인터넷정보학회논문지
    • /
    • 제21권4호
    • /
    • pp.17-23
    • /
    • 2020
  • 인간의 특성과 관련된 측정 항목을 나타내는 생체정보는 도난이나 분실의 염려가 없으므로 높은 신뢰성을 가진 보안 기술로서 큰 주목을 받고 있다. 이러한 생체정보 중 지문은 본인 인증, 신원 파악 등의 분야에 주로 사용된다. 신원을 파악할 때 지문 이미지에 인증을 수행하기 어려운 상처, 주름, 습기 등의 문제가 있을 경우, 지문 전문가가 전처리단계를 통해 직접 지문에 어떠한 문제가 있는지 파악하고 문제에 맞는 영상처리 알고리즘을 적용해 문제를 해결한다. 이때 지문에 상처와 주름이 있는 지문 영상을 판별해주는 인공지능 소프트웨어를 구현하면 손쉽게 상처나 주름의 여부를 확인할 수 있고, 알맞은 알고리즘을 선정해 쉽게 지문 이미지를 개선할 수 있다. 본 연구에서는 이러한 인공지능 소프트웨어의 개발을 위해 캄보디아 왕립대학교의 학생 1,010명, Sokoto 오픈 데이터셋 600명, 국내 학생 98명의 모든 손가락 지문을 취득해 총 17,080개의 지문 데이터베이스를 구축했다. 구축한 데이터베이스에서 상처나 주름이 있는 경우를 판별하기 위해 기준을 확립하고 전문가의 검증을 거쳐 데이터 어노테이션을 진행했다. 트레이닝 데이터셋과 테스트 데이터셋은 캄보디아의 데이터, Sokoto 데이터로 구성하였으며 비율을 8:2로 설정했다. 그리고 국내 학생 98명의 데이터를 검증 데이터 셋으로 설정했다, 구성된 데이터셋을 사용해 Classic CNN, AlexNet, VGG-16, Resnet50, Yolo v3 등의 다섯 가지 CNN 기반 아키텍처를 구현해 학습을 진행했으며 지문의 상처와 주름 판독에서 가장 좋은 성능을 보이는 모델을 찾는 연구를 수행했다. 다섯가지 아키텍처 중 지문 영상에서 상처와 주름 여부를 가장 잘 판별할 수 있는 아키텍처는 ResNet50으로 검증 결과 81.51%로 가장 좋은 성능을 보였다.

ANN 및 SVR 알고리즘을 활용한 최적 터널지보패턴 선정에 관한 연구 (A study on the optimization of tunnel support patterns using ANN and SVR algorithms)

  • 이제겸;김양균;이승원
    • 한국터널지하공간학회 논문집
    • /
    • 제24권6호
    • /
    • pp.617-628
    • /
    • 2022
  • 터널 건설 시 암반 등급에 따라 다양한 지보재를 적절히 병용하여 지보패턴을 결정하고 시공이 이루어진다. 이 과정에서 시공 경험이 풍부한 전문가의 기술적 판단이 필요한데, 터널 설계의 초기 단계인 타당성 조사 및 기본설계 단계에는 상대적으로 짧은 수행기간과 부족한 자료 및 예산으로 인해 설계에 많은 어려움이 존재한다. 터널 건설의 급증과 함께 축적된 설계 데이터와 머신러닝을 활용한다면, 지보패턴 설계를 보다 신속하고 신뢰도 있게 수행할 수 있다. 따라서 본 연구에서는 암반등급 판정 및 해당 암반등급에 적합한 지보패턴 설계를 자동화하고자 국내 48개 도로터널의 설계자료 및 지반조사 자료를 수집하였으며, 8개의 입력항목(암종, 전기비저항, 심도, 터널연장, 터널연장에 따른 방재등급, 위험도지수에 따른 방재등급, 터널 종류, 터널 단면적)과 11개의 출력항목(암반등급, 숏크리트 제원 2개 항목, 록볼트 제원 3개 항목, 강지보 제원 3개 항목, 콘크리트 라이닝 2개 항목)에 대한 데이터를 정리하였다. 이와 같이 정리된 데이터를 활용하여 2가지 머신러닝 알고리즘(SVM, ANN)을 활용하여 3가지 머신러닝 모델(S1, A1, A2)을 개발하였으며, 세 가지 모델의 성능을 비교해본 결과 출력값의 데이터 형식에 따라 서로 다른 손실함수를 적용한 ANN 기반의 A2 모델이 가장 뛰어난 성능을 보였다. 본 연구를 통해 머신러닝을 활용한 지보패턴 설계의 가능성을 확인할 수 있었으며, 향후 지속적으로 실제 설계에 사용함으로써 단점을 보완하고 적용성을 개선해 나간다면 설계에 보다 큰 도움을 줄 수 있는 지보패턴 설계 모델을 개발할 수 있을 것으로 기대된다.

네트워크 중심성 척도가 추천 성능에 미치는 영향에 대한 연구 (A Study on the Effect of Network Centralities on Recommendation Performance)

  • 이동원
    • 지능정보연구
    • /
    • 제27권1호
    • /
    • pp.23-46
    • /
    • 2021
  • 개인화 추천에서 많이 사용되는 협업 필터링은 고객들의 구매이력을 기반으로 유사고객을 찾아 상품을 추천할 수 있는 매우 유용한 기법으로 인식되고 있다. 그러나, 전통적인 협업 필터링 기법은 사용자 간에 직접적인 연결과 공통적인 특징을 기반으로 유사도를 계산하는 방식으로 인해 신규 고객 혹은 상품에 대해 유사도를 계산하기 힘들다는 문제가 제기되어 왔다. 이를 극복하기 위하여, 다른 기법을 함께 사용하는 하이브리드 기법이 고안되기도 하였다. 이런 노력의 하나로서, 사회연결망의 구조적 특성을 적용하여 이런 문제를 해결하려는 시도가 있었다. 이는, 직접적으로 유사성을 찾기 힘든 사용자 간에도 둘 사이에 놓인 유사한 사용자 또는 사용자들을 통해 유추해내는 방식으로 상호 간의 유사성을 계산하는 방식을 적용한 것이다. 즉, 구매 데이터를 기반으로 사용자의 네트워크를 생성하고 이 네트워크 내에서 두 사용자를 간접적으로 이어주는 네트워크의 특성을 기반으로 둘 사이의 유사도를 계산하는 것이다. 이렇게 얻은 유사도는 추천대상 고객이 상품의 추천에 대한 수락여부를 결정하는 척도로 활용될 수 있다. 서로 다른 중심성 척도는 추천성과에 미치는 영향이 서로 다를 수 있다는 점에서 중요한 의미를 갖는다 할 수 있다. 이런 유사도의 계산을 위해서 네트워크의 중심성을 활용할 수 있다. 본 연구에서는 여기서 더 나아가 이런 중심성이 추천성과에 미치는 영향이 추천 알고리즘에 따라서도 다를 수 있다는 데에서 주목하여 수행되었다. 또한, 이런 네트워크 분석을 활용한 추천기법은 신규 고객 혹은 상품뿐만 아니라 전체 고객 혹은 상품으로 그 대상을 넓히더라도 추천 성능을 높이는 데 기여할 것을 기대할 수 있을 것이다. 이런 관점에서 본 연구는 네트워크 모형에서 연결선이 생성되는 것을 이진 분류의 문제로 보고, 추천 모형에 적용할 분류 기법으로 의사결정나무, K-최근접이웃법, 로지스틱 회귀분석, 인공신경망, 서포트 벡터 머신을 선택하고, 온라인 쇼핑몰에서 4년2개월간 수집된 구매 데이터로 실험을 진행하였다. 사회연결망에서 측정된 중심성 척도를 각 분류 기법에 적용하여 생성한 모형을 비교 실험한 결과, 각 모형 별로 중심성 척도의 추천성공률이 서로 다르게 나타남을 확인할 수 있었다.

AdaBoost 알고리즘기반 SVM을 이용한 부실 확률분포 기반의 기업신용평가 (Corporate Credit Rating based on Bankruptcy Probability Using AdaBoost Algorithm-based Support Vector Machine)

  • 신택수;홍태호
    • 지능정보연구
    • /
    • 제17권3호
    • /
    • pp.25-41
    • /
    • 2011
  • 최근 몇 년간 SVM(support vector machines)기법은 패턴인식 또는 분류의사결정문제를 위한 분석기법으로서 기존의 데이터마이닝 기법과 비교할 때, 매우 높은 성과를 갖는 것으로 인식되어 왔다. 더 나아나 많은 연구자들은 SVM기법이 1980년대 이후 대표적인 예측 및 분류모형으로 인정받은 인공신경망기법(ANNs : Artificial Neural Networks)에 비해 더 성과가 좋다는 사실을 실증적으로 입증해 왔다(Amendolia et al., 2003; Huang et al., 2004, Huang et al., 2005; Tay and Cao, 2001; Min and Lee, 2005; Shin et al., 2005; Kim, 2003). 일반적으로 이와 같이 다양한 데이터마이닝 기법에 의해 분석되는 이진분류 또는 다분류 의사결정문제들은 특히 금융분야 등에 있어서 오분류비용에 민감하며, 이로 인한 오분류의 경제적 손실도 상대적으로 매우 크다고 할 수 있다. 따라서 기업부도예측모형과 같은 이진분류모형의 결과값을, 부도확률에 기초하여 정교하게 계산된 사후확률의 개념으로서 다분류의 신용등급평가의 문제로 변환할 필요가 있다. 그러나, SVM 모형의 결과값은 기본적으로 그와 같은 부도확률분포를 보여주지 않는다. 따라서, 그러한 확률분포를 정교하게 보여줄 방법을 제시할 필요가 있다(Platt, 1999; Drish, 2001). 본 연구는 AdaBoost 알고리즘기반의 SVM 모형을 이용하여, 이진분류모형으로서 IT 기업의 부실예측모형에 적용한 후, 이 SVM 모형의 예측결과를 SVM의 손실함수에 적용하여 계산된 값을 사후부도확률의 정규분포 특성에 따라 이를 구간화하여 IT기업에 대한 다분류 신용등급 평가의 문제로 전환시키는 방법을 제시하였다. 그리고 본 연구에서 제안하는 방법은 이러한 AdaBoost 알고리즘기반 SVM 모형이 각 기업이 고유한 신용위험(부도확률)을 갖고 있다는 조건하에서, 신용등급부여를 위한 부도확률분포 구간을 정교하게 조정함으로써 오분류 문제를 좀 더 줄일 수 있음을 제시하였다.

입력변수 및 학습사례 선정을 동시에 최적화하는 GA-MSVM 기반 주가지수 추세 예측 모형에 관한 연구 (A Study on the Prediction Model of Stock Price Index Trend based on GA-MSVM that Simultaneously Optimizes Feature and Instance Selection)

  • 이종식;안현철
    • 지능정보연구
    • /
    • 제23권4호
    • /
    • pp.147-168
    • /
    • 2017
  • 오래 전부터 학계에서는 정확한 주식 시장의 예측에 대한 많은 연구가 진행되어 왔고 현재에도 다양한 기법을 응용한 예측모형들이 연구되고 있다. 특히 최근에는 딥러닝(Deep-Learning)을 포함한 다양한 기계학습기법(Machine Learning Methods)을 이용해 주가지수를 예측하려는 많은 시도들이 진행되고 있다. 전통적인 주식투자거래의 분석기법으로는 기본적 분석과 기술적 분석방법이 사용되지만 보다 단기적인 거래예측이나 통계학적, 수리적 기법을 응용하기에는 기술적 분석 방법이 보다 유용한 측면이 있다. 이러한 기술적 지표들을 이용하여 진행된 대부분의 연구는 미래시장의 (보통은 다음 거래일) 주가 등락을 이진분류-상승 또는 하락-하여 주가를 예측하는 모형을 연구한 것이다. 하지만 이러한 이진분류로는 추세를 예측하여 매매시그널을 파악하거나, 포트폴리오 리밸런싱(Portfolio Rebalancing)의 신호로 삼기에는 적합치 않은 측면이 많은 것 또한 사실이다. 이에 본 연구에서는 기존의 주가지수 예측방법인 이진 분류 (binary classification) 방법에서 주가지수 추세를 (상승추세, 박스권, 하락추세) 다분류 (multiple classification) 체계로 확장하여 주가지수 추세를 예측하고자 한다. 이러한 다 분류 문제 해결을 위해 기존에 사용하던 통계적 방법인 다항로지스틱 회귀분석(Multinomial Logistic Regression Analysis, MLOGIT)이나 다중판별분석(Multiple Discriminant Analysis, MDA) 또는 인공신경망(Artificial Neural Networks, ANN)과 같은 기법보다는 예측성과의 우수성이 입증된 다분류 Support Vector Machines(Multiclass SVM, MSVM)을 사용하고, 이 모델의 성능을 향상시키기 위한 래퍼(wrapper)로서 유전자 알고리즘(Genetic Algorithm)을 이용한 최적화 모델을 제안한다. 특히 GA-MSVM으로 명명된 본 연구의 제안 모형에서는 MSVM의 커널함수 매개변수, 그리고 최적의 입력변수 선택(feature selection) 뿐만이 아니라 학습사례 선택(instance selection)까지 최적화하여 모델의 성능을 극대화 하도록 설계하였다. 제안 모형의 성능을 검증하기 위해 국내주식시장의 실제 데이터를 적용해본 결과 ANN이나 CBR, MLOGIT, MDA와 같은 기존 데이터마이닝 기법들이나 인공지능 알고리즘은 물론 현재까지 가장 우수한 예측 성과를 나타내는 것으로 알려져 있던 전통적인 다분류 SVM 보다도 제안 모형이 보다 우수한 예측성과를 보임을 확인할 수 있었다. 특히 주가지수 추세 예측에 있어서 학습사례의 선택이 매우 중요한 역할을 하는 것으로 확인 되었으며, 모델의 성능의 개선효과에 다른 요인보다 중요한 요소임을 확인할 수 있었다.

M&W 파동 패턴과 유전자 알고리즘을 이용한 주식 매매 시스템 개발 (Development of a Stock Trading System Using M & W Wave Patterns and Genetic Algorithms)

  • 양훈석;김선웅;최흥식
    • 지능정보연구
    • /
    • 제25권1호
    • /
    • pp.63-83
    • /
    • 2019
  • 투자자들은 기업의 내재가치 분석, 기술적 보조지표 분석 등 복잡한 분석보다 차트(chart)에 나타난 그래프(graph)의 모양으로 매매 시점을 찾는 직관적인 방법을 더 선호하는 편이다. 하지만 패턴(pattern) 분석 기법은 IT 구현의 난이도 때문에 사용자들의 요구에 비해 전산화가 덜 된 분야로 여겨진다. 최근에는 인공지능(artificial intelligence, AI) 분야에서 신경망을 비롯한 다양한 기계학습(machine learning) 기법을 사용하여 주가의 패턴을 연구하는 사례가 많아졌다. 특히 IT 기술의 발전으로 방대한 차트 데이터를 분석하여 주가 예측력이 높은 패턴을 발굴하는 것이 예전보다 쉬워졌다. 지금까지의 성과로 볼 때 가격의 단기 예측력은 높아졌지만, 장기 예측력은 한계가 있어서 장기 투자보다 단타 매매에서 활용되는 수준이다. 이외에 과거 기술력으로 인식하지 못했던 패턴을 기계적으로 정확하게 찾아내는 데 초점을 맞춘 연구도 있지만 찾아진 패턴이 매매에 적합한지 아닌지는 별개의 문제이기 때문에 실용적인 부분에서 취약할 수 있다. 본 연구는 주가 예측력이 있는 패턴을 찾으려는 기존 연구 방법과 달리 패턴들을 먼저 정의해 놓고 확률기반으로 선택해서 매매하는 방법을 제안한다. 5개의 전환점으로 정의한 Merrill(1980)의 M&W 파동 패턴은 32가지의 패턴으로 시장 국면 대부분을 설명할 수 있다. 전환점만으로 패턴을 분류하기 때문에 패턴 인식의 정확도를 높이기 위해 드는 비용을 줄일 수 있다. 32개 패턴으로 만들 수 있는 조합의 수는 전수 테스트가 불가능한 수준이다. 그래서 최적화 문제와 관련한 연구들에서 가장 많이 사용되고 있는 인공지능 알고리즘(algorithm) 중 하나인 유전자 알고리즘(genetic algorithm, GA)을 이용하였다. 그리고 미래의 주가가 과거를 반영한다 해도 같게 움직이지 않기 때문에 전진 분석(walk-forward analysis, WFA)방법을 적용하여 과최적화(overfitting)의 실수를 줄이도록 하였다. 20종목씩 6개의 포트폴리오(portfolio)를 구성하여 테스트해 본 결과에 따르면 패턴 매매에서 가격 변동성이 어느 정도 수반되어야 하며 패턴이 진행 중일 때보다 패턴이 완성된 후에 진입, 청산하는 것이 효과적임을 확인하였다.

이질성 학습을 통한 문서 분류의 정확성 향상 기법 (Improving the Accuracy of Document Classification by Learning Heterogeneity)

  • 윌리엄;현윤진;김남규
    • 지능정보연구
    • /
    • 제24권3호
    • /
    • pp.21-44
    • /
    • 2018
  • 최근 인터넷 기술의 발전과 함께 스마트 기기가 대중화됨에 따라 방대한 양의 텍스트 데이터가 쏟아져 나오고 있으며, 이러한 텍스트 데이터는 뉴스, 블로그, 소셜미디어 등 다양한 미디어 매체를 통해 생산 및 유통되고 있다. 이처럼 손쉽게 방대한 양의 정보를 획득할 수 있게 됨에 따라 보다 효율적으로 문서를 관리하기 위한 문서 분류의 필요성이 급증하였다. 문서 분류는 텍스트 문서를 둘 이상의 카테고리 혹은 클래스로 정의하여 분류하는 것을 의미하며, K-근접 이웃(K-Nearest Neighbor), 나이브 베이지안 알고리즘(Naïve Bayes Algorithm), SVM(Support Vector Machine), 의사결정나무(Decision Tree), 인공신경망(Artificial Neural Network) 등 다양한 기술들이 문서 분류에 활용되고 있다. 특히, 문서 분류는 문맥에 사용된 단어 및 문서 분류를 위해 추출된 형질에 따라 분류 모델의 성능이 달라질 뿐만 아니라, 문서 분류기 구축에 사용된 학습데이터의 질에 따라 문서 분류의 성능이 크게 좌우된다. 하지만 현실세계에서 사용되는 대부분의 데이터는 많은 노이즈(Noise)를 포함하고 있으며, 이러한 데이터의 학습을 통해 생성된 분류 모형은 노이즈의 정도에 따라 정확도 측면의 성능이 영향을 받게 된다. 이에 본 연구에서는 노이즈를 인위적으로 삽입하여 문서 분류기의 견고성을 강화하고 이를 통해 분류의 정확도를 향상시킬 수 있는 방안을 제안하고자 한다. 즉, 분류의 대상이 되는 원 문서와 전혀 다른 특징을 갖는 이질적인 데이터소스로부터 추출한 형질을 원 문서에 일종의 노이즈의 형태로 삽입하여 이질성 학습을 수행하고, 도출된 분류 규칙 중 문서 분류기의 정확도 향상에 기여하는 분류 규칙만을 추출하여 적용하는 방식의 규칙 선별 기반의 앙상블 준지도학습을 제안함으로써 문서 분류의 성능을 향상시키고자 한다.

고객 맞춤형 서비스를 위한 관객 행동 기반 감정예측모형 (The Audience Behavior-based Emotion Prediction Model for Personalized Service)

  • 유은정;안현철;김재경
    • 지능정보연구
    • /
    • 제19권2호
    • /
    • pp.73-85
    • /
    • 2013
  • 정보기술의 비약적 발전에 힘입어, 오늘날 기업들은 지금까지 축적한 고객 데이터를 기반으로 맞춤형 서비스를 제공하는 것에 많은 관심을 가지고 있다. 고객에게 소구하는 맞춤형 서비스를 효과적으로 제공하기 위해서는 우선 그 고객이 처한 상태나 상황을 정확하게 인지하는 것이 중요하다. 특히, 고객에게 서비스가 전달되는 이른바 진실의 순간에 해당 고객의 감정 상태를 정확히 인지할 수 있다면, 기업은 더 양질의 맞춤형 서비스를 제공할 수 있을 것이다. 이와 관련하여 사람의 얼굴과 행동을 이용하여 사람의 감정을 판단하고 개인화 서비스를 제공하기 위한 연구가 활발하게 이루어지고 있다. 얼굴 표정을 통해 사람의 감정을 판단하는 연구는 좀 더 미세하고 확실한 변화를 통해 정확하게 감정을 판단할 수 있지만, 장비와 환경의 제약으로 실제 환경에서 다수의 관객을 대상으로 사용하기에는 다소 어려움이 있다. 이에 본 연구에서는 Plutchik의 감정 분류 체계를 기반으로 사람들의 행동을 통해 감정을 추론해내는 모형을 개발하는 것을 목표로 한다. 본 연구는 콘텐츠에 의해 유발된 사람들의 감정적인 변화를 사람들의 행동 변화를 통해 판단하고 예측하는 모형을 개발하고, 4가지 감정 별 행동 특징을 추출하여 각 감정에 따라 최적화된 예측 모형을 구축하는 것을 목표로 한다. 모형 구축을 위해 사람들에게 적절한 감정 자극영상을 제공하고 그 신체 반응을 수집하였으며, 사람들의 신체 영역을 나누었다. 특히, 모션캡쳐 분야에서 널리 쓰이는 차영상 기법을 적용하여 사람들의 제스쳐를 추출 및 보정하였다. 이후 전처리 과정을 통해 데이터의 타임프레임 셋을 20, 30, 40 프레임의 3가지로 설정하고, 데이터를 학습용, 테스트용, 검증용으로 구분하여 인공신경망 모형을 통해 학습시키고 성과를 평가하였다. 다수의 일반인들을 대상으로 수집된 데이터를 이용하여 제안 모형을 구축하고 평가한 결과, 프레임셋에 따라 예측 성과가 변화함을 알 수 있었다. 감정 별 최적 예측 성과를 보이는 프레임을 확인할 수 있었는데, 이는 감정에 따라 감정의 표출 시간이 다르기 때문인 것으로 판단된다. 이는 행동에 기반한 제안된 감정예측모형이 감정에 따라 효과적으로 감정을 예측할 수 있으며, 실제 서비스 환경에서 사용할 수 있는 효과적인 알고리즘이 될 수 있을 것으로 기대할 수 있다.

Word2Vec을 활용한 제품군별 시장규모 추정 방법에 관한 연구 (A Study on Market Size Estimation Method by Product Group Using Word2Vec Algorithm)

  • 정예림;김지희;유형선
    • 지능정보연구
    • /
    • 제26권1호
    • /
    • pp.1-21
    • /
    • 2020
  • 인공지능 기술의 급속한 발전과 함께 빅데이터의 상당 부분을 차지하는 비정형 텍스트 데이터로부터 의미있는 정보를 추출하기 위한 다양한 연구들이 활발히 진행되고 있다. 비즈니스 인텔리전스 분야에서도 새로운 시장기회를 발굴하거나 기술사업화 주체의 합리적 의사결정을 돕기 위한 많은 연구들이 이뤄져 왔다. 본 연구에서는 기업의 성공적인 사업 추진을 위해 핵심적인 정보 중의 하나인 시장규모 정보를 도출함에 있어 기존에 제공되던 범위보다 세부적인 수준의 제품군별 시장규모 추정이 가능하고 자동화된 방법론을 제안하고자 한다. 이를 위해 신경망 기반의 시멘틱 단어 임베딩 모델인 Word2Vec 알고리즘을 적용하여 개별 기업의 생산제품에 대한 텍스트 데이터를 벡터 공간으로 임베딩하고, 제품명 간 코사인 거리(유사도)를 계산함으로써 특정한 제품명과 유사한 제품들을 추출한 뒤, 이들의 매출액 정보를 연산하여 자동으로 해당 제품군의 시장규모를 산출하는 알고리즘을 구현하였다. 실험 데이터로서 통계청의 경제총조사 마이크로데이터(약 34만 5천 건)를 이용하여 제품명 텍스트 데이터를 벡터화 하고, 한국표준산업분류 해설서의 산업분류 색인어를 기준으로 활용하여 코사인 거리 기반으로 유사한 제품명을 추출하였다. 이후 개별 기업의 제품 데이터에 연결된 매출액 정보를 기초로 추출된 제품들의 매출액을 합산함으로써 11,654개의 상세한 제품군별 시장규모를 추정하였다. 성능 검증을 위해 실제 집계된 통계청의 품목별 시장규모 수치와 비교한 결과 피어슨 상관계수가 0.513 수준으로 나타났다. 본 연구에서 제시한 모형은 의미 기반 임베딩 모델의 정확성 향상 및 제품군 추출 방식의 개선이 필요하나, 표본조사 또는 다수의 가정을 기반으로 하는 전통적인 시장규모 추정 방법의 한계를 뛰어넘어 텍스트 마이닝 및 기계학습 기법을 최초로 적용하여 시장규모 추정 방식을 지능화하였다는 점, 시장규모 산출범위를 사용 목적에 따라 쉽고 빠르게 조절할 수 있다는 점, 이를 통해 다양한 분야에서 수요가 높은 세부적인 제품군별 시장정보 도출이 가능하여 실무적인 활용성이 높다는 점에서 의의가 있다.