• 제목/요약/키워드: neural network

검색결과 11,665건 처리시간 0.033초

텍스트 마이닝을 이용한 감정 유발 요인 'Emotion Trigger'에 관한 연구 (A Study of 'Emotion Trigger' by Text Mining Techniques)

  • 안주영;배정환;한남기;송민
    • 지능정보연구
    • /
    • 제21권2호
    • /
    • pp.69-92
    • /
    • 2015
  • 최근 소셜 미디어의 사용이 폭발적으로 증가함에 따라 이용자가 직접 생성하는 방대한 데이터를 분석하기 위한 다양한 텍스트 마이닝(text mining) 기법들에 대한 연구가 활발히 이루어지고 있다. 이에 따라 텍스트 분석을 위한 알고리듬(algorithm)의 정확도와 수준 역시 높아지고 있으나, 특히 감성 분석(sentimental analysis)의 영역에서 언어의 문법적 요소만을 적용하는데 그쳐 화용론적 의미론적 요소를 고려하지 못한다는 한계를 지닌다. 본 연구는 이러한 한계를 보완하기 위해 기존의 알고리듬 보다 의미 자질을 폭 넓게 고려할 수 있는 Word2Vec 기법을 적용하였다. 또한 한국어 품사 중 형용사를 감정을 표현하는 '감정어휘'로 분류하고, Word2Vec 모델을 통해 추출된 감정어휘의 연관어 중 명사를 해당 감정을 유발하는 요인이라고 정의하여 이 전체 과정을 'Emotion Trigger'라 명명하였다. 본 연구는 사례 연구(case study)로 사회적 이슈가 된 세 직업군(교수, 검사, 의사)의 특정 사건들을 연구 대상으로 선정하고, 이 사건들에 대한 대중들의 인식에 대해 분석하고자 한다. 특정 사건들에 대한 일반 여론과 직접적으로 표출된 개인 의견 모두를 고려하기 위하여 뉴스(news), 블로그(blog), 트위터(twitter)를 데이터 수집 대상으로 선정하였고, 수집된 데이터는 유의미한 연구 결과를 보여줄 수 있을 정도로 그 규모가 크며, 추후 다양한 연구가 가능한 시계열(time series) 데이터이다. 본 연구의 의의는 키워드(keyword)간의 관계를 밝힘에 있어, 기존 감성 분석의 한계를 극복하기 위해 Word2Vec 기법을 적용하여 의미론적 요소를 결합했다는 점이다. 그 과정에서 감정을 유발하는 Emotion Trigger를 찾아낼 수 있었으며, 이는 사회적 이슈에 대한 일반 대중의 반응을 파악하고, 그 원인을 찾아 사회적 문제를 해결하는데 도움이 될 수 있을 것이다.

Word2Vec을 활용한 제품군별 시장규모 추정 방법에 관한 연구 (A Study on Market Size Estimation Method by Product Group Using Word2Vec Algorithm)

  • 정예림;김지희;유형선
    • 지능정보연구
    • /
    • 제26권1호
    • /
    • pp.1-21
    • /
    • 2020
  • 인공지능 기술의 급속한 발전과 함께 빅데이터의 상당 부분을 차지하는 비정형 텍스트 데이터로부터 의미있는 정보를 추출하기 위한 다양한 연구들이 활발히 진행되고 있다. 비즈니스 인텔리전스 분야에서도 새로운 시장기회를 발굴하거나 기술사업화 주체의 합리적 의사결정을 돕기 위한 많은 연구들이 이뤄져 왔다. 본 연구에서는 기업의 성공적인 사업 추진을 위해 핵심적인 정보 중의 하나인 시장규모 정보를 도출함에 있어 기존에 제공되던 범위보다 세부적인 수준의 제품군별 시장규모 추정이 가능하고 자동화된 방법론을 제안하고자 한다. 이를 위해 신경망 기반의 시멘틱 단어 임베딩 모델인 Word2Vec 알고리즘을 적용하여 개별 기업의 생산제품에 대한 텍스트 데이터를 벡터 공간으로 임베딩하고, 제품명 간 코사인 거리(유사도)를 계산함으로써 특정한 제품명과 유사한 제품들을 추출한 뒤, 이들의 매출액 정보를 연산하여 자동으로 해당 제품군의 시장규모를 산출하는 알고리즘을 구현하였다. 실험 데이터로서 통계청의 경제총조사 마이크로데이터(약 34만 5천 건)를 이용하여 제품명 텍스트 데이터를 벡터화 하고, 한국표준산업분류 해설서의 산업분류 색인어를 기준으로 활용하여 코사인 거리 기반으로 유사한 제품명을 추출하였다. 이후 개별 기업의 제품 데이터에 연결된 매출액 정보를 기초로 추출된 제품들의 매출액을 합산함으로써 11,654개의 상세한 제품군별 시장규모를 추정하였다. 성능 검증을 위해 실제 집계된 통계청의 품목별 시장규모 수치와 비교한 결과 피어슨 상관계수가 0.513 수준으로 나타났다. 본 연구에서 제시한 모형은 의미 기반 임베딩 모델의 정확성 향상 및 제품군 추출 방식의 개선이 필요하나, 표본조사 또는 다수의 가정을 기반으로 하는 전통적인 시장규모 추정 방법의 한계를 뛰어넘어 텍스트 마이닝 및 기계학습 기법을 최초로 적용하여 시장규모 추정 방식을 지능화하였다는 점, 시장규모 산출범위를 사용 목적에 따라 쉽고 빠르게 조절할 수 있다는 점, 이를 통해 다양한 분야에서 수요가 높은 세부적인 제품군별 시장정보 도출이 가능하여 실무적인 활용성이 높다는 점에서 의의가 있다.

R&D 기술 선정을 위한 시계열 특허 분석 기반 지능형 의사결정지원시스템 (An Intelligent Decision Support System for Selecting Promising Technologies for R&D based on Time-series Patent Analysis)

  • 이충석;이석주;최병구
    • 지능정보연구
    • /
    • 제18권3호
    • /
    • pp.79-96
    • /
    • 2012
  • 기술의 발전과 융합이 빠르게 이루어지고 있는 오늘날 유망기술을 어떻게 파악하여, 다양한 후보군들 중에서 최적의 R&D 대상을 어떻게 선정할 것인가에 대한 문제는 주요한 경영의사결정문제 중 하나로 부상하고 있다. 본 연구에서는 이러한 R&D 기술 선정 의사결정을 지원할 수 있는 새로운 지능형 의사결정지원시스템을 제안한다. 본 연구의 의사결정지원시스템은 크게 3가지 모듈로 구성되는데, 우선 첫 번째 모듈인 '기술가치 평가' 모듈에서는 기업이 관심을 갖고 있는 분야의 특허들을 분석하여 유망기술 파악에 요구되는 다양한 차원의 기술가치 평가지수 값들을 산출하는 작업이 이루어진다. 이를 통해, 현재 시점에서의 각 기술의 가치가 다양한 차원에서 평가가 이루어지고 나면, 두 번째 모듈인 '미래기술가치 예측' 모듈에서 이들의 시간 흐름에 따른 변화를 학습한 인공지능 모형을 토대로 각 후보기술들이 미래 시점에 어떤 가치지수값을 갖게 될 것인지 예측값을 산출하게 된다. 마지막 세 번째 모듈인 '최적 R&D 대상기술 선정 지원' 모듈에서는 앞서 두 번째 모듈에서 산출된 각 차원별 예상 가치지수값들을 적절히 가중합하여 기술의 종합적인 미래가치 예측값을 산출하여 의사결정자에게 제공하는 기능을 수행한다. 이를 통해 의사결정자가 자사에 적합한 최적의 R&D 대상기술을 선정할 수 있도록 하였다. 본 연구에서는 제안된 시스템의 적용 가능성을 검증하기 위해, 10년치 특허데이터에 인공신경망 기법을 적용하여 실제 기술가치 예측모형을 구축해 보고, 그 효과를 살펴본다.

불균형 데이터 집합의 분류를 위한 하이브리드 SVM 모델 (A Hybrid SVM Classifier for Imbalanced Data Sets)

  • 이재식;권종구
    • 지능정보연구
    • /
    • 제19권2호
    • /
    • pp.125-140
    • /
    • 2013
  • 어떤 클래스에 속한 레코드의 개수가 다른 클래스들에 속한 레코드의 개수보다 매우 많은 경우에, 이 데이터 집합을 '불균형 데이터 집합'이라고 한다. 데이터 분류에 사용되는 많은 기법들은 이러한 불균형 데이터에 대해서 저조한 성능을 보인다. 어떤 기법의 성능을 평가할 때에 적중률뿐만 아니라, 민감도와 특이도도 함께 측정하여야 한다. 고객의 이탈을 예측하는 문제에서 '유지' 레코드가 다수 클래스를 차지하고, '이탈' 레코드는 소수 클래스를 차지한다. 민감도는 실제로 '유지'인 레코드를 '유지'로 예측하는 비율이고, 특이도는 실제로 '이탈'인 레코드를 '이탈'로 예측하는 비율이다. 많은 데이터 마이닝 기법들이 불균형 데이터에 대해서 저조한 성능을 보이는 것은 바로 소수 클래스의 적중률인 특이도가 낮기 때문이다. 불균형 데이터 집합에 대처하는 과거 연구 중에는 소수 클래스를 Oversampling하여 균형 데이터 집합을 생성한 후에 데이터 마이닝 기법을 적용한 연구들이 있다. 이렇게 균형 데이터 집합을 생성하여 예측을 수행하면, 특이도는 다소 향상시킬 수 있으나 그 대신 민감도가 하락하게 된다. 본 연구에서는 민감도는 유지하면서 특이도를 향상시키는 모델을 개발하였다. 개발된 모델은 Support Vector Machine (SVM), 인공신경망(ANN) 그리고 의사결정나무 기법 등으로 구성된 하이브리드 모델로서, Hybrid SVM Model이라고 명명하였다. 구축과정 및 예측과정은 다음과 같다. 원래의 불균형 데이터 집합으로 SVM_I Model과 ANN_I Model을 구축한다. 불균형 데이터 집합으로부터 Oversampling을 하여 균형 데이터 집합을 생성하고, 이것으로 SVM_B Model을 구축한다. SVM_I Model은 민감도에서 우수하고, SVM_B Model은 특이도에서 우수하다. 입력 레코드에 대해서 SVM_I와 SVM_B가 동일한 예측치를 도출하면 그것을 최종 해로 결정한다. SVM_I와 SVM_B가 상이한 예측치를 도출한 레코드에 대해서는 ANN과 의사결정나무의 도움으로 판별 과정을 거쳐서 최종 해를 결정한다. 상이한 예측치를 도출한 레코드에 대해서는, ANN_I의 출력값을 입력속성으로, 실제 이탈 여부를 목표 속성으로 설정하여 의사결정나무 모델을 구축한다. 그 결과 다음과 같은 2개의 판별규칙을 얻었다. 'IF ANN_I output value < 0.285, THEN Final Solution = Retention' 그리고 'IF ANN_I output value ${\geq}0.285$, THEN Final Solution = Churn'이다. 제시되어 있는 규칙의 Threshold 값인 0.285는 본 연구에서 사용한 데이터에 최적화되어 도출된 값이다. 본 연구에서 제시하는 것은 Hybrid SVM Model의 구조이지 특정한 Threshold 값이 아니기 때문에 이 Threshold 값은 대상 데이터에 따라서 얼마든지 변할 수 있다. Hybrid SVM Model의 성능을 UCI Machine Learning Repository에서 제공하는 Churn 데이터 집합을 사용하여 평가하였다. Hybrid SVM Model의 적중률은 91.08%로서 SVM_I Model이나 SVM_B Model의 적중률보다 높았다. Hybrid SVM Model의 민감도는 95.02%이었고, 특이도는 69.24%이었다. SVM_I Model의 민감도는 94.65%이었고, SVM_B Model의 특이도는 67.00%이었다. 그러므로 본 연구에서 개발한 Hybrid SVM Model이 SVM_I Model의 민감도 수준은 유지하면서 SVM_B Model의 특이도보다는 향상된 성능을 보였다.

머신러닝과 KSCA를 활용한 디지털 사진의 색 분석 -한국 자연 풍경 낮과 밤 사진을 중심으로- (Color Analyses on Digital Photos Using Machine Learning and KSCA - Focusing on Korean Natural Daytime/nighttime Scenery -)

  • 권희은;구자준
    • 트랜스-
    • /
    • 제12권
    • /
    • pp.51-79
    • /
    • 2022
  • 본 연구에서는 색채 계획을 통해 콘텐츠를 제작할 때 참고할 만한 색을 도출하는 방법을 모색하기 위하여 진행되었다. 대상이 된 이미지는 한국 내의 자연풍광을 다룬 사진들로 머신러닝을 활용해 낮과 밤이 어떤 색으로 표현되는지 알아보고, KSCA를 통해 색 빈도를 도출하여 두 결과를 비교, 분석하였다. 낮과 밤 사진의 색을 머신러닝으로 구분한 결과, 51~100%로 구분했을 때, 낮의 색의 영역이 밤의 색보다 2.45배가량 더 많았다. 낮 class의 색은 white를 중심으로, 밤 class의 색은 black을 중심으로 명도에 따라 분포하였다. 낮 class 70%이상의 색이 647, 밤 class 70% 이상의 색이 252, 나머지(31-69%)가 101개로서 중간 영역의 색의 수는 적고 낮과 밤으로 비교적 뚜렷하게 구분되었다. 낮과 밤 class의 색 분포 결과를 통해 명도로 구분되는 두 class의 경계 색채값이 무엇인지 확인할 수 있었다. KSCA를 활용해 디지털 사진의 빈도를 분석한 결과는 전체적으로 밝은 낮 사진에서는 황색, 어두운 밤 사진에서는 청색 위주의 색이 표현되었음을 보여주었다. 낮 사진 빈도에서는 상위 40%에 해당하는 색이 거의 무채색에 가까울 정도로 채도가 낮았다. 또 white & black에 가까운 색이 가장 높은 빈도를 보여 명도차가 크다는 것을 알 수 있었다. 밤 사진의 빈도를 보면 상위 50% 가량 되는 색이 명도 2(먼셀 기호)에 해당하는 어두운 색이다. 그에 비해 빈도 중위권(50~80%)의 명도는 상대적으로 조금 높고(명도 3-4), 하위 20%에서는 여러 색들의 명도차가 크다. 난색들은 빈도 하위 8% 이내에서 간헐적으로 볼 수 있었다. 배색띠를 보았을 때, 전체적으로 남색을 위주로 조화로운 배색을 이루고 있었다. 본 연구의 색의 분포와 빈도의 결과값은 한국 내의 자연 풍경에 관한 디지털 디자인의 색채 계획에 참고 자료로 활용될 수 있을 것이다. 또한 색 분포를 나눈 결과는 해당색이 특정 디자인의 주조색이나 배경색으로 사용될 경우에 두 class 중 어느 쪽에 더 가까운 색인지에 대해 참고사항이 될 수 있을 것이며, 분석 이미지들을 몇 가지 class로 나눈다면, 각 class의 색 분포의 특성에 따라 분석 이미지에 사용되지 않은 색도 어느 class에 얼마큼 더 가까운 이미지인지 도출할 수 있을 것이다.