• 제목/요약/키워드: 빅데이터 기법

검색결과 785건 처리시간 0.023초

뉴스와 주가 : 빅데이터 감성분석을 통한 지능형 투자의사결정모형 (Stock-Index Invest Model Using News Big Data Opinion Mining)

  • 김유신;김남규;정승렬
    • 지능정보연구
    • /
    • 제18권2호
    • /
    • pp.143-156
    • /
    • 2012
  • 누구나 뉴스와 주가 사이에는 밀접한 관계를 있을 것이라 생각한다. 그래서 뉴스를 통해 투자기회를 찾고, 투자이익을 얻을 수 있을 것으로 기대한다. 그렇지만 너무나 많은 뉴스들이 실시간으로 생성 전파되며, 정작 어떤 뉴스가 중요한지, 뉴스가 주가에 미치는 영향은 얼마나 되는지를 알아내기는 쉽지 않다. 본 연구는 이러한 뉴스들을 수집 분석하여 주가와 어떠한 관련이 있는지 분석하였다. 뉴스는 그 속성상 특정한 양식을 갖지 않는 비정형 텍스트로 구성되어있다. 이러한 뉴스 컨텐츠를 분석하기 위해 오피니언 마이닝이라는 빅데이터 감성분석 기법을 적용하였고, 이를 통해 주가지수의 등락을 예측하는 지능형 투자의사결정 모형을 제시하였다. 그리고, 모형의 유효성을 검증하기 위하여 마이닝 결과와 주가지수 등락 간의 관계를 통계 분석하였다. 그 결과 뉴스 컨텐츠의 감성분석 결과값과 주가지수 등락과는 유의한 관계를 가지고 있었으며, 좀 더 세부적으로는 주식시장 개장 전 뉴스들과 주가지수의 등락과의 관계 또한 통계적으로 유의하여, 뉴스의 감성분석 결과를 이용해 주가지수의 변동성 예측이 가능할 것으로 판단되었다. 이렇게 도출된 투자의사결정 모형은 여러 유형의 뉴스 중에서 시황 전망 해외 뉴스가 주가지수 변동을 가장 잘 예측하는 것으로 나타났고 로지스틱 회귀분석결과 분류정확도는 주가하락 시 70.0%, 주가상승 시 78.8%이며 전체평균은 74.6%로 나타났다.

Word2Vec을 활용한 제품군별 시장규모 추정 방법에 관한 연구 (A Study on Market Size Estimation Method by Product Group Using Word2Vec Algorithm)

  • 정예림;김지희;유형선
    • 지능정보연구
    • /
    • 제26권1호
    • /
    • pp.1-21
    • /
    • 2020
  • 인공지능 기술의 급속한 발전과 함께 빅데이터의 상당 부분을 차지하는 비정형 텍스트 데이터로부터 의미있는 정보를 추출하기 위한 다양한 연구들이 활발히 진행되고 있다. 비즈니스 인텔리전스 분야에서도 새로운 시장기회를 발굴하거나 기술사업화 주체의 합리적 의사결정을 돕기 위한 많은 연구들이 이뤄져 왔다. 본 연구에서는 기업의 성공적인 사업 추진을 위해 핵심적인 정보 중의 하나인 시장규모 정보를 도출함에 있어 기존에 제공되던 범위보다 세부적인 수준의 제품군별 시장규모 추정이 가능하고 자동화된 방법론을 제안하고자 한다. 이를 위해 신경망 기반의 시멘틱 단어 임베딩 모델인 Word2Vec 알고리즘을 적용하여 개별 기업의 생산제품에 대한 텍스트 데이터를 벡터 공간으로 임베딩하고, 제품명 간 코사인 거리(유사도)를 계산함으로써 특정한 제품명과 유사한 제품들을 추출한 뒤, 이들의 매출액 정보를 연산하여 자동으로 해당 제품군의 시장규모를 산출하는 알고리즘을 구현하였다. 실험 데이터로서 통계청의 경제총조사 마이크로데이터(약 34만 5천 건)를 이용하여 제품명 텍스트 데이터를 벡터화 하고, 한국표준산업분류 해설서의 산업분류 색인어를 기준으로 활용하여 코사인 거리 기반으로 유사한 제품명을 추출하였다. 이후 개별 기업의 제품 데이터에 연결된 매출액 정보를 기초로 추출된 제품들의 매출액을 합산함으로써 11,654개의 상세한 제품군별 시장규모를 추정하였다. 성능 검증을 위해 실제 집계된 통계청의 품목별 시장규모 수치와 비교한 결과 피어슨 상관계수가 0.513 수준으로 나타났다. 본 연구에서 제시한 모형은 의미 기반 임베딩 모델의 정확성 향상 및 제품군 추출 방식의 개선이 필요하나, 표본조사 또는 다수의 가정을 기반으로 하는 전통적인 시장규모 추정 방법의 한계를 뛰어넘어 텍스트 마이닝 및 기계학습 기법을 최초로 적용하여 시장규모 추정 방식을 지능화하였다는 점, 시장규모 산출범위를 사용 목적에 따라 쉽고 빠르게 조절할 수 있다는 점, 이를 통해 다양한 분야에서 수요가 높은 세부적인 제품군별 시장정보 도출이 가능하여 실무적인 활용성이 높다는 점에서 의의가 있다.

유료 유튜브 채널멤버십 이용동기가 이용만족과 지속이용의도에 미치는 영향: 소비가치이론을 기반으로 (The Effect of Paid YouTube Channel Membership Motivation on Usage Satisfaction and Continuance Intention: Based on Consumption Value Theory)

  • ;권지윤;양성병
    • 서비스연구
    • /
    • 제13권2호
    • /
    • pp.181-203
    • /
    • 2023
  • 유튜브는 OTT와 개인방송 플랫폼의 특성을 모두 갖춘 하이브리드적 성격을 띠고 있다. 그러나, 이러한 하이브리드적 특성을, 특히 유료 채널멤버십의 맥락에서 조사한 선행연구는 제한적이다. 따라서, 본 연구에서는 소비가치이론과 선행연구를 바탕으로 유튜브 유료 채널멤버십과 관련된 소비가치 요인이 이용만족도와 지속이용의도에 미치는 영향을 검증하고자 한다. 구체적으로, 본 연구는 유튜브 유료 채널멤버십 맥락에서 인지된 네 가지 소비가치 요인(기능적 가치, 사회적 가치, 감정적 가치, 진귀적 가치)을 도출하고, 각 요인이 이용만족과 지속이용의도에 미치는 영향을 검증한 후, 이러한 관계에서 상황적 가치(유료 유튜브 멤버십 채널에서의 실시간 방송 시청경험)의 조절효과를 추가적으로 살펴보고자 한다. 데이터는 여러 유료 유튜브 채널멤버십에 가입한 한국 성인을 대상으로 온라인 설문조사를 통해 총 274부가 수집되었다. 구조방정식모델링 기법을 활용하여 연구모형을 검증한 결과, 네 가지 소비가치 요인이 모두 이용만족에 유의미한 영향을 미치며, 이용만족은 지속이용의도에 긍정적인 영향을 미치는 것으로 나타났다. 상황적 가치 또한, 기능적/감성적 가치와 이용만족 간의 관계와 이용만족과 지속이용의도 간의 관계를 유의하게 조절하는 것으로 조사되었다. 본 연구는 OTT와 개인방송 플랫폼의 특성을 모두 포괄하는 유튜브 채널 유료 멤버십에 초점을 맞춘 최초의 연구로서, 본 연구의 결과를 통해 개인방송 진행자 및 이해관계자들에게 시청자의 이용만족에 영향을 미치고 채널멤버십 가입 및 지속유지를 유도하는 동기부여 요인에 대한 인사이트를 제공할 수 있을 것으로 기대한다.

텍스트마이닝 기법을 활용한 사용후핵연료 건식처리기술 관련 언론 동향 분석 (Analysis of media trends related to spent nuclear fuel treatment technology using text mining techniques)

  • 정지송;김호동
    • 지능정보연구
    • /
    • 제27권2호
    • /
    • pp.33-54
    • /
    • 2021
  • 최근 4차 산업혁명, 코로나로 인한 뉴노멀 시대의 도래 등을 계기로 인공지능, 빅데이터 연구와 같은 언택트 관련 기술의 중요성이 더욱 급상하고 있다. 각 종 연구 분야에서는 이러한 연구 트렌드를 따라가기 위한 융합적 연구가 본격적으로 시행되고 있으나 원자력 분야의 경우 자연어 처리, 텍스트마이닝 분석 등 인공지능 및 빅데이터 관련 기술을 적용한 연구가 많이 수행되지 않았다. 이에 원자력 연구 분야에 데이터 사이언스 분석기술의 적용 가능성을 확인해보고자 본 연구를 수행하였다. 원자로 연료로 사용된 뒤 배출되는 사용후핵연료 인식 동향 파악에 대한 연구는 원자력 산업 정책에 대한 방향을 결정하고 산업정책 변화를 사전에 대응할 수 있다는 측면에서 매우 중요하다. 사용후핵연료 처리기술은 크게 습식 재처리 방식과 건식 재처리 방식으로 나뉘는데, 이 중 환경 친화적이고 핵비확산성 및 경제성이 높은 건식재처리 기술인 '파이로프로세싱'과 그 연계 원자로 '소듐냉각고속로'의 연구개발에 대한 재평가가 현재 지속적으로 검토되고 있다. 따라서 위와 같은 이유로, 본 연구에서는 사용후핵연료 처리기술인 파이로프로세싱에 대한 언론 동향 분석을 진행하였다. 사용후핵연료 처리기술인 '파이로프로세싱' 키워드를 포함하는 네이버 웹 뉴스 기사 전문의 텍스트데이터를 수집하여 기간에 따라 인식변화를 분석하였다. 2016년 발생한 경주 지진, 2017년 새 정부의 에너지 전환정책 시행된 2010년대 중반 시기를 기준으로 전, 후의 동향 분석이 시행되었고, 빈도분석을 바탕으로 한 워드 클라우드 도출, TF-IDF(Term Frequency - Inverse Document Frequency) 도출, 연결정도 중심성 산출 등의 분석방법을 통해 텍스트데이터에 대한 세부적이고 다층적인 분석을 수행하였다. 연구 결과, 2010년대 이전에는 사용후핵연료 처리기술에 대한 사회 언론의 인식이 외교적이고 긍정적이었음을 알 수 있었다. 그러나 시간이 흐름에 따라 '안전(safety)', '재검토(reexamination)', '대책(countermeasure)', '처분(disposal)', '해체(disassemble)' 등의 키워드 출현빈도가 급증하며 사용후핵연료 처리기술 연구에 대한 지속 여부가 사회적으로 진지하게 고려되고 있음을 알 수 있었다. 정치 외교적 기술로 인식되던 사용후핵연료 처리기술이 국내 정책의 변화로 연구 지속 가능성이 모호해짐에 따라 언론 인식도 점차 변화했다는 것을 확인하였다. 이러한 연구 결과를 통해 원자력 분야에서의 사회과학 연구의 지속은 필수불가결함을 알 수 있었고 이에 대한 중요성이 부각되었다. 또한, 현 정부의 원전 감축과 같은 에너지 정책의 영향으로, 사용후핵연료 처리기술 연구개발에 대한 재평가가 시행되는 이 시점에서 해당 분야의 주요 키워드 분석은 향후 연구 방향 설정에 기여할 수 있을 것이라는 측면에서 실무적 의의를 갖는다. 더 나아가 원자력 공학 분야에 사회과학 분야를 폭넓게 적용할 필요가 있으며, 국가 정책적 변화를 고려해야 원자력 산업이 지속 가능할 것으로 사료된다.

쇼핑 웹사이트 탐색 유형과 방문 패턴 분석 (Analysis of shopping website visit types and shopping pattern)

  • 최경빈;남기환
    • 지능정보연구
    • /
    • 제25권1호
    • /
    • pp.85-107
    • /
    • 2019
  • 온라인 소비자는 쇼핑 웹사이트에서 특정 제품군이나 브랜드에 속한 제품들을 둘러보고 구매를 진행할 수 있고, 혹은 단순히 넓은 범위의 탐색 반경을 보이며 여러 페이지들을 돌아보다 구매를 진행하지 않고 이탈할 수 있다. 이러한 온라인 소비자의 행동과 구매에 관련된 연구는 꾸준히 진행되어왔으며, 실무에서도 소비자들의 행동 데이터를 바탕으로 한 서비스 및 어플리케이션이 개발되고 있다. 최근에는 빅데이터 기술의 발달로 소비자 개인 단위의 맞춤화 전략 및 추천 시스템이 활용되고 있으며 사용자의 쇼핑 경험을 최적화하기 위한 시도가 진행되고 있다. 하지만 이와 같은 시도에도 온라인 소비자가 실제로 웹사이트를 방문해 제품 구매 단계까지 전환될 확률은 매우 낮은 실정이다. 이는 온라인 소비자들이 단지 제품 구매를 위해 웹사이트를 방문하는 것이 아니라 그들의 쇼핑 동기 및 목적에 따라 웹사이트를 다르게 활용하고 탐색하기 때문이다. 따라서 단지 구매가 진행되는 방문 외에도 다양한 방문 형태를 분석하는 것은 온라인 소비자들의 행동을 이해하는데 중요하다고 할 수 있다. 이러한 관점에서 본 연구에서는 온라인 소비자의 탐색 행동의 다양성과 복잡성을 설명하기 위해 실제 E-commerce 기업의 클릭스트림 데이터를 기반으로 세션 단위의 클러스터링 분석을 진행해 탐색 행동을 유형화하였다. 이를 통해 각 유형별로 상세 단위의 탐색 행동과 구매 여부가 차이가 있음을 확인하였다. 또한 소비자 개인이 여러 방문에 걸친 일련의 탐색 유형에 대한 패턴을 분석하기 위해 순차 패턴 마이닝 기법을 활용하였으며, 같은 기간 내에 제품 구매까지 완료한 소비자와 구매를 진행하지 않은 채 방문만 진행한 소비자들의 탐색패턴에 대한 차이를 확인할 수 있었다. 본 연구의 시사점은 대규모의 클릭스트림 데이터를 활용해 온라인 소비자의 탐색 유형을 분석하고 이에 대한 패턴을 분석해 구매 과정 상의 행동을 데이터 기반으로 설명하였다는 점에 있다. 또한 온라인 소매 기업은 다양한 형태의 탐색 유형에 맞는 마케팅 전략 및 추천을 통해 구매 전환 개선을 시도할 수 있으며, 소비자의 탐색 패턴의 변화를 통해 전략의 효과를 평가할 수 있을 것이다.

증류탑을 위한 머신러닝 기반 플랫폼 개발 (Development of Machine Learning-Based Platform for Distillation Column)

  • 오광철;권혁원;노지원;최영렬;박현도;조형태;김정환
    • Korean Chemical Engineering Research
    • /
    • 제58권4호
    • /
    • pp.565-572
    • /
    • 2020
  • 본 연구는 증류탑 분리공정 시스템 최적화를 위하여 인공지능 머신러닝이 적용된 소프트웨어 플랫폼을 개발하였다. 증류탑 분리공정은 석유화학 산업의 대표적이고 핵심적인 공정이다. 하지만 다양한 운전조건과 연속식공정 특성으로 인하여 안정적인 운전이 어려우며 운전자 숙련도에 의하여 공정효율에 차이가 발생된다. 이를 해결하기 위하여 이론적 시뮬레이션을 활용한 제어방법이 개발되어 사용되고 있지만 특수하거나 복잡한 반응이 포함된 공정에는 적용이 어려우며, 거대한 시스템에 대하여 분석이 이루어질 경우 계산비용 증대로 인하여 실시간 제어와 연동이 어려운 한계점을 지니고 있다. 따라서 본 연구에서는 이러한 문제점을 해결하기 위하여 머신러닝을 기반으로 한 경험적 시뮬레이션 모델을 개발하고 이를 통하여 최적의 공정운영방법을 제시하고자 한다. 경험적 시뮬레이션 개발은 실제 공정에서 수집된 빅 데이터, 데이터마이닝을 통한 특성추출, 공정을 대표하는 데이터 선별, 화학공정 특성에 맞는 모델 선정으로 이루어졌으며, 현장검증 및 테스트를 통하여 증류탑 분리공정 플랫폼이 개발되었다. 최종적으로 개발된 플랫폼을 통하여 운전 조작변수의 예측이 가능하며, 최적화된 운전조건을 제공하여 효율적인 공정운영을 달성할 수 있다. 본 논문은 머신러닝 기법을 화학공정에 적용한 기초연구로서 이후 다양한 공정에 적용하여 4차 산업의 스마트 팩토리의 초석이 되어 널리 활용될 수 있을 것이라 판단된다.

연관성 규칙에서 활용 가능한 대칭적 기여 순수 신뢰도의 개발 (The development of symmetrically and attributably pure confidence in association rule mining)

  • 박희창
    • Journal of the Korean Data and Information Science Society
    • /
    • 제25권3호
    • /
    • pp.601-609
    • /
    • 2014
  • 빅 데이터 분석을 위한 데이터마이닝 기법 중의 하나인 연관성 규칙은 지지도, 신뢰도, 향상도 등의 여러 가지 연관성 평가기준을 기반으로 하여 항목집합들 간의 관련성을 찾아내는 데 활용되고 있다. 기본적인 연관성 평가기준들 중에서 가장 많이 활용되고 있는 신뢰도는 연관성의 방향 (음 또는 양)을 알 수가 없다는 단점을 가지고 있다. 이를 보완하기 위한 측도로 순수 신뢰도 기여 순수 신뢰도가 제안되었으나, 이는 전항과 후항이 바뀌면 그 값이 달라지는 문제점이 있다. 본 논문에서는 기존의 신뢰도와 순수 신뢰도, 그리고 기여 순수 신뢰도의 단점을 보완한 연관성 평가 기준으로 네 가지의 대칭적 기여 순수 신뢰도를 제안하였다. 또한 신뢰도와 기여 순수 신뢰도, 그리고 네 가지의 대칭적 기여 순수 신뢰도를 예제를 통하여 비교 분석하였다. 그 결과, 대칭적 기여 순수 신뢰도는 그 부호에 의해 연관성 규칙의 방향을 파악할 수 있는 동시에 전항과 후항이 바뀌어도 그 값이 변하지 않으므로 연관성 규칙을 생성하는 데 매우 유익한 평가 기준이라는 사실을 확인할 수 있었다. 이들 네 가지 대칭적 기여 순수 신뢰도 중에서는 두 종류의 기여 순수 신뢰도의 분자의 합과 분모의 합의 비로 나타나는 측도가 가장 바람직한 것으로 예제를 통하여 확인하였다.

코스피 방향 예측을 위한 하이브리드 머신러닝 모델 (Hybrid Machine Learning Model for Predicting the Direction of KOSPI Securities)

  • 황희수
    • 한국융합학회논문지
    • /
    • 제12권6호
    • /
    • pp.9-16
    • /
    • 2021
  • 과거 주가 데이터와 금융 관련 빅 데이터를 사용해 머신러닝 기법으로 주식시장을 예측하는 연구는 다양하게 있어 왔지만, HTS와 MTS를 통해 거래가 가능한 주가지수 연동 ETF가 생기면서 주가지수를 예측하는 연구가 최근 주목받고 있다. 본 논문에서는 KOSPI 연동 ETF를 거래할 목적으로 KOSPI의 상승 예측을 위한 머신러닝 모델과 하락예측을 위한 모델을 각각 구현한다. 이들 모델은 매개변수의 그리드 탐색을 통해 최적화 된다. 또한 정밀도를 개선해 ETF 거래 수익률을 높일 수 있도록 개별 모델들을 조합한 하이브리드 머신러닝 모델을 제안한다. 예측 모델의 성능은 정확도와 ETF 거래 수익률에 큰 영향을 미치는 정밀도로 평가된다. 하이브리드 상승 예측 모델의 정확도와 정밀도는 72.1 %와 63.8 %이고 하락 예측 모델은 79.8 %와 64.3 %이다. 하이브리드 하락 예측 모델에서 정밀도는 개별 모델보다 최소 14.3 %, 최대 20.5 % 개선되었다. 테스트 기간에 하이브리드 모델은 하락에서 10.49 %, 상승에서 25.91 %의 ETF 거래 수익률을 보였다. 인버스×2와 레버리지 ETF로 거래하면 수익률을 1.5 ~ 2배로 높일 수 있다. 하락예측 머신러닝 모델에 대한 추가 연구로 수익률을 더 높일 수 있을 것으로 기대한다.

RGB-D 모델을 이용한 강건한 객체 탐지 및 추적 방법 (A Robust Object Detection and Tracking Method using RGB-D Model)

  • 박서희;전준철
    • 인터넷정보학회논문지
    • /
    • 제18권4호
    • /
    • pp.61-67
    • /
    • 2017
  • 최근 지능형 CCTV는 빅 데이터, 인공지능 및 영상 분석과 같은 분야와 결합하여 다양한 이상 행위들을 탐지하고 보행자와 같은 객체의 전반적인 상황을 분석할 수 있으며, 이러한 지능형 영상 감시 기능에 대한 영상 분석 연구가 활발히 진행되고 있는 추세이다. 그러나 일반적으로 2차원 정보를 이용하는 CCTV 영상은 위상학적 정보 부족으로 인해 객체 오 인식과 같은 한계가 존재한다. 이러한 문제는 두 대의 카메라를 사용하여 생성된 객체의 깊이 정보를 영상에 추가함으로써 해결 할 수 있다. 본 논문에서는 가우시안 혼합기법을 사용하여 배경 모델링을 수행하고, 모델링 된 배경에서 전경을 분할하여 움직이는 객체의 존재 여부를 탐지한다. RGB 정보 기반 분할 결과를 이용하여 깊이 정보 기반 분할을 수행하기 위해 두 대의 카메라를 사용하여 스테레오 기반 깊이 지도를 생성한다. RGB 기반으로 분할된 영역을 깊이 정보를 추출하기 위한 도메인으로 설정하고, 도메인 내부에서 깊이 기반 분할을 수행한다. 강건하게 분할된 객체의 중심점을 탐지하고 방향을 추적하기 위해 가장 기본적인 객체 추적 방법인 CAMShift 기법을 적용하여 객체의 움직임을 추적한다. 실험을 통하여 제안된 RGB-D 모델을 이용한 객체 탐지 및 추적 방법의 우수성을 입증하였다.

텍스트마이닝 기법을 활용한 허위·과장광고 관련 기사의 트렌드 분석(1990-2019) (Analyzing the Trend of False·Exaggerated Advertisement Keywords Using Text-mining Methodology (1990-2019))

  • 김도희;김민정
    • 한국콘텐츠학회논문지
    • /
    • 제21권4호
    • /
    • pp.38-49
    • /
    • 2021
  • 본 연구는 텍스트마이닝 기법을 사용하여 1990년부터 2019년까지 5,141건의 신문기사에서 '허위·과장광고' 용어의 트렌드를 분석하였다. 우선 전체 신문기사를 대상으로 빈도 분석을 통해 허위·과장광고의 최빈 키워드와 추출된 키워드 간의 맥락을 확인하고자 하였다. 다음으로 허위·과장광고가 어떻게 변화해왔는지에 대해 고찰하기 위해 10년 단위로 기사를 분리하여 빈도 분석을 수행하였고, 연도별 최빈 키워드를 주제로 한학술논문 수와 비교하여 해당 시기에 이슈가 된 키워드가 연구로까지 이어진 경향성을 파악하였다. 마지막으로 토픽모델링 분석을 통해 토픽 내 세부 키워드를 바탕으로 허위·과장광고의 동향을 제시하였다. 연구 결과, 특정 시점에 이슈가 되었던 주제가 최빈 키워드로 추출되었고 시대별 키워드 트렌드는 사회적, 환경적 요인과 연관되어 변화함을 확인하였다. 본 연구는 소비자들이 부당광고에 대한 배경지식을 함양함으로써 현명한 소비를 이어 나갈 수 있도록 도움을 주는 데 의의가 있다. 더욱이 핵심 키워드 추출을 통해 위법행위를 저지른 기업 및 관련 종사자들에게 광고의 참된 목적을 제시하고, 시사점을 전달할 수 있을 것이라 기대한다.