• 제목/요약/키워드: Unsupervised Neural Network

검색결과 129건 처리시간 0.021초

Subset 샘플링 검증 기법을 활용한 MSCRED 모델 기반 발전소 진동 데이터의 이상 진단 (Anomaly Detection In Real Power Plant Vibration Data by MSCRED Base Model Improved By Subset Sampling Validation)

  • 홍수웅;권장우
    • 융합정보논문지
    • /
    • 제12권1호
    • /
    • pp.31-38
    • /
    • 2022
  • 본 논문은 전문가 독립적 비지도 신경망 학습 기반 다변량 시계열 데이터 분석 모델인 MSCRED(Multi-Scale Convolutional Recurrent Encoder-Decoder)의 실제 현장에서의 적용과 Auto-encoder 기반인 MSCRED 모델의 한계인, 학습 데이터가 오염되지 않아야 된다는 점을 극복하기 위한 학습 데이터 샘플링 기법인 Subset Sampling Validation을 제시한다. 라벨 분류가 되어있는 발전소 장비의 진동 데이터를 이용하여 1) 학습 데이터에 비정상 데이터가 섞여 있는 상황을 재현하고, 이를 학습한 경우 2) 1과 같은 상황에서 Subset Sampling Validation 기법을 통해 학습 데이터에서 비정상 데이터를 제거한 경우의 Anomaly Score를 비교하여 MSCRED와 Subset Sampling Validation 기법을 유효성을 평가한다. 이를 통해 본 논문은 전문가 독립적이며 오류 데이터에 강한 이상 진단 프레임워크를 제시해, 다양한 다변량 시계열 데이터 분야에서의 간결하고 정확한 해결 방법을 제시한다.

LDA와 LSTM를 응용한 뉴스 기사 기반 선물가격 예측 (Futures Price Prediction based on News Articles using LDA and LSTM)

  • 주진현;박근덕
    • 산업융합연구
    • /
    • 제21권1호
    • /
    • pp.167-173
    • /
    • 2023
  • 경제지표를 분석하는 방법으로 회귀 분석이나, 인공지능을 활용하여 미래의 데이터를 예측하는 연구가 발표되었다. 본 연구에서는 토픽모델링을 사용하여 과거 뉴스 기사로부터 얻은 주제 확률 데이터를 이용한 인공지능으로 미래 선물 가격을 예측하는 시스템을 구상하였다. 과거 뉴스 기사로부터 비지도학습을 통한 문서의 주제를 추출할 수 있는 LDA 방법으로 각 뉴스 기사 주제 확률 분포 데이터를 얻을 수 있고, 해당 데이터를 인공지능의 RNN의 파생 구조인 LSTM의 입력 데이터로 활용함으로써 미래 선물 가격을 예측하였다. 본 연구에서 제안한 방법에서는 선물 가격의 추세를 예측할 수 있었고, 이를 활용하여 추후 옵션 상품 등의 파생 상품에 대한 가격 추세도 예측할 수 있을 것으로 보인다. 다만, 일부 데이터에 대해 오차가 발생하는 것이 확인되어 정확도 향상을 위한 추가적인 연구가 필요하다.

딥러닝 기반의 딥 클러스터링 방법에 대한 분석 (Analysis of deep learning-based deep clustering method)

  • 권현;이준
    • 융합보안논문지
    • /
    • 제23권4호
    • /
    • pp.61-70
    • /
    • 2023
  • 클러스터링은 데이터의 정답값(실제값)이 없는 데이터를 기반으로 데이터의 특징벡터의 거리 기반 등으로 군집화를 하는 비지도학습 방법이다. 이 방법은 이미지, 텍스트, 음성 등 다양한 데이터에 대해서 라벨링이 없이 적용할 수 있다는 장점이 있다. 기존 클러스터링을 하기 위해 차원축소 기법을 적용하거나 특정 특징만을 추출하여 군집화하는 방법이 적용되었다. 하지만 딥러닝 기반 모델이 발전하면서 입력 데이터를 잠재 벡터로 표현하는 오토인코더, 생성 적대적 네트워크 등을 통해서 딥 클러스터링의 기술이 연구가 되고 있다. 본 연구에서, 딥러닝 기반의 딥 클러스터링 기법을 제안하였다. 이 방법에서 오토인코더를 이용하여 입력 데이터를 잠재 벡터로 변환하고 이 잠재 벡터를 클러스터 구조에 맞게 벡터 공간을 구성 및 k-평균 클러스터링을 하였다. 실험 환경으로 pytorch 머신러닝 라이브러리를 이용하여 데이터셋으로 MNIST와 Fashion-MNIST을 적용하였다. 모델로는 컨볼루션 신경망 기반인 오토인코더 모델을 사용하였다. 실험결과로 k가 10일 때, MNIST에 대해서 89.42% 정확도를 가졌으며 Fashion-MNIST에 대해서 56.64% 정확도를 가진다.

뉴럴 텐서 네트워크 기반 주식 개별종목 지식개체명 추출 방법에 관한 연구 (A Study on Knowledge Entity Extraction Method for Individual Stocks Based on Neural Tensor Network)

  • 양윤석;이현준;오경주
    • 지능정보연구
    • /
    • 제25권2호
    • /
    • pp.25-38
    • /
    • 2019
  • 정보화 시대의 넘쳐나는 콘텐츠들 속에서 사용자의 관심과 요구에 맞는 양질의 정보를 선별해내는 과정은 세대를 거듭할수록 더욱 중요해지고 있다. 정보의 홍수 속에서 사용자의 정보 요구를 단순한 문자열로 인식하지 않고, 의미적으로 파악하여 검색결과에 사용자 의도를 더 정확하게 반영하고자 하는 노력이 이루어지고 있다. 구글이나 마이크로소프트와 같은 대형 IT 기업들도 시멘틱 기술을 기반으로 사용자에게 만족도와 편의성을 제공하는 검색엔진 및 지식기반기술의 개발에 집중하고 있다. 특히 금융 분야는 끊임없이 방대한 새로운 정보가 발생하며 초기의 정보일수록 큰 가치를 지녀 텍스트 데이터 분석과 관련된 연구의 효용성과 발전 가능성이 기대되는 분야 중 하나이다. 따라서, 본 연구는 주식 관련 정보검색의 시멘틱 성능을 향상시키기 위해 주식 개별종목을 대상으로 뉴럴 텐서 네트워크를 활용한 지식 개체명 추출과 이에 대한 성능평가를 시도하고자 한다. 뉴럴 텐서 네트워크 관련 기존 주요 연구들이 추론을 통해 지식 개체명들 사이의 관계 탐색을 주로 목표로 하였다면, 본 연구는 주식 개별종목과 관련이 있는 지식 개체명 자체의 추출을 주목적으로 한다. 기존 관련 연구의 문제점들을 해결하고 모형의 실효성과 현실성을 높이기 위한 다양한 데이터 처리 방법이 모형설계 과정에서 적용되며, 객관적인 성능 평가를 위한 실증 분석 결과와 분석 내용을 제시한다. 2017년 5월 30일부터 2018년 5월 21일 사이에 발생한 전문가 리포트를 대상으로 실증 분석을 진행한 결과, 제시된 모형을 통해 추출된 개체명들은 개별종목이 이름을 약 69% 정확도로 예측하였다. 이러한 결과는 본 연구에서 제시하는 모형의 활용 가능성을 보여주고 있으며, 후속 연구와 모형 개선을 통한 성과의 제고가 가능하다는 것을 의미한다. 마지막으로 종목명 예측 테스트를 통해 본 연구에서 제시한 학습 방법이 새로운 텍스트 정보를 의미적으로 접근하여 관련주식 종목과 매칭시키는 목적으로 사용될 수 있는 가능성을 확인하였다.

투자자별 거래정보와 머신러닝을 활용한 투자전략의 성과 (Performance of Investment Strategy using Investor-specific Transaction Information and Machine Learning)

  • 김경목;김선웅;최흥식
    • 지능정보연구
    • /
    • 제27권1호
    • /
    • pp.65-82
    • /
    • 2021
  • 주식시장에 참여하는 투자자들은 크게 외국인투자자, 기관투자자, 그리고 개인투자자로 구분된다. 외국인투자자 같은 전문투자자 집단은 개인투자자 집단과 비교하여 정보력과 자금력에서 우위를 보이고 있으며, 그 결과 시장 참여자들 사이에는 외국인투자자들이 좋은 투자 성과를 보이는 것으로 알려져 있다. 외국인 투자자들은 근래에는 인공지능을 이용한 투자를 많이 하고 있다. 본 연구의 목적은 투자자별 거래량 정보와 머신러닝을 결합하는 투자전략을 제안하고, 실제 주가와 투자자별 거래량 데이터를 이용하여 제안 모형의 포트폴리오 투자 성과를 분석하는 것이다. 일별 투자자별 매수 수량과 매도 수량 정보는 한국거래소에서 공개하고 있는 자료를 활용하였으며, 여기에 인공신경망을 결합하여 최적의 포트폴리오 전략을 도출하고자 하였다. 본 연구에서는 자기 조직화 지도 모형 인공신경망을 이용하여 투자자별 거래량 데이터를 그룹화하고 그룹화한 데이터를 변환하여 오류역전파 모형을 학습하였다. 학습 후 검증 데이터 예측결과로 매월 포트폴리오 구성을 하도록 개발하였다. 성과 분석을 위해 포트폴리오의 벤치마크를 지정하였고 시장 수익률 비교를 위해 KOSPI200, KOSPI 지수 수익률도 구하였다. 포트폴리오의 동일배분 수익률, 복리 수익률, 연평균 수익률, MDD, 표준편차, 샤프지수, 벤치마크로 지정한 시가총액 상위 10종목의 Buy and Hold 수익률 등을 사용하여 성과 분석을 진행하였다. 분석 결과 포트폴리오가 벤치마크 대비 2배 수익률을 올렸으며 시장 수익률보다 좋은 성과를 보였다. MDD와 표준편차는 포트폴리오와 벤치마크가 비슷한 결과로 성과 대비 비교한다면 포트폴리오가 좋은 성과라고 할 수 있다. 샤프지수도 포트폴리오가 벤치마크와 시장 결과보다 좋은 성과를 내었다. 이를 통해 머신러닝과 투자자별 거래정보 분석을 활용한 포트폴리오 구성 프로그램 개발의 방향을 제시하였고 실제 주식 투자를 위한 프로그램 개발에 활용할 수 있음을 보였다.

웹서비스 유사성 평가 방법들의 실험적 평가 (Evaluation of Web Service Similarity Assessment Methods)

  • 황유섭
    • 지능정보연구
    • /
    • 제15권4호
    • /
    • pp.1-22
    • /
    • 2009
  • 월드와이드웹(WWW)은 유용한 정보를 포함하는 자료들의 집합에서 유용한 작업을 수행할 수 있는 서비스들의 집합으로 변화하고 있다. 새롭게 등장하고 있는 웹서비스 기술은 향후 웹의 기술적 변화를 추구하며 최근의 웹의 변화에 중요한 역할을 수행할 것으로 기대된다. 웹서비스는 어플리케이션 간의 통신을 위한 호환성 표준을 제시하며 기업 내/외를 아우를 수 있는 어플리케이션 상호작용 및 통합을 촉진한다. 웹서비스를 서비스 중심 컴퓨팅환경으로서 운용하기 위해서는 웹서비스 저장소는 조직화되어 있어야 할 뿐 아니라, 사용자들의 요구에 맞는 웹서비스 컴포넌트를 찾을 수 있는 효율적인 도구들을 제공하여야 한다. 서비스 중심 컴퓨팅을 위한 웹서비스의 중요성이 증대됨에 따라 웹서비스 발견을 효율적으로 제공할 수 있는 기법의 수요 또한 증대된다. 웹서비스 발견을 위한 많은 기법들이 제안되어 왔지만, 대부분의 선행연구들은 활용하기에는 제대로 발달하지 못하였거나 특정 도메인에 너무 치중하여 일반화하기 어려웠다. 이 논문에서는 군집화기법과 XML기반의 서비스 기술표준인 WSDL의 의미적 가치를 활용하여 다수의 웹서비스를 군집화하는 프레임워크를 제안한다. 웹서비스 발견이라는 연구영역에 최초로 데이터마이닝 기법을 적용한 연구이다. 본 논문에서 제안하는 방식은 여러 흥미로운 요소들이 있다: (1) 서비스 사용자와 제공자들의 사전지식 요구를 최소화한다 (2) 특정 도메인에 과도하게 치중한 온톨로지를 피한다 (3) 웹서비스들 간의 의미론적 관계를 시각화할 수 있다. 이 논문에서 인공신경 정신망 네트워크를 기반으로 하여 프로토타입 시스템을 개발하였으며, 실제 운용되고 있는 웹서비스 저장소로부터 획득한 실제 웹서비스들을 사용하여 제안하는 웹서비스 조직화 프레임워크를 실증적으로 평가하였으며 제안하는 방식의 효용성을 보여주는 실험결과를 보고한다.

  • PDF

데이터마이닝 기법을 활용한 비외감기업의 부실화 유형 분석 (The Pattern Analysis of Financial Distress for Non-audited Firms using Data Mining)

  • 이수현;박정민;이형용
    • 지능정보연구
    • /
    • 제21권4호
    • /
    • pp.111-131
    • /
    • 2015
  • 본 연구에서는 데이터마이닝 기법의 일종인 자기조직화지도(Self-Organizing Map, SOM)를 이용하여 비외감기업의 부실화 유형을 구분하고자 한다. 자기조직화지도는 인공 신경망을 기초로 자율학습을 통해 입력된 값을 유사한 군집끼리 묶어내는 방법으로, 기존의 통계적 군집 분류 방법보다 성능이 뛰어나고, 고차원의 입력데이터를 저차원으로 시각화할 수 있다는 장점 때문에 다양한 분야에서 각광받고 있다. 본 연구에서는 기존 연구의 주요 분석대상이었던 외감기업에 비해 부실화 빈도는 높지만 데이터 수집의 어려움으로 인해 분석대상에서 다소 제외되었던 비외감기업의 부실화 유형에 대해 알아보고, 유형별 구체적인 사례도 소개하고자 한다. 재무자료수집이 가능한 100개의 비외감 부실기업에 대해 분석한 결과, 비외감기업의 부실화 유형은 다섯 가지로 구분되었다. 유형 1은 전체 집단의 약 12%를 차지하며, 수익성, 성장성 등 재무지표가 다른 유형에 비해 열등하였다. 유형 2는 전체 집단의 약 14%로, 유형 1보다는 덜 심각하지만 재무지표가 대체로 열등하였다. 유형 3은 성장성 지표가 열등한 그룹으로 기업간 경쟁이 극심한 가운데 지속적으로 성장하지 못하고 부실화된 경우로 약 30%의 기업이 포함되었다. 유형 4는 성장성은 탁월하나 부채경영 등 과감한 경영으로 인해 유동성 부족이나 현금부족 등의 이유로 부실화된 그룹으로 약 25%의 기업이 포함되었다. 유형 5는 거의 모든 재무지표가 우수한 건전기업으로, 단기적인 경영전략의 실수 또는 중소기업의 특성상 경영자의 개인적 사정으로 부실화 되었을 가능성이 큰 그룹으로 약 18%의 기업이 포함되었다. 본 연구 결과는 부실화 유형을 구분하는데 기존의 통계적 방법이 아닌 자기조직화지도를 이용하였다는 점에서 학문적 의의가 있고, 비외감기업의 재무지표만으로도 1차적인 부실화 징후를 발견할 수 있다는 점에서 실무적 의의가 있다고 할 수 있다.

RFM 기반 SOM을 이용한 매장관리 전략 도출 (Strategy for Store Management Using SOM Based on RFM)

  • 정윤정;최일영;김재경;최주철
    • 지능정보연구
    • /
    • 제21권2호
    • /
    • pp.93-112
    • /
    • 2015
  • 소비자의 소비성향이 필요 품목을 중심으로 근거리에서 구매하는 근린형으로 변화함에 기존의 소매점은 식료품, 생활용품을 위주로 제공하는 슈퍼마켓, 하이퍼마켓 또는 편의점으로 진화하고 있다. 따라서 소매점이 한정된 공간에서 효율적으로 공간을 활용하고 매출을 증대하기 위해서는 소비자의 구매욕을 충족시킬 수 있는 상품배치와 적정한 재고수준을 유지하는 것이 매우 중요하다. 본 연구에서는 소매점의 판매 상품에 대하여 RFM 기반 SOM 군집화를 하여 효율적으로 매장을 관리할 수 있는 상품 배치전략 및 재고전략을 제안하였다. 실제 M마트의 판매데이터를 이용하여 RFM모델을 상품에 적용한 후, 기존 문헌 연구뿐만 아니라 해석 가능성, 응용 가능성 등을 고려하여 3X3 총 9개의 군집으로 분류하여 분석한 결과, 주요 군집으로 R값, F값, M값이 모두 높은 군집, R값, F값, M값 모두 낮은 군집, R값만 높은 군집, F값만 높은 군집이 도출되었다. 본 논문에서는 다른 군집과 비교시 R값, F값, M값이 차이를 보이는 주요 4개의 군집의 상품 배치 및 재고 전략을 제시하였다. R값, F값, M값이 모두 높은 군집의 상품은 소비자 동선을 늘림으로써 상품 노출을 확대시킬 수 있는 장소에 배치하여야 할 뿐만 아니라 높은 수준의 재고를 보유할 필요가 있다. 반면에 R값, F값, M값이 모두 낮은 군집의 상품은 가시성이 낮은 곳에 배치하고 최소한의 안전재고만 보유할 필요가 있다. 또한 R값이 높은 군집은 신상품으로 매장 입구에 배치하여 상품의 판매를 유도할 필요가 있다. 그리고 F값만 높은 군집의 경우, R값과 M값이 평균 값 보다 작은 상품들의 군집이므로 최근에는 판매가 저조하며 빈도 수에 비해 총 판매액이 낮다는 것을 유추할 수 있다. 따라서 현재보다 과거에 많이 판매된 저가의 상품군집으로 재고 수준을 점차 감소시킬 필요가 있다. 본 연구에서 제시한 방법은 POS 시스템의 보유한 소매점에서 상품배치 및 재고관리 방법으로 활용되어 매장의 수익성 증대에 기여할 수 있을 것으로 기대된다.

Word2Vec을 활용한 제품군별 시장규모 추정 방법에 관한 연구 (A Study on Market Size Estimation Method by Product Group Using Word2Vec Algorithm)

  • 정예림;김지희;유형선
    • 지능정보연구
    • /
    • 제26권1호
    • /
    • pp.1-21
    • /
    • 2020
  • 인공지능 기술의 급속한 발전과 함께 빅데이터의 상당 부분을 차지하는 비정형 텍스트 데이터로부터 의미있는 정보를 추출하기 위한 다양한 연구들이 활발히 진행되고 있다. 비즈니스 인텔리전스 분야에서도 새로운 시장기회를 발굴하거나 기술사업화 주체의 합리적 의사결정을 돕기 위한 많은 연구들이 이뤄져 왔다. 본 연구에서는 기업의 성공적인 사업 추진을 위해 핵심적인 정보 중의 하나인 시장규모 정보를 도출함에 있어 기존에 제공되던 범위보다 세부적인 수준의 제품군별 시장규모 추정이 가능하고 자동화된 방법론을 제안하고자 한다. 이를 위해 신경망 기반의 시멘틱 단어 임베딩 모델인 Word2Vec 알고리즘을 적용하여 개별 기업의 생산제품에 대한 텍스트 데이터를 벡터 공간으로 임베딩하고, 제품명 간 코사인 거리(유사도)를 계산함으로써 특정한 제품명과 유사한 제품들을 추출한 뒤, 이들의 매출액 정보를 연산하여 자동으로 해당 제품군의 시장규모를 산출하는 알고리즘을 구현하였다. 실험 데이터로서 통계청의 경제총조사 마이크로데이터(약 34만 5천 건)를 이용하여 제품명 텍스트 데이터를 벡터화 하고, 한국표준산업분류 해설서의 산업분류 색인어를 기준으로 활용하여 코사인 거리 기반으로 유사한 제품명을 추출하였다. 이후 개별 기업의 제품 데이터에 연결된 매출액 정보를 기초로 추출된 제품들의 매출액을 합산함으로써 11,654개의 상세한 제품군별 시장규모를 추정하였다. 성능 검증을 위해 실제 집계된 통계청의 품목별 시장규모 수치와 비교한 결과 피어슨 상관계수가 0.513 수준으로 나타났다. 본 연구에서 제시한 모형은 의미 기반 임베딩 모델의 정확성 향상 및 제품군 추출 방식의 개선이 필요하나, 표본조사 또는 다수의 가정을 기반으로 하는 전통적인 시장규모 추정 방법의 한계를 뛰어넘어 텍스트 마이닝 및 기계학습 기법을 최초로 적용하여 시장규모 추정 방식을 지능화하였다는 점, 시장규모 산출범위를 사용 목적에 따라 쉽고 빠르게 조절할 수 있다는 점, 이를 통해 다양한 분야에서 수요가 높은 세부적인 제품군별 시장정보 도출이 가능하여 실무적인 활용성이 높다는 점에서 의의가 있다.