• 제목/요약/키워드: Hybrid Data Mining

검색결과 91건 처리시간 0.026초

사용자 리뷰 마이닝을 결합한 협업 필터링 시스템: 스마트폰 앱 추천에의 응용 (A Collaborative Filtering System Combined with Users' Review Mining : Application to the Recommendation of Smartphone Apps)

  • 전병국;안현철
    • 지능정보연구
    • /
    • 제21권2호
    • /
    • pp.1-18
    • /
    • 2015
  • 협업 필터링은 학계나 산업계에서 우수한 성능으로 인해 많이 사용되는 추천기법이지만, 정량적 정보인 사용자들의 평가점수에만 국한하여 추천결과를 생성하므로 간혹 정확도가 떨어지는 문제가 발생한다. 이에 새로운 정보를 추가로 고려하여, 협업 필터링의 성능을 개선하려는 연구들이 지금까지 다양하게 시도되어 왔다. 본 연구는 최근 Web 2.0 시대의 도래로 인해 사용자들이 구입한 상품에 대한 솔직한 의견을 인터넷 상에 자유롭게 표현한다는 점에 착안하여, 사용자가 직접 작성한 리뷰를 참고하여 협업 필터링의 성능을 개선하는 새로운 추천 알고리즘을 제안하고, 이를 스마트폰 앱 추천 시스템에 적용하였다. 정성 정보인 사용자 리뷰를 정량화하기 위해 본 연구에서는 텍스트 마이닝을 활용하였다. 구체적으로 본 연구의 추천시스템은 사용자간 유사도를 산출할 때, 사용자 리뷰의 유사도를 추가로 반영하여 보다 정밀하게 사용자간 유사도를 산출할 수 있도록 하였다. 이 때, 사용자 리뷰의 유사도를 산출하는 접근법으로 중복 사용된 색인어의 빈도로 산출하는 방안과 TF-IDF(Term Frequency - Inverse Document Frequency) 가중치 합으로 산출하는 2가지 방안을 제시한 뒤 그 성능을 비교해 보았다. 실험결과, 제안 알고리즘을 통한 추천, 즉 사용자 리뷰의 유사도를 추가로 반영하는 알고리즘이 평점만을 고려하는 전통적인 협업 필터링과 비교해 더 우수한 예측정확도를 나타냄을 확인할 수 있었다. 아울러, 중복 사용 단어의 TF-IDF 가중치의 합을 고려했을 때, 단순히 중복 사용 단어의 빈도만을 고려했을 때 보다 조금 더 나은 예측정확도를 얻을 수 있음도 함께 확인할 수 있었다.

재무예측을 위한 Support Vector Machine의 최적화 (Optimization of Support Vector Machines for Financial Forecasting)

  • 김경재;안현철
    • 지능정보연구
    • /
    • 제17권4호
    • /
    • pp.241-254
    • /
    • 2011
  • Support vector machines(SVM)은 비교적 최근에 등장한 데이터마이닝 기법이지만, 재무, CRM 등의 경영학 분야에서 많이 연구되고 있다. SVM은 인공신경망과 필적할 만큼의 예측 정확도를 보이는 사례가 많았지만, 암상자로 불리는 인공신경망 모형에 비해 구축된 예측모형의 구조를 이해하기 쉽고, 인공신경망에 비해 과도적합의 가능성이 적어서 적은 수의 데이터에서도 적용 가능하다는 장점을 가지고 있다. 하지만, 일반적인 SVM을 이용하려면, 인공신경망과 마찬가지로 여러 가지 설계요소들을 설계자가 선택하여야 하기 때문에 임의성이 높고, 국부 최적해에 수렴할 가능성도 크다. 또한, 많은 수의 데이터가 존재하는 경우에는 데이터를 분석하고 이용하는데 시간이 소요되고, 종종 잡음이 심한 데이터가 포함된 경우에는 기대하는 수준의 예측성과를 얻지 못할 가능성이 있다. 본 연구에서는 일반적인 SVM의 장점을 그대로 유지하면서, 전술한 두 가지 단점을 보완한 새로운 SVM 모형을 제안한다. 본 연구에서 제안하는 모형은 사례선택기법을 일반적인 SVM에 융합한 것으로 대용량의 데이터에서 예측에 불필요한 데이터를 선별적으로 제거하여 예측의 정확도와 속도를 제고할 수 있는 방법이다. 본 연구에서는 잡음이 많고 예측이 어려운 것으로 알려진 재무 데이터를 활용하여 제안 모형의 유용성을 확인하였다.

A data mining approach to compressive strength of CFRP-confined concrete cylinders

  • Mousavi, S.M.;Alavi, A.H.;Gandomi, A.H.;Esmaeili, M. Arab;Gandomi, M.
    • Structural Engineering and Mechanics
    • /
    • 제36권6호
    • /
    • pp.759-783
    • /
    • 2010
  • In this paper, compressive strength of carbon fiber reinforced polymer (CFRP) confined concrete cylinders is formulated using a hybrid method coupling genetic programming (GP) and simulated annealing (SA), called GP/SA, and a robust variant of GP, namely multi expression programming (MEP). Straightforward GP/SA and MEP-based prediction equations are derived for the compressive strength of CFRP-wrapped concrete cylinders. The models are constructed using two sets of predictor variables. The first set comprises diameter of concrete cylinder, unconfined concrete strength, tensile strength of CFRP laminate, and total thickness of CFRP layer. The most widely used parameters of unconfined concrete strength and ultimate confinement pressure are included in the second set. The models are developed based on the experimental results obtained from the literature. To verify the applicability of the proposed models, they are employed to estimate the compressive strength of parts of test results that were not included in the modeling process. A sensitivity analysis is carried out to determine the contributions of the parameters affecting the compressive strength. For more verification, a parametric study is carried out and the trends of the results are confirmed via some previous studies. The GP/SA and MEP models are able to predict the ultimate compressive strength with an acceptable level of accuracy. The proposed models perform superior than several CFRP confinement models found in the literature. The derived models are particularly valuable for pre-design purposes.

자기조직화 지도를 활용한 성장모형 기반의 시장 성장패턴 지도 구축: ICT제품을 중심으로 (Development of Market Growth Pattern Map Based on Growth Model and Self-organizing Map Algorithm: Focusing on ICT products)

  • 박도형;정재권;정여진;이동원
    • 지능정보연구
    • /
    • 제20권4호
    • /
    • pp.1-23
    • /
    • 2014
  • 시장 예측은 일정 기간 동안 소비자에게 판매되는 동종 제품 또는 서비스의 수량 혹은 매출액의 규모를 추정하는 활동으로 정의할 수 있다. 정확한 시장 예측은 기업의 입장에서 새로운 제품의 도입시기 결정, 제품 설계, 생산계획 수립, 마케팅 전략 수립 등에 활용됨으로써 경영활동에 있어 효율적인 의사결정을 내릴 수 있게 하고, 정부의 입장에서는 발전 가능성이 있는 분야에 국가예산을 더 배분할 수 있는 효율적인 예산수립이 가능하게 한다. 본 연구는 정보통신기술(Information and Communication Technology: ICT) 분야의 제품 및 서비스에 대해서 과거의 시계열 자료를 이용하여 시장 성장곡선을 도출하고, 성장패턴이 비슷한 그룹으로 분류하여, 산업 내 시장에 대해 이해하고, 제품들의 미래 전망을 예측하는 데 목적이 있다. 다양한 아이템들을 통일되고 일관적인 방법으로 예측하기 위하여, 로지스틱 모형, 곰페르츠 모형, Bass 모형의 세 가지 전통적인 성장모형과 로지스틱 모형이나 곰페르츠 모형에서 도출되는 잠재시장 크기를 Bass 모형에 결합시킨 두 가지 하이브리드 성장모형을 개발하여 비교 분석하였다. 데이터 설명력이 우수한 로지스틱 + Bass 모형을 최적의 모형으로 선정하여 ICT 제품 및 서비스들 각각의 시장 성장곡선 모수를 확인하였다. 도출된 모수를 데이터로 하여, 자기조직화 지도 알고리즘을 통해, 5개의 의미 있는 영역으로 구분된 시장 성장패턴 지도가 구축되었는데, 각 영역별로 차별화된 특징과 성장패턴을 가지고 있었다. 본 연구에서 제안한 프로세스 및 시스템은 산업 시장 분석 시스템의 수요 예측 기능으로 활용될 수 있으며, ICT 산업뿐만 아니라 다양한 산업 및 분야에도 적용 가능할 것으로 기대된다.

나이브베이즈 분류모델과 협업필터링 기반 지능형 학술논문 추천시스템 연구 (A Study of Intelligent Recommendation System based on Naive Bayes Text Classification and Collaborative Filtering)

  • 이상기;이병섭;박병용;황혜경
    • 정보관리연구
    • /
    • 제41권4호
    • /
    • pp.227-249
    • /
    • 2010
  • 정보기술과 인터넷의 발달로 학술정보가 폭발적으로 증가하고 있다. 정보 과잉으로 인해 연구자들은 필요한 정보를 찾거나 필터링하는데 더 많은 시간과 노력을 투입하고 있다. 이용자들이 원하는 정보를 예측하여 관심 가질만한 정보를 선별하여 추천하는 시스템을 전문가시스템, 데이터마이닝, 정보검색 등 다양한 분야에서 오래 전부터 연구하여 왔다. 최근에는 콘텐츠기반추천시스템과 협업필터링을 결합하거나 다른 분야 모델을 접목한 하이브리드 추천시스템으로 발전하고 있다. 본 연구에서는 기존 추천시스템 문제를 해결하고 대규모 정보센터나 도서관에서 학술논문을 효율적이고 지능적으로 추천하기 위해 협업필터링과 나이브베이즈모델을 결합한 새로운 방식의 추천시스템을 제시하였다. 즉, 협업필터링 방식으로 과도한 특성화(Over-specialization) 문제를 해결하고, 나이브베이즈모델을 통해 평가정보나 이용정보가 부족한 신규콘텐츠 추천문제를 해소하였다. 본 모델을 검증하기 위해 한국과학기술정보연구원 NDSL에서 제공하는 식품과 전기 분야 학술논문에 적용하여 실험하였다. 현재 NDSL 이용자 4명에게 피드백을 받은 결과 추천논문에 상당히 만족하는 것으로 나타났다.

소셜 네트워크와 데이터 마이닝 기법을 활용한 학문 분야 중심 및 융합 키워드 추천 서비스 (Recommending Core and Connecting Keywords of Research Area Using Social Network and Data Mining Techniques)

  • 조인동;김남규
    • 지능정보연구
    • /
    • 제17권1호
    • /
    • pp.127-138
    • /
    • 2011
  • 대부분의 연구포털 사이트는 관심 분야의 논문을 획득하고자 하는 연구자를 대상으로 한 서비스를 주로 제공하고 있다. 하지만 이러한 서비스는 정확한 서지사항을 알고 있는 일부 사용자의 경우 손쉽게 이용할 수 있지만, 대부분의 이용자는 원하는 자료를 획득하기 위해 키워드 검색을 통한 반복적 시행착오를 겪게 된다. 특히 사용자가 익숙하지 않은 분야의 논문을 검색하는 경우에는, 찾고자 하는 논문의 적절한 키워드 자체를 알지 못하여 검색에 큰 어려움을 겪게 된다. 이러한 한계를 극복하기 위해 일부 연구포털 사이트에서는 온라인 쇼핑몰의 상품 추천에 주로 사용되어온 연관관계 분석 기반 키워드 추천 서비스를 채택하고 있다. 하지만 연관관계 분석에만 기반한 키워드 추천 방식은 두 키워드간의 단편적인 관계만을 알려줄 뿐, 해당 학술 분야와 관련된 전체 키워드 간의 복합적 연결 관계를 보여주기에는 한계가 있다. 따라서 본 논문에서는 연관관계 분석을 통해 빈발 출현 키워드 쌍을 추출하고 이를 근거로 전체 키워드 간 네트워크를 구축함으로써, 학술 분야별 중심 키워드 및 분야 간 융합을 위한 연계 키워드를 추천하기 위한 방법을 제시하고자 한다.

홍국Monascus purpureus에서 진균 PKS-NRPS 하이브리드 유전자의 발현 유도를 통한 미지 polyene 화합물의 생성 (Production of a hypothetical polyene substance by activating a cryptic fungal PKS-NRPS hybrid gene in Monascus purpureus)

  • 서재원;발라크리슈난 비지누;임윤지;이도원;최정주;박시형;권형진
    • Journal of Applied Biological Chemistry
    • /
    • 제61권1호
    • /
    • pp.83-91
    • /
    • 2018
  • 박테리아와 진균의 유전체 정보 탐색을 통하여 이차대사 생합성을 지정하는 다수의 잠재 유전자군을 찾을 수 있으며, 유전체 정보를 기반으로 특정 유전자의 발현을 활성화하여 잠재 유전자군의 생성물을 추론하고, 해당 물질의 생물학적 기능을 연구하는 것이 가능하다. 동아시아 지역에서 잘 알려진 식용 사상진균 홍국에 대하여 몇 몇 유전체 정보가 공개되어있으며, 본 연구에서는 Monascus purpureus ${\Delta}MpPKS5$ 균주에서 polyketide synthase-nonribosomal peptide synthase 유전자 Mpfus1 상단에 Aspergillus gpdA 프로모터를 삽입하는 방식으로 이 유전자의 발현을 활성화하였다. Mpfus1 유전자군은 2-pyrrolidone/conjugated polyene 구조를 갖는 물질의 생합성 유전자군들과 높은 유사성을 보이며, 이들 화합물 그룹에서 진균 독소인 fusarin이 잘 알려져 있다. ${\Delta}MpPKS5$ 균주는 홍국 azaphilone 색소 생산 능력이 소실된 균주이며 색소 및 자외선 흡수 특성을 보이는 화합물들의 동정에 적절한 균주이다. Mpfus1 활성화는 균사체가 노란색을 띠도록 유도하며, 균사체의 methanol 추출액은 365 nm에서 최대 흡광도를 보임을 확인할 수 있었다. 해당 추출액의 HPLC 분석을 통하여 다수의 화합물들이 포함되어 있음을 확인할 수 있었으며 이를 통하여 MpFus1 효소의 생성물이 대사적, 화학적으로 불안정함을 추론할 수 있다. Mpfus1 활성화 균주 추출물을 LC-MS로 분석하여 MpFus1 생성물의 구조를 유추하여 Mpfus1 유전자군이 fusarin의 탈메틸 유사체 생합성을 지정하는 것으로 제안할 수 있었다. 본 연구는 홍국 균주에서 유전체 기반-미지 화합물 발굴 연구의 예를 제시하고 홍국 균주에서 새로운 생리활성의 동정 가능성을 시사하여 준다.

협업 필터링 및 하이브리드 필터링을 이용한 동종 브랜드 판매 매장간(間) 취급 SKU 추천 시스템 (SKU recommender system for retail stores that carry identical brands using collaborative filtering and hybrid filtering)

  • 조용민;남기환
    • 지능정보연구
    • /
    • 제23권4호
    • /
    • pp.77-110
    • /
    • 2017
  • 최근 인터넷 기반의 웹 및 모바일 기기를 통한 소비 패턴의 다양화와 개성화가 급진전됨에 따라 전통적 유통채널인 오프라인 매장의 효율적 운영이 더욱 중요해졌다. 매장의 매출과 수익 모두를 제고하기 위해 매장은 소비자에게 가장 매력적인 상품을 적시에 공급-판매 해야 하는데 많은 상품들 중에서 어떤 SKU를 취급하는 것이 판매 확률을 높이고 재고 비용을 낮출 수 있는지에 대한 연구가 부족한 실정이다. 특히, 여러 지역에 걸쳐 다수의 오프라인 매장을 통해 상품을 판매하는 기업의 경우 고객에게 매력적인 적절한 SKU를 추천 받아 취급할 수 있다면 매장의 매출 및 수익률 제고에 도움이 될 것이다. 본 연구에서는 개인화 추천에 이용되어 왔던 협업 필터링과 하이브리드 필터링 등의 추천 시스템(Recommender System)을 국가별, 지역별로 복수의 판매 매장을 통해 동종 브랜드를 취급하는 유통 기업의 매장 단위 취급 SKU 추천 방식을 제안하였다. 각 매장의 취급 품목별 구매 데이터를 활용하여 각 매장 별 유사성(Similarity)을 계산하고 각 매장의 SKU별 판매 이력에 따라 협업 필터링을 하여 최종적으로 매장에 개별 SKU를 추천하였다. 또한 매장 프로파일 데이터를 활용하여 주변수 분석 (PCA : Principal Component Analysis) 및 군집 분석(Clustering)을 통하여 매장을 4개의 군집으로 분류한 뒤 각 군집 내에서 협업 필터링을 적용한 하이브리드 필터링 방식으로 추천 시스템을 구현하고 실제 판매 데이터를 바탕으로 두 방식의 성능을 측정하였다. 현존하는 대부분의 추천 시스템은 사용자에게 영화, 음악 등의 아이템을 추천하는 방식으로 연구가 진행되어 왔고 실제로 산업계에서의 적용 또한 개인화 추천 시스템이 주류를 이루고 있다. 그 동안 개인화 서비스 영역에서 주로 다루어져 왔던 이러한 추천 시스템을 동종 브랜드를 취급하는 유통 기업의 매장 단위에 적용하여 각 매장의 취급 SKU를 추천하는 방식에 대한 연구는 거의 이루어지지 않고 있는 실정이다. 기존 추천 방법론의 추천 적용 대상이 '개인의 영역이었다면 본 연구에서는 국가별, 지역별로 복수의 판매 매장을 통해 개인의 영역을 넘어 매장의 영역으로 확대하여 동종 브랜드를 취급하는 유통 기업의 매장 단위 취급 SKU 추천 방식을 제안하고 있다. 또한 기존의 추천시스템은 온라인에 한정되었다면 이를 오프라인으로 활용 범위를 넓히고, 기존 개인을 기반으로 분석을 하는 것보다 매장영역으로 확대 적용하기에 적합한 알고리즘을 개발하기 위해 데이터마이닝 기법을 적용하여 추천 방법을 제안한다. 본 연구의 결과가 갖는 의의는 개인화 추천 알고리즘을 동일 브랜드를 취급하는 복수의 판매 매장에 적용하여 의미 있는 결과를 도출하고 실제 기업을 대상으로 시스템으로 구축하여 활용할 수 있는 구체적 방법론을 제시했다는 데에 있다. 개인화 영역을 위주로 이루어졌던 기존의 추천 시스템과 관련한 학계의 연구 영역을 동종 브랜드를 취급하는 기업의 판매 매장으로 확장시킨 첫 시도라는 데에도 의미가 있다. 2014년 03주차 ~ 05주차 전(全) 매장 판매 수량 실적 Top 100개 SKU로 추천의 대상을 한정하여 협업 필터링과 하이브리드 필터링 방식으로 52개 매장 별로 취급 SKU를 추천하고, 추천 받은 SKU에 대한 2014년 06주차 매장별 판매 실적을 집계하여 두 추천 방식의 성과를 비교하였다. 두 추천 방식을 비교한 이유는 본 연구의 추천 방법이 기존 추천 방식 보다 높은 성과를 입증하기 위해 단순히 오프라인에 협업필터링을 적용한 것을 기준 모델로 정의하였다. 이 기준 모델에 오프라인 매장 관점의 특성을 잘 반영한 본 연구 모델인 하이브리드 필터링 방법과 비교 함으로써 성과를 입증한다. 연구에서 제안한 방식은 기존 추천 방식보다 높은 성과를 나타냈으며, 이는 국내 대기업 의류업체의 실제 판매데이터를 활용하여 입증하였다. 본 연구는 개인 수준의 추천시스템을 그룹수준으로 확장하여 효율적으로 접근하는 방법을 이론적인 프레임 워크를 만들었을 뿐 아니라 실제 데이터를 기반으로 분석하여 봄으로써 실제 기업들이 적용해 볼 수 있다는 점에서 연구의 가치가 크다.

하이브리드 인공신경망 모형을 이용한 부도 유형 예측 (Bankruptcy Type Prediction Using A Hybrid Artificial Neural Networks Model)

  • 조남옥;김현정;신경식
    • 지능정보연구
    • /
    • 제21권3호
    • /
    • pp.79-99
    • /
    • 2015
  • 부도 예측은 회계와 재무 분야에서 꾸준히 연구되고 있는 분야이다. 초기에는 주로 다중판별분석(multiple discriminant analysis)와 로짓 분석(logit analysis)과 같은 통계적 방법을 이용하였으나, 1990년대 이후에는 경영 분야의 분류 문제를 위해 많은 연구자들이 인공신경망(back-propagation neural network), 사계기반추론(case-based reasoning), 서포트 벡터 머신(support vector machine) 등과 같은 인공지능을 통한 접근법을 이용하여 통계적 방법보다 분류 성과 측면에서 우수함을 입증해왔다. 기존의 기업의 부도에 관한 연구에서 많은 연구자들이 재무비율을 이용하여 부도 예측 모형을 구축하는 것에 초점을 맞추어왔다. 부도예측에 관한 연구가 꾸준히 진행되고 있는 반면, 부도의 세부적인 유형을 예측하여 제시하는 것에 대한 연구는 미흡한 실정이었다. 따라서 본 연구에서는 수익성, 안정성, 활동성 지표를 중심으로 국내 비외감 건설업 기업들의 부도 여부뿐만 아니라 부도의 세부적인 유형까지 예측 가능한 모형을 개발하고자 한다. 본 연구에서는 부도 유형을 예측하기 위해 두 개의 인공신경망 모형을 결합한 하이브리드 접근법을 제안하였다. 첫 번째 인공신경망 모형은 부도예측을 위한 역전파 인공신경망을 이용한 모형이며, 두 번째 인공신경망 모형은 부도 데이터를 몇 개의 유형으로 분류하는 자기조직화지도(self-organizing map)을 이용한 모형이다. 실험 결과를 통해 정의된 5개의 부도 유형인 심각한 부도(severe bankruptcy), 안정성 부족(lack of stability), 활동성 부족(lack of activity), 수익성 부족(lack of profitability), 회생 가능한 부도(recoverable bankruptcy)는 재무 비율에 따라 유형별로 상이한 특성을 갖는 것을 확인할 수 있었다. 본 연구 결과를 통해 신용 평가 분야의 연구자와 실무자들이 기업의 부도의 유형에 대한 유용한 정보를 얻을 것으로 기대한다.

Visualization of Flow in a Transonic Centrifugal Compressor

  • Hayami Hiroshi
    • 한국가시화정보학회:학술대회논문집
    • /
    • 한국가시화정보학회 2002년도 추계학술대회 논문집
    • /
    • pp.1-6
    • /
    • 2002
  • How is the flow in a rotating impeller. About 35 years have passed since one experimentalist rotating with the impeller. of a huge centrifugal blower made the flow measurements using a hot-wire anemometer (Fowler 1968). Optical measurement methods have great advantages over the intrusive methods especially for the flow measurement in a rotating impeller. One is the optical flow visualization (FV) technique (Senoo, et al., 1968) and the other is the application of laser velocimetry (LV) (Hah and Krain, 1990). Particle image velocimetries (PIVs) combine major features of both FV and LV, and are very attractive due to the feasibility of simultaneous and multi-points measurements (Hayami and Aramaki, 1999). A high-pressure-ratio transonic centrifugal compressor with a low-solidity cascade diffuser was tested in a closed loop with HFC134a gas at 18,000rpm (Hayami, 2000). Two kinds of measurement techniques by image processing were applied to visualize a flow in the compressor. One is a velocity field measurement at the inducer of the impeller using a PIV and the other is a pressure field measurement on the side wall of the cascade diffuser using a pressure sensitive paint (PSP) measurement technique. The PIV was successfully applied for visualization of an unsteady behavior of a shock wave based on the instantaneous velocity field measurement (Hayami, et al., 2002b) as well as a phase-averaged velocity vector field with a shock wave over one blade pitch (Hayami, et al., 2002a. b). A violent change in pressure was successfully visualized using a PSP measurement during a surge condition even though there are still some problems to be overcome (Hayami, et al., 2002c). Both PIV and PSP results are discussed in comparison with those of laser-2-focus (L2F) velocimetry and those of semiconductor pressure sensors. Experimental fluid dynamics (EFDs) are still growing up more and more both in hardware and in software. On the other hand, computational fluid dynamics (CFDs) are very attractive to understand the details of flow. A secondary flow on the side wall of the cascade diffuser was visualized based either steady or unsteady CFD calculations (Bonaiuti, et al.,2002). EFD and CFD methods will be combined to a hybrid method being complementary to each other. Measurement techniques by image processing as well as CFD calculations give a huge amount of data. Then, data mining technique will become more important to understand the flow mechanism both for EFD and CFD.

  • PDF