• 제목/요약/키워드: Mahout

검색결과 15건 처리시간 0.073초

Map-Reduce 프로그래밍 모델 기반의 나이브 베이스 학습 알고리즘 (Naive Bayes Learning Algorithm based on Map-Reduce Programming Model)

  • 강대기
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2011년도 추계학술대회
    • /
    • pp.208-209
    • /
    • 2011
  • 본 논문에서는, 맵-리듀스 모델 기반에서 나이브 베이스 알고리즘으로 학습과 추론을 수행하는 방안에 대해 소개하고자 한다. 이를 위해 Apache Mahout를 이용하여 분산 나이브 베이스 (Distributed Naive Bayes) 학습 알고리즘을 University of California, Irvine (UCI)의 벤치마크 데이터 집합에 적용하였다. 실험 결과, Apache Mahout의 분산 나이브 베이스 학습 알고리즘은 일반적인 WEKA의 나이브 베이스 학습 알고리즘과 그 성능면에서 큰 차이가 없음을 알 수 있었다. 이러한 결과는, 향후 빅 데이터 환경에서 Apache Mahout와 같은 맵-리듀스 모델 기반 시스템이 기계 학습에 큰 기여를 할 수 있음을 나타내는 것이다.

  • PDF

Design and Implementation of Collaborative Filtering Application System using Apache Mahout -Focusing on Movie Recommendation System-

  • Lee, Jun-Ho;Joo, Kyung-Soo
    • 한국컴퓨터정보학회논문지
    • /
    • 제22권7호
    • /
    • pp.125-131
    • /
    • 2017
  • It is not easy for the user to find the information that is appropriate for the user among the suddenly increasing information in recent years. One of the ways to help individuals make decisions in such a lot of information is the recommendation system. Although there are many recommendation methods for such recommendation systems, a representative method is collaborative filtering. In this paper, we design and implement the movie recommendation system on user-based collaborative filtering of apache mahout. In addition, Pearson correlation coefficient is used as a method of measuring the similarity between users. We evaluate Precision and Recall using the MovieLens 100k dataset for performance evaluation.

Design and Implementation of a User-based Collaborative Filtering Application using Apache Mahout - based on MongoDB -

  • Lee, Junho;Joo, Kyungsoo
    • 한국컴퓨터정보학회논문지
    • /
    • 제23권4호
    • /
    • pp.89-95
    • /
    • 2018
  • It is not easy for the user to find the information that is appropriate for the user among the suddenly increasing information in recent years. One of the ways to help individuals make decisions in such a lot of information is the recommendation system. Although there are many recommendation methods for such recommendation systems, a representative method is collaborative filtering. In this paper, we design and implement the movie recommendation system on user-based collaborative filtering of apache mahout based on mongoDB. In addition, Pearson correlation coefficient is used as a method of measuring the similarity between users. We evaluate Precision and Recall using the MovieLens 100k dataset for performance evaluation.

트위터 기반 접속 정보 통계 시스템 (Information Statistics Systems on Access to Twitter-Based)

  • 양새동;정회경
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2015년도 춘계학술대회
    • /
    • pp.541-543
    • /
    • 2015
  • IT 기술 발전과 스마트 기기의 대중화로 인해 SNS(Social Networking Service)를 사용하는 사용자들이 증가하고 있다. 이로 인해 SNS에서 발생하는 데이터들도 급증하고 있고, 이러한 데이터에서 가치를 창출하기 위해 IT 기업들은 기술 개발을 하고 있다. 본 논문에서는 트위터에서 발생하는 데이터의 가치를 창출하기 위해 트위터에 접속하는 정보를 통계 내는 시스템을 설계하고 구현하고자 한다. 제안하는 시스템은 트위터 데이터를 수집하고 NoSQL 기반으로 저장한 뒤에 Mahout 사용하여 사용자들의 접속 정보를 통계 내는 시스템이다. 개발 시스템을 이용하면 트위터 데이터에서 가치를 창출하기 위해 필요한 기술 개발의 배경 마련에 도움이 될 것이라고 예상된다.

  • PDF

금융 상품 추천에 관련된 빅 데이터 활용을 위한 개발 방법 (A study on development method for practical use of Big Data related to recommendation to financial item)

  • 김석수
    • 한국컴퓨터정보학회논문지
    • /
    • 제19권8호
    • /
    • pp.73-81
    • /
    • 2014
  • 본 연구에서는 활용 기술로 데이터 저장 레이어, 데이터 처리 레이어, 데이터 분석 레이어, 시각화 레이어 등의 빅 데이터 기술을 활용한 개발 방법을 제안한다, 각 단계에서 저장, 처리, 분석된 데이터는 시각화를 통하여 볼 수 있게 하였다. Hadoop을 통하여 데이터를 처리한 후 처리된 데이터를 Mahout으로 실행하여 분석 결과를 시각화 하였다. 이 과정을 통해서 금융 상품에 가입된 고객의 여러 특성을 파악하였고, 각 고객에 따른 금융 상품의 추천을 적시에 수행할 수 있었다. 본 연구에서는 빅 데이터의 배경 및 문제점을 소개하고, 빅 데이터가 새로운 비즈니스 기회를 어떻게 창출하는지 금융상품 추천 사례를 중심으로 개발 방법과 사례 연구를 논의한다.

트위터 사용자 정보 기반의 유사성 순위 시스템 (Twitter User Information based Users Similarity Ranking System)

  • 양새동;김재윤;사잔 쿠말;김창수;정회경
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2015년도 추계학술대회
    • /
    • pp.1051-1053
    • /
    • 2015
  • 트위터는 140자를 한 번에 올릴 수 있는 트윗을 사용하여 전 세계적으로 다양한 사람들과 소통할 수 있다. 또한, 트위터는 팔로우 기능을 제공하여 메신저와 같은 신속성도 제공한다. 이로 인해 트위터를 사용하는 사용자의 수가 급증하였고, 스마트 폰의 대중화로 인해 생활의 일부분이 되었다. 하지만 트위터의 많은 데이터로 인해 사용자의 정보와 유사한 사용자나 정보가 추천되지 않는 단점을 가지고 있다. 이러한 문제점을 보완하기 위하여 본 논문에서는 사용자의 정보 기반으로 유사성을 필터링하여 순위를 정하고 사용자에게 유사한 사용자나 정보를 추천하는 시스템을 제안한다. 본 논문에서 제안하는 시스템은 사용자의 트위터 계정을 사용하여 데이터를 수집하는 모듈과 수집된 데이터를 필터링 및 추천하는 모듈로 구성되어 있다. 이러한 모듈들은 Open API와 Mahout을 사용하여 설계 및 구현하였다.

  • PDF

제품관여 수준에 따라 소셜 정보가 추천 성능에 미치는 영향 (The Effects of Social Information on Recommendation Performance According to the Product Involvement Level)

  • 송희석;주석정;이재훈
    • Journal of Information Technology Applications and Management
    • /
    • 제21권4_spc호
    • /
    • pp.361-379
    • /
    • 2014
  • With the rapid increase of social network usage, there are emerging trends of adopting social information among online users in building recommendation system. This study aims to investigate whether the additional usage of social information can improve recommendation performance in recommendation system and how much the improvement can be different according to the product involvement level. As an experiment result, social information does not affect positively to the recommendation accuracy but affect significantly to the recommendation quality. Also social information contributed more sensitively to the improvement of recommendation quality in high product involvement domain.

Analysis Model Evaluation based on IoT Data and Machine Learning Algorithm for Prediction of Acer Mono Sap Liquid Water

  • Lee, Han Sung;Jung, Se Hoon
    • 한국멀티미디어학회논문지
    • /
    • 제23권10호
    • /
    • pp.1286-1295
    • /
    • 2020
  • It has been increasingly difficult to predict the amounts of Acer mono sap to be collected due to droughts and cold waves caused by recent climate changes with few studies conducted on the prediction of its collection volume. This study thus set out to propose a Big Data prediction system based on meteorological information for the collection of Acer mono sap. The proposed system would analyze collected data and provide managers with a statistical chart of prediction values regarding climate factors to affect the amounts of Acer mono sap to be collected, thus enabling efficient work. It was designed based on Hadoop for data collection, treatment and analysis. The study also analyzed and proposed an optimal prediction model for climate conditions to influence the volume of Acer mono sap to be collected by applying a multiple regression analysis model based on Hadoop and Mahout.

K-평균 군집을 이용한 마이크로타겟팅을 위한 SNS 빅데이터 활용 모델링에 관한 연구 (A Study on the Application Modeling of SNS Big-data for a Micro-Targeting using K-Means Clustering)

  • 송재오;이상문
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2015년도 제51차 동계학술대회논문집 23권1호
    • /
    • pp.321-324
    • /
    • 2015
  • 본 논문에서는 SNS에 존재하는 특정 제품과 브랜드 또는 기업에 대한 평가, 의견, 느낌, 사용 후기 등의 소비자 생각을 수집하여 기업에서 향후 신제품 개발이나 시장 진출 및 확대 등의 경영활동에 활용할 수 있도록 SNS 빅데이터를 문석하고, 이를 활용하여 보다 소집단화 되고 개인화 되어가는 Micro-Trend 중심의 마케팅 활동을 할 수 있는 Micro-Targeting 관련 분석 정보를 제공 모델링하는 것을 제안한다. 본 연구에서는 SNS 데이터의 수집, 저장, 분석에 대한 내용을 다루고 있으며, 특히 마이크로타겟팅을 위한 정보를 머하웃(Mahout)의 유클리드 거리 기반의 유사도와 K-평균 군집 알고리즘을 활용하여 구현하고자 하였다.

  • PDF