• 제목/요약/키워드: 빅데이터 기법

검색결과 785건 처리시간 0.025초

머신러닝을 이용한 의사결정트리 기반의 식품교환표 구성 모델 (Food Exchange Table Organization Model Based on Decision Tree Using Machine Learning)

  • 김지윤;이상민;전형준;김가은;김지현;박나은;진창균;권진영;김종완
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 추계학술발표대회
    • /
    • pp.680-684
    • /
    • 2020
  • 최근 국내에서는 식품에 대한 관심도가 높아짐에 따라 먹거리에 건강·환경·미래지향적 가치가 부여되고 있으며 식품 산업에서도 신규 식품 개발이 증가하는 추세이다. 식단을 구성할 때 기준이 되는 식품교환표는 개정과정에서 많은 인력과 시간이 소요되기 때문에 식품 섭취 변화를 신속하게 반영하기 어렵다. 본 논문에서는 식품교환표의 활용도를 높이기 위한 식품교환표 갱신 기법을 제안한다. 제안 기법은 의사결정트리 모델을 학습하여 새롭게 추가된 식품의 정보를 바탕으로 식품군을 분류하여 식품교환표를 갱신한다. 이는 영양 관리가 필요한 당뇨병 환자 등에게 실용적이며 기호성·다양성이 높은 식단을 구성하는 데 도움을 준다.

빅데이터 기반 추천시스템 구현을 위한 다중 프로파일 앙상블 기법 (A Multimodal Profile Ensemble Approach to Development of Recommender Systems Using Big Data)

  • 김민정;조윤호
    • 지능정보연구
    • /
    • 제21권4호
    • /
    • pp.93-110
    • /
    • 2015
  • 기존의 협업필터링 추천시스템 연구는 상품에 대한 고객의 평점(rating)이나 구매 여부 데이터로부터 하나의 프로파일을 생성하고 이를 기반으로 추천 성능을 향상시킬 수 있는 새로운 알고리즘을 개발하는 위주로 진행되어 왔다. 그러나 빅데이터 환경이 도래하면서 기업이 수집할 수 있는 고객 데이터가 풍부해지고 다양해짐에 따라, 보다 정확하게 고객의 선호도나 행태를 파악하는 것이 가능하게 되었고 이러한 데이터, 즉 퍼스널 빅데이터(personal big data)를 추천시스템에 활용하는 연구의 필요성이 대두되고 있다. 본 연구에서는 마케팅의 시장세분화 이론에 근거하여 퍼스널 빅데이터로부터 고객의 선호도나 행태를 다양한 관점에서 표현할 수 있는 5종의 다중 프로파일(multimodal profile)을 개발하고, 이를 활용하여 협업필터링 추천시스템의 성능을 개선하고자 한다. 제안하는 5종의 다중 프로파일은 프로파일 통합 유사도, 개별 프로파일 유사도 평균, 개별 프로파일 유사도 가중 평균이라는 세 가지 앙상블 기법을 통해 협업필터링의 이웃(neighborhood) 탐색과정에 적용된다. 실제 퍼스널 빅데이터에 본 연구에서 제안하는 방법론을 적용한 결과, 단일 프로파일을 사용하는 협업필터링 알고리즘보다 추천 성능이 상당히 개선되었으며 앙상블 방법 중에서는 개별 프로파일 유사도 가중 평균 기법이 가장 높은 추천 성능을 보여주었다. 본 연구는 빅데이터 환경에서 추천시스템을 개발하고자 할 때, 어떠한 성격의 데이터로부터 고객의 특성을 규명하는 프로파일을 만들고 이를 어떻게 결합하여 사용하는 것이 효과적인 지 처음으로 제안하였다는 점에서 그 의의가 있다.

악성코드로부터 빅데이터를 보호하기 위한 이미지 기반의 인공지능 딥러닝 기법 (Image-based Artificial Intelligence Deep Learning to Protect the Big Data from Malware)

  • 김혜정;윤은준
    • 전자공학회논문지
    • /
    • 제54권2호
    • /
    • pp.76-82
    • /
    • 2017
  • 랜섬웨어를 포함한 악성코드를 빠르게 탐지하여 빅데이터를 보호하기 위해 본 연구에서는 인공지능의 딥러닝으로 학습된 이미지 분석을 통한 악성코드 분석 기법을 제안한다. 우선 악성코드들에서 일반적으로 사용하는 2,400여개 이상의 데이터를 분석하여 인공신경망 Convolutional neural network 으로 학습하고 데이터를 이미지화 하였다. 추상화된 이미지 그래프로 변환하고 부분 그래프를 추출하여 악성코드가 나타내는 집합을 정리하였다. 제안한 논문에서 추출된 부분 집합들 간의 비교 분석을 통해 해당 악성코드들이 얼마나 유사한지를 실험으로 분석하였으며 학습을 통한 방법을 이용하여 빠르게 추출하였다. 실험결과로부터 인공지능의 딥러닝을 이용한 정확한 악성코드 탐지 가능성과 악성코드를 이미지화하여 분류함으로써 더욱 빠르고 정확한 탐지 가능성을 보였다.

프로세스 마이닝 기법을 활용한 공급망 분석: 사례 연구 (Process analysis in Supply Chain Management with Process Mining: A Case Study)

  • 이용혁;이호정;송민석;이상진;박세라
    • 한국빅데이터학회지
    • /
    • 제1권2호
    • /
    • pp.65-78
    • /
    • 2016
  • 기업 환경의 급격한 변화와 복잡성의 증가에 따라 다양한 장점을 지닌 기업들이 협력을 통해 고객에게 짧은 시간에 최상의 가치를 제공해주는 것이 중요해 지고 있다. 이를 위해 기업은 다양한 공급망에 참여하게 되고, 기업의 공급망 관리에 대한 중요성은 점차 증대되고 있다. 이러한 공급망 관리의 효율성을 높이기 위해 공급망 상에서 생성되는 데이터의 효과적인 분석이 필요하다. 본 연구에서는 프로세스 마이닝 기법을 활용한 공급망 데이터 분석을 제안한다. 프로세스 마이닝 기법이 적용 가능한 공급망 데이터의 분석 범주를 도출하고, 프로세스 마이닝을 활용한 다양한 분석을 제안하다. 이를 통해 기업은 공급망 관리에 대한 인사이트를 얻고 공급망 관리 프로세스의 개선 및 효율화가 가능하다. 사례 연구를 통해 프로세스 마이닝을 활용한 공급망 데이터 분석의 유효성을 검증하였다.

  • PDF

데이터마이닝 기법을 활용한 상수 이용현황 분석 및 단기 물 수요예측 방법 비교 (The Comparison Among Prediction Methods of Water Demand And Analysis of Data on Water Services Using Data Mining Techniques)

  • 안지훈;김진화
    • 한국빅데이터학회지
    • /
    • 제1권1호
    • /
    • pp.9-17
    • /
    • 2016
  • 본 연구에서는 상수관망에 설치된 유량, 압력 센서를 통해 취득한 빅데이터에 대해 데이터마이닝 기법을 활용하여 해당 공급권역의 특성을 파악하고 그 정보에 기반하여 상수 공급에 있어서 유의할 점 등을 도출해보고자 하였다. 또한, 상수 사용에 대한 단기 수요예측을 수행하는데 있어서도 통계적 방법인 다중회귀분석과 데이터마이닝의 인공신경망 기법을 비교하여 좀 더 정확한 수요예측을 할 수 있는 모델을 제시해보고자 하였다. 데이터 수집과 테스트를 위하여 지자체 한 군의 소블록 지역을 대상으로 선정하였다. 해당 지역은 가정용 수요 외에도 관공서, 병원 등의 대형 업무용 수요도 일부 존재하고 있는 지역이다. 해당 지역의 센서를 통해 취득되는 연속 발생 데이터를 수집하였다. 이런 방식을 통해 취득된 데이터는 총 2,728건이며 이 중 2,632건은 예측모델을 생성하는데 96건은 예측모델의 예측력을 테스트 하는 데에 활용하였다. 이러한 테스트를 수행한 결과 상수 수요예측에 있어서 인공신경망이 다중회귀분석에 비교하여 더 좋은 예측율을 보였다.

  • PDF

ITS 빅데이터를 활용한 도시 교통네트워크 구조분석 (Analysis of Urban Traffic Network Structure based on ITS Big Data)

  • 김용연;이경희;조완섭
    • 한국빅데이터학회지
    • /
    • 제2권2호
    • /
    • pp.1-7
    • /
    • 2017
  • ITS(Intelligent Transport Systems)는 시민들의 교통이용 안전과 편의를 도모하고 교통 시스템의 효율적인 운영 및 관리를 위해 대도시를 중심으로 도입되었다. 우리나라의 경우 ITS가 전국적으로 확대되면서 도로소통상황, 교통량, 대중교통운영현황 및 관리상황, 대중교통이용현황 등 다양한 교통정보가 생성되고 있다. 본 논문에서는 ITS에서 수집되는 데이터 중 하나인 DSRC(Dedicated Short Range Communications) 빅데이터를 활용하여 도시 교통구조를 네트워크 분석 기법을 통해 규명한다. 이를 통해 도심에서의 복잡한 교통현상을 단순화시키고, 차량 흐름에 따른 도시 교통의 구조적 특징을 도출한다. 분석 결과는 도시의 교통을 좀 더 쉽게 이해할 수 있도록 도와주고, 향후에 도시교통의 혼잡 해소방안, 도로 확장 계획 등의 교통정책 수립시 기초연구 자료로 활용할 수 있다.

  • PDF

농작물 생육환경정보와 생체정보 분석을 위한 빅데이터 모델 (Big Data Model for Analyzing Plant Growth Environment Informations and Biometric Informations)

  • 이종열;문창배;김병만
    • 한국산업정보학회논문지
    • /
    • 제25권6호
    • /
    • pp.15-23
    • /
    • 2020
  • 기후 변화에 대응하기 위한 농업분야의 연구활동이 활발하게 이루어지고 있는 가운데 4차 산업혁명에 맞춰 정보통신기술을 활용한 스마트농업이 새로운 트랜드가 되었다. 이에 따라 다양한 노지 환경과 토양 조건에서 농작물의 스트레스를 모니터링하여 생육 이상 징후를 미리 식별하고 대응하려는 연구가 진행되고 있다. 다양한 센서를 거쳐 실시간으로 수집되는 데이터들을 인공지능 기법이나 빅데이터 기술을 활용하여 분석하려는 시도도 있다. 본 논문은 빅데이터 분석을 위해 기존 관계형 데이터베이스를 이용하여 농작물의 생육환경정보와 생체정보 분석에 효과적인 빅데이터 모델을 제안한다. 모델의 성능은 데이터 양에 따른 쿼리에 대한 응답 시간으로 측정하였다. 그 결과 최대 23.8%의 시간 단축 효과가 있음을 확인할 수 있었다.

최신 웹 크롤링 알고리즘 분석 및 선제적인 크롤링 기법 제안 (A proposal on a proactive crawling approach with analysis of state-of-the-art web crawling algorithms)

  • 나철원;온병원
    • 인터넷정보학회논문지
    • /
    • 제20권3호
    • /
    • pp.43-59
    • /
    • 2019
  • 오늘날 스마트폰의 보급과 SNS의 발달로 정형/비정형 빅데이터는 기하급수적으로 증가하였다. 이러한 빅데이터를 잘 분석한다면 미래 예측도 가능할 만큼 훌륭한 정보를 얻을 수 있다. 빅데이터를 분석하기 위해서는 먼저 대용량의 데이터 수집이 필요하다. 이러한 데이터가 가장 많이 저장되어 있는 곳은 바로 웹 페이지다. 하지만 데이터의 양이 방대하기 때문에 유용한 정보를 가진 데이터가 많은 만큼 필요하지 않은 정보를 가진 데이터도 많이 존재한다. 그렇기 때문에 필요하지 않은 정보를 가진 데이터는 거르고 유용한 정보를 가진 데이터만을 수집하는 효율적인 데이터 수집의 중요성이 대두되었다. 웹 크롤러는 네트워크 대역폭, 시간적인 문제, 하드웨어적인 저장소 등의 제약으로 인해 모든 페이지를 다운로드 할 수 없다. 그렇기 때문에 원하는 내용과 관련 없는 많은 페이지들의 방문은 피하며 가능한 빠른 시간 내에 중요한 페이지만을 다운로드해야한다. 이 논문은 위와 같은 이슈의 해결을 돕고자한다. 먼저 기본적인 웹 크롤링 알고리즘들을 소개한다. 각 알고리즘마다 시간복잡도와 장단점을 설명하며 비교 및 분석한다. 다음으로 기본적인 웹 크롤링 알고리즘의 단점을 개선한 최신 웹 크롤링 알고리즘들을 소개한다. 더불어 최근 연구 흐름을 보면 감성어휘 수집과 같은 특수한 목적을 가진 웹 크롤링 알고리즘의 대한 연구가 활발히 이루어지고 있다. 특수 목적을 가진 웹 크롤링 알고리즘에 대한 연구로써 선제적인 웹 크롤링 기법으로 감성 반응 웹 크롤링(Sentiment-aware Web Crawling) 기법을 소개한다. 실험결과 데이터의 크기가 커질수록 기존방안보다 높은 성능을 보였고 데이터베이스의 저장 공간도 절약되었다.

XAI를 활용한 통신사 이탈고객의 특성 이해와 마케팅 적용방안 연구 (Research on Understanding Churned Customer and Application of Marketing in Telco. industry Using XAI)

  • 임진희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.21-24
    • /
    • 2022
  • 최근 통신업계에서는 축적된 빅데이터를 활용하여 고객의 특성을 이해하고 맞춤형 마케팅에 이용하려는 노력이 지속되어 왔다. 본 연구에서는 CatBoost 모델을 사용하여 이탈 가능성이 높은 고객을 예측하고 XAI(eXplainable Artificial Intelligence) 기법 중 하나인 SHAP을 적용하여 이탈에 영향을 미치는 요인을 설명하고자 하였다. SHAP의 global explanation 기법을 사용하여 특정 고객 segmentation 에 대한 이해력을 높이고, local explanation 기법을 사용하여 개별 고객에 대한 설명과 개인화 마케팅에 적용 가능성을 제시하였다. 본 연구는 기존의 이탈 예측모델인 블랙박스 모델이 갖는 한계점을 극복하고 고객의 특성을 이해하여 실제 비즈니스에 활용 가능성을 높였다는 점에서 의의를 가진다.

빅데이터 분석 기반의 제품 평판 마이닝 알고리즘 (An algorithm for mining the reputation of a product based on big data analytics)

  • 박상민;박새빛;온병원
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 춘계학술발표대회
    • /
    • pp.420-423
    • /
    • 2016
  • 최근 여론조사 분야에서 빅데이터 분석 기법이 널리 활용되고 있다. 기업에서는 최근 출시된 제품에 대한 선호도를 조사하기 위해 기존의 설문조사나 전문가의 의견을 단순 취합하는 것이 아니라, 온라인상에 존재하는 다양한 종류의 데이터를 수집하고 분석하여 제품에 대한 대중의 기호를 정확히 파악할 수 있는 방안이 필요하다. 본 연구에서는 빅데이터로부터 제품의 평판을 자동으로 찾아내는 텍스트 마이닝 방안을 제안하고, 소나타 자동차를 중심으로 제안 방안의 효율성을 평가하고 실험 결과를 자세히 분석한다.