• 제목/요약/키워드: 빅데이터 마이닝

검색결과 455건 처리시간 0.027초

데이터 마이닝을 이용한 빅데이터 분석 시스템 적용 방안 (Applied Method of Analysis System Using Data Mining for Big Data)

  • 전중호;박석천;김종현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.1230-1233
    • /
    • 2013
  • 스마트폰의 배급과 SNS의 성장으로 최근 데이터양은 급증하고 있다. IDC에 따르면 지난 10년간 생성된 데이터 보다 최근 2년 사이에 생성된 데이터양이 많은 걸로 나타났고 앞으로 점점 늘어날 것으로 예상된다. 이러한 대규모의 데이터인 빅데이터가 사회적 이슈가 되고 있고 이를 활용하려는 시도가 끊임없이 일어나고 있다. 본 논문에서는 빅데이터 상의 데이터 마이닝을 통하여 고객의 패턴을 분석하고 이용자에게 신뢰성 있는 데이터를 제공 할 수 있는 방안을 제시한다.

빅데이터 환경에서 프로세스 마이닝을 이용한 영업감사 상시 모니터링 강화에 대한 연구 (A Study on Continuous Monitoring Reinforcement for Sales Audit Using Process Mining Under Big Data Environment)

  • 유영석;박한규;백승훈;홍성찬
    • 인터넷정보학회논문지
    • /
    • 제17권6호
    • /
    • pp.123-131
    • /
    • 2016
  • 빅데이터 환경 하에서 프로세스 마이닝은 업무수행 시 발생하는 수많은 데이터들을 활용하여 기업의 ERP시스템 상의 이벤트 로그로부터 프로세스의 수행과 개선에 관련한 많은 정보 및 통찰력을 얻게 해준다. 최근에는 프로세스 마이닝의 최대 강점을 활용하여, 기업조직의 감사업무에 적극적으로 활용하려고 하는 다양한 연구 활동이 활발히 진행 중에 있다. 그러나 프로세스 마이닝을 이용한 영업감사 적용에 관한 최근의 국내 연구는 빅데이터 환경 하에서는 매우 미흡한 실정이다. 이러한 상황에 착안해서, 본 연구는 프로세스 마이닝이 감사 분야에 적용된 기존 연구를 한층 더 강화시킴으로써, 온라인 방식 및 전통적 감사에 최적으로 적용할 수 있는 프로세스 마이닝 적용 방안을 제안하고자 한다. 또한 빅데이터 환경하에서 기업 조직의 리스크 발생 요인들을 사전에 모니터링함으로써, 리스크의 조기 발견 및 이를 예방할 수 있는 상시 모니터링 정보 서비스 시스템을 제안한다. 이를 위해서 리스크 요인을 기반으로 데이터들을 추출하고 평가에 대한 관리기준을 설정한다. 본 논문의 연구의 범위는 영업감사에 있어 실제 사례를 통해 위험요소의 사전 검증 시스템을 설계 한다. 그리고 이러한 영업감사 시스템을 통해 예방감사 실현, 높은 리스크 요인들에 대한 상시 대응, 사기 발생 억제, 규칙 및 지침 위반에 대한 적시조치, 경영환경 변화에 대한 감사 아이템 추가 발굴 체계 구축, 프로세스 개선 중심의 사전적인 컨설팅 감사의 실현, 내부통제 회계제도 준수 및 강화를 행한다. 이 결과로 영업 감사 실시간 관련 통합 모니터링이 강화되어 재무 리스크 회피, 감사기간 단축 및 감사 품질 개선 등의 효과가 나타났다.

PPFP(Push and Pop Frequent Pattern Mining): 빅데이터 패턴 분석을 위한 새로운 빈발 패턴 마이닝 방법 (PPFP(Push and Pop Frequent Pattern Mining): A Novel Frequent Pattern Mining Method for Bigdata Frequent Pattern Mining)

  • 이정훈;민연아
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권12호
    • /
    • pp.623-634
    • /
    • 2016
  • 현존하는 빈발 패턴 마이닝 방법은 대부분 시간 효율성을 목표로 하고, 물리적 메모리 사용에 매우 의존적이다. 하지만 빅데이터 시대가 도래함에 따라 실제 세상의 데이터베이스는 급속도로 증가하고 있으며, 그에 따라 기존의 방법으로 현실적인 거대한 양의 데이터를 마이닝하기에 물리적 메모리 공간이 부족한 실정이다. 이러한 문제를 해결하기 위해, 빈발 패턴 마이닝의 메모리 의존성을 줄이기 위한 보조저장장치 기반의 연구들이 진행되었으나, 메모리 기반의 방법들에 비해 처리 시간이 너무 많이 소비된다는 한계가 있었다. 따라서 확장성을 가지며, 기존의 디스크 기반의 방법들에 비해 시간효율성을 높인 새로운 빈발 패턴 마이닝이 필요하게 되었다. 본 논문에서는 빅데이터로부터 빈도 아이템 집합들을 마이닝하기 위해 메모리와 디스크를 함께 사용하는 스택 기반의 새로운 접근법인 PPFP 알고리즘을 제안하였다. PPFP는 빈발 패턴 마이닝 접근법 중 가장 인기 있고 효율적인 접근법 중 하나인 FP-growth를 기반으로 하고 있다. PPFP 마이닝 방법은 다음과 같이 두 단계로 진행된다. (1) IFP-tree 구축: FP-tree를 생성한 후, 새로운 인덱스 번호 부여 방법으로 FP-tree의 각 노드에 인덱스 번호를 부여하고, 이 인덱스 번호가 부여된 FP-tree(IFP-tree)를 테이블로 변환하여(IFP-table) 디스크에 저장한다. (2) PPFP 알고리즘을 이용한 빈발 패턴 마이닝: 스택 기반의 PUSH-POP 방식으로 패턴을 확장시켜 나가며 빈발 패턴을 마이닝한다. 이러한 방식을 통해 메모리 기반의 방법에 비해 반복적으로 많은 시간이 소모되는 연산에 매우 적은 양의 메모리를 활용하여 확장성과 함께 시간효율성 또한 향상시킬 수 있었다. 그리고 기존의 연구 방법들과 비교 실험을 통해 새로운 알고리즘의 성능을 증명하였다.

텍스트 마이닝과 오피니언 마이닝 분석을 활용한 국내외 스포츠용품 브랜드 비교·분석 연구 (Comparison and Analysis of Domestic and Foreign Sports Brands Using Text Mining and Opinion Mining Analysis)

  • 김재환;이재문
    • 한국콘텐츠학회논문지
    • /
    • 제18권6호
    • /
    • pp.217-234
    • /
    • 2018
  • 본 연구는 국내외 스포츠용품 브랜드에 대한 빅데이터 분석을 실시하였다. 이를 위해 소셜 매트릭스 프로그램인 텍스톰과 패션데이터 분석 플랫폼인 MISP를 통해 텍스트 마이닝, TF-IDF, 오피니언 마이닝, 관심도 그래프를 실시하였으며, 스포츠브랜드에 대한 최근 인식을 살펴보기 위해 2017년 1월 1일부터 2017년 12월 31일까지 1년간을 연구대상 기간으로 한정하였다. 분석 결과, 첫째, 각 브랜드를 대표하는 상품을 확인할 수 있었다. 둘째, 각 브랜드를 대표하는 마케팅을 확인할 수 있었다. 셋째, 각 브랜드에서 공통적으로 추출된 단어를 확인할 수 있었다. 넷째, 각 브랜드의 긍정 및 부정에 대한 감정을 확인할 수 있었다.

소셜미디어와 빅 데이터 마이닝 기술을 이용한 청소년 관련문제 분석시스템 (An Youth-related Issues Analysis System Using Social Media and Big-data Mining Techniques)

  • 서지애;김창기;서정민
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2015년도 제52차 하계학술대회논문집 23권2호
    • /
    • pp.93-94
    • /
    • 2015
  • 본 논문에서는 학교 교육환경에서 청소년들에게 발생 할 수 있는소 셜미디어의 역기능을 빅 데이터 처리를 통하여 분석 할 수 있는 방법을 제시하고, 특히 악성 댓글을 위주로 한 청소년들 간의 소셜미디어를 중심으로 빅 데이터의 마이닝 기술을 활용하여 대표적인 청소년 문제의 확산을 방지 할 수 있는 시스템 제안한다.

  • PDF

텍스트마이닝을 활용한 빅데이터 기반의 디지털 트랜스포메이션 연구동향 파악 (Identifying Research Trends in Big data-driven Digital Transformation Using Text Mining)

  • 김민준
    • 스마트미디어저널
    • /
    • 제11권10호
    • /
    • pp.54-64
    • /
    • 2022
  • 빅데이터 기반의 디지털 트랜스포메이션은 데이터 및 데이터 관련 기술을 통해 기업의 성과 향상, 조직 변화, 사회 공헌 등의 목적 달성을 위해 수행하는 혁신적 프로세스를 의미한다. 성공적인 빅데이터 기반의 디지털 트랜스포메이션을 위해서는 관련 연구 현황, 주요 연구토픽, 주요 연구토픽 간의 관계를 이해하는 것이 필수적이다. 그러나 여러 연구들의 서로 다른 관점 및 이들 간 연계 가능성에 대해 이해하려는 노력은 아직 미진하다. 본 논문은 텍스트마이닝을 활용하여 관련 연구동향을 분석하고, 여러 연구의 다양한 관점을 통합적으로 이해하기 위한 기반 마련을 시도해보았다. Web of Science Core Collection에서 추출한 439편의 논문을 분석하여, 10개의 주요 연구토픽을 도출하였고, 이들 간의 관계를 분석하였다. 본 연구의 결과가 빅데이터 기반의 디지털 트랜스포메이션에 대한 통합적인 이해를 촉진하고, 성공을 위한 방향성 모색에 기여할 것으로 기대한다.

CEP를 위한 데이터 마이닝 기법 연구 (A Study of Data Mining Techniques for CEP)

  • 강동현;황부현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.1116-1117
    • /
    • 2012
  • 최근에 이슈가 되고 있는 빅 데이터 처리 방법중의 하나로 CEP가 있다. 그러나 CEP는 사전에 정의된 질의에 해당되는 이벤트만을 선별하여 패턴 매칭 등의 기능을 수행하므로, 새로이 발견되는 이벤트를 찾는데 제약이 있다. 또한 실시간으로 생산되는 빅 데이터에 기초한 다양한 패턴 탐사에 한계를 노출하고 있다. 이 논문에서는, CEP 환경에서 빅 데이터 사이에 존재하는 다양한 이벤트와 패턴 탐사를 위한 실시간 데이터 마이닝 기법을 제안한다. 제안 방법은 CEP 엔진을 위한 고급의 패턴 매칭을 개발하고, CEP를 위한 실시간 데이터 마이닝 기법을 개발한다. 마지막으로, 기존의 CQL을 확장하여 개발한다. 이라한 방법을 통하여 기존의 CEP의 기능적인 한계를 극복할 수 있다.

소셜 미디어 데이터 분석을 활용한 빅데이터에 대한 인식 변화 비교 분석 (A Comparative Analysis of Cognitive Change about Big Data Using Social Media Data Analysis)

  • 윤유동;조재춘;허윤아;임희석
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권7호
    • /
    • pp.371-378
    • /
    • 2017
  • 최근 모바일의 확산과 웹 서비스의 도입으로 온라인 상에 데이터가 급격히 증가하게 되어 다양한 분야에서 활용되고 있다. 특히, 빅데이터 분야에서 소셜 미디어의 등장은 축적되는 비정형 데이터의 양이 급격하게 증가하는 계기가 되었다. 이러한 비정형 데이터로부터 의미 있는 정보를 추출하기 위해 다양한 분야에서 빅데이터 기술에 대한 관심이 증가하고 있다. 빅데이터는 선진국을 중심으로 다양한 분야에서 핵심 자원으로서 중요성이 부각되고 있다. 그러나 빅데이터의 긍정적인 미래 전망과 함께 데이터의 침해 및 개인정보 보호에 대한 우려가 지속적으로 언급되고 있다. 이와 같이 긍정적인 시각과 부정적인 시각이 공존하는 빅데이터에 대해 사람들의 의견을 분석하는 연구는 현재 매우 부족한 상황이다. 이에 본 연구에서는 텍스트 마이닝을 활용하여 소셜 미디어에서 수집한 비정형 데이터를 기반으로 빅데이터에 대한 사람들의 인식 변화를 비교하였다. 텍스트 마이닝 결과, 국내 빅데이터에 대한 연도별 키워드와 함께 시간의 흐름에 따라 감소하는 긍정적인 의견과 증가하는 부정적인 의견이 관찰되었다. 그리고 이러한 분석 결과를 기반으로 국내 빅데이터에 대한 흐름을 예측할 수 있었다.

프로세스 마이닝 기법을 활용한 공급망 분석: 사례 연구 (Process analysis in Supply Chain Management with Process Mining: A Case Study)

  • 이용혁;이호정;송민석;이상진;박세라
    • 한국빅데이터학회지
    • /
    • 제1권2호
    • /
    • pp.65-78
    • /
    • 2016
  • 기업 환경의 급격한 변화와 복잡성의 증가에 따라 다양한 장점을 지닌 기업들이 협력을 통해 고객에게 짧은 시간에 최상의 가치를 제공해주는 것이 중요해 지고 있다. 이를 위해 기업은 다양한 공급망에 참여하게 되고, 기업의 공급망 관리에 대한 중요성은 점차 증대되고 있다. 이러한 공급망 관리의 효율성을 높이기 위해 공급망 상에서 생성되는 데이터의 효과적인 분석이 필요하다. 본 연구에서는 프로세스 마이닝 기법을 활용한 공급망 데이터 분석을 제안한다. 프로세스 마이닝 기법이 적용 가능한 공급망 데이터의 분석 범주를 도출하고, 프로세스 마이닝을 활용한 다양한 분석을 제안하다. 이를 통해 기업은 공급망 관리에 대한 인사이트를 얻고 공급망 관리 프로세스의 개선 및 효율화가 가능하다. 사례 연구를 통해 프로세스 마이닝을 활용한 공급망 데이터 분석의 유효성을 검증하였다.

  • PDF

Data Mining을 이용한 전략시뮬레이션 게임 데이터 분석 (A Study of Analyzing Realtime Strategy Game Data using Data Mining)

  • 용혜련;김도진;황현석
    • 한국게임학회 논문지
    • /
    • 제15권4호
    • /
    • pp.59-68
    • /
    • 2015
  • 정보통신기술의 발달로 빅데이터 분석을 통해 사람들 일상의 기록과 잠재적 요구까지 통찰할 수 있게 되었으며, 우리의 일상 속에서 방대한 정보를 실시간으로 도출하고 있다. 여러 산업이나 기업에서 이미 빅데이터와 결합시켜 비즈니스 등 다양한 분야에 활용하고 있지만 게임 산업에서의 빅데이터 활용은 아직까지 미흡한 실정이다. 이에 본 연구에서는 데이터 마이닝을 기법을 적용하여 전략시뮬레이션 게임 데이터를 분석하였다. 전략시뮬레이션 게임 데이터를 Decision Tree, Random Forest, Multi-class SVM, Linear Regression 분석 기법을 적용하여 게임 유저의 게임수준에 영향을 미치는 요인을 분석하였다. 게임수준을 예측하는데 있어 가장 우수한 성능을 보인 기법과 변수들을 도출하여 게임 디자인과 사용성을 증대시키기 위한 제안을 하고자 한다.