• 제목/요약/키워드: 빅 데이터 패턴 분석

검색결과 195건 처리시간 0.026초

빅데이터기반의 로그분석을 통한 통합 관리 솔루션 개발 (Development of integrated management solution through log analysis based on Big Data)

  • 강선경;이현창;신성윤
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 추계학술대회
    • /
    • pp.541-542
    • /
    • 2017
  • 본 논문에서는 복잡하고 다양한 클라우드 환경을 통합하여 간편하게 운영할 수 있는 통합관리 솔류션을 개발하고자 한다. 이는 빅데이터 기반의 정형로그데이터와 비정형로그데이터를 수집하고 분석하여 실시간으로 통합 모니터링이 가능하여 사용자와 관리자가 편리하게 문제를 해결할 수 있다는 장점을 가지고 있다. Hypervisor 로그패턴 분석 기술을 통해 기존의 복잡하고 다양한 클라우드 환경을 좀 더 효율적으로 운용 관리할 수 있는 솔루션이라 하겠다.

  • PDF

조달청 OPEN API 빅데이터를 활용한 공공 소프트웨어 산업의 SNA 패턴 분석 (SNA Pattern Analysis on the Public Software Industry based on Open API Big Data from Korea Public Procurement Service)

  • 김소정;심선영;서용원
    • 정보화정책
    • /
    • 제24권3호
    • /
    • pp.42-66
    • /
    • 2017
  • 본 연구는 우리나라를 대표하는 개방 데이터인 조달청의 빅데이터를 활용하여, 최근 사회과학 연구에서 활발하게 사용되는 사회관계망 분석을 통해 정부의 특정 정책(소프트웨어 대기업 참여 상한제) 전후의 산업 네트워크 구조를 비교 분석함으로써 소프트웨어 시장의 생태계 변화를 조망하고 공공데이터 개방의 시사점을 살펴보는 것을 목적으로 한다. 2013년에서 2015년까지 3년에 걸쳐 공공 소프트웨어 시장의 정보화 사업에 대한 발주 및 수주 계약 데이터를 분석해 본 결과, 첫째 공공 소프트웨어 시장에서 Power Law현상이 관찰되고 있으며, 이 현상은 규제 등의 외부적 충격과 상관없이 지속되고 있음을 알 수 있었다. 둘째, 이 시장에서 Power Law현상은 지속되고 있었지만 생태계의 구성은 년도별로 유의미한 차이를 보임도 확인하였다. 이러한 결과를 바탕으로, 공공 소프트웨어 시장의 생태계 구성 및 변화에 대한 시사점을 도출하고, 근본적으로 이러한 분석을 가능케 하는 공공 빅 데이터 개방의 장점에 대해 논의하였다.

A Development Method of Framework for Collecting, Extracting, and Classifying Social Contents

  • Cho, Eun-Sook
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권1호
    • /
    • pp.163-170
    • /
    • 2021
  • 빅데이터가 여러 분야에서 다양하게 접목됨에 따라 빅데이터 시장이 하드웨어로부터 시작해서 서비스 소프트웨어 부문으로 확장되고 있다. 특히 빅데이터 의미 파악 및 이해 능력, 분석 결과 등 총체적이고 직관적인 시각화를 위하여 애플리케이션을 제공하는 거대 플랫폼 시장으로 확대되고 있다. 그 중에서 SNS(Social Network Service) 등과 같은 소셜 미디어를 활용한 빅데이터 추출 및 분석에 대한 수요가 기업 뿐만 아니라 개인에 이르기까지 매우 활발히 진행되고 있다. 그러나 이처럼 사용자 트렌드 분석과 마케팅을 위한 소셜 미디어 데이터의 수집 및 분석에 대한 많은 수요에도 불구하고, 다양한 소셜 미디어 서비스 인터페이스의 이질성으로 인한 동적 연동의 어려움과 소프트웨어 플랫폼 구축 및 운영의 복잡성을 해결하기 위한 연구가 미흡한 상태이다. 따라서 본 논문에서는 소셜 미디어 데이터의 수집에서 추출 및 분류에 이르는 과정을 하나로 통합하여 운영할 수 있는 프레임워크를 개발하는 방법에 대해 제시한다. 제시된 프레임워크는 이질적인 소셜 미디어 데이터 수집 채널의 문제를 어댑터 패턴을 통해 해결하고, 의미 연관성 기반 추출 기법과 주제 연관성 기반 분류 기법을 통해 소셜 토픽 추출과 분류의 정확성을 높였다.

다차원 데이터의 군집분석을 위한 차원축소 방법: 주성분분석 및 요인분석 비교 (A dimensional reduction method in cluster analysis for multidimensional data: principal component analysis and factor analysis comparison)

  • 홍준호;오민지;조용빈;이경희;조완섭
    • 한국빅데이터학회지
    • /
    • 제5권2호
    • /
    • pp.135-143
    • /
    • 2020
  • 본 논문은 농식품 소비자패널 데이터에서 소비자의 유형을 나눌 때에 변수간 연관성이 많은 장바구니 분석에서 전처리 방법과 차원축소의 방법을 제안한다. 군집분석은 다변량 자료에서 관측 개체를 몇 개의 군집으로 나눌 때 널리 사용되는 분석기법이다. 하지만 여러 개의 변수가 연관성을 가진 경우에는 차원축소를 통한 군집분석이 더 효과적일 수 있다. 본 논문은 1,987 가구를 대상으로 조사한 식품소비 데이터를 K-means 방법을 사용하여 군집화하였으며, 군집을 나누기 위해 17개의 변수를 선정하였고, 17개의 다중공선성 문제와 군집을 나누기 위한 차원축소의 방법 중 주성분 분석과 요인분석을 비교하였다. 본 연구에서는 주성분분석과 요인분석 모두 2개의 차원으로 축소하였으며 주성분분석에서는 3개의 군집으로 나뉘었지만 분석하고자 하였던 소비 패턴에 대한 군집의 특성이 잘 나타나지 않았으며 요인분석에서는 분석가가 보고자 하는 소비 패턴의 특징이 잘 나타났다.

빅데이터 분석을 위한 스마트폰 사용 데이터 수집 앱 및 관리 프로그램 (Smartphone Usage Data Collection Application and Management Program for Big Data Analysis)

  • 조성민;오승현;안지우;이명숙
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
    • /
    • pp.225-228
    • /
    • 2021
  • 본 연구는 스마트폰 중독과 관련된 다양한 분석을 위한 스마트폰 사용 앱과 관리자 웹을 개발하고자 한다. 연구방법으로 이전 연구에서 중요한 변수로 작용되었던 '화면 켠 횟수', '실사용시간-인지사용시간' 변수를 분석할 있도록 적용하여 스마트폰 사용시간, 사용량, 사용 앱, 화면 잠금을 해제한 횟수 등 다양한 데이터 수집이 가능한 앱을 개발한다. 관리자 웹은 수집된 데이터를 저장, 분석할 수 있는 공간으로 사용할 것이다. 앱에서 수집된 데이터는 서버에 전송한 후, 시각화 분석 기능을 제공하는 관리 프로그램으로 개발하여 스마트폰 중독 연구에 사용한다. 향후 데이터 수집과 사용 목적에 동의한 사용자를 모집하여 데이터를 수집하고 스마트폰 사용 패턴, 데이터마이닝, 중독 등과 관련된 다양한 분석을 할 것이다. 이를 통해 보다 정확하고 효과적인 스마트폰 중독 진단이 가능해질 것과 나아가 스마트폰 중독 치료방안 연구에 기여할 것으로 기대한다.

  • PDF

PPFP(Push and Pop Frequent Pattern Mining): 빅데이터 패턴 분석을 위한 새로운 빈발 패턴 마이닝 방법 (PPFP(Push and Pop Frequent Pattern Mining): A Novel Frequent Pattern Mining Method for Bigdata Frequent Pattern Mining)

  • 이정훈;민연아
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권12호
    • /
    • pp.623-634
    • /
    • 2016
  • 현존하는 빈발 패턴 마이닝 방법은 대부분 시간 효율성을 목표로 하고, 물리적 메모리 사용에 매우 의존적이다. 하지만 빅데이터 시대가 도래함에 따라 실제 세상의 데이터베이스는 급속도로 증가하고 있으며, 그에 따라 기존의 방법으로 현실적인 거대한 양의 데이터를 마이닝하기에 물리적 메모리 공간이 부족한 실정이다. 이러한 문제를 해결하기 위해, 빈발 패턴 마이닝의 메모리 의존성을 줄이기 위한 보조저장장치 기반의 연구들이 진행되었으나, 메모리 기반의 방법들에 비해 처리 시간이 너무 많이 소비된다는 한계가 있었다. 따라서 확장성을 가지며, 기존의 디스크 기반의 방법들에 비해 시간효율성을 높인 새로운 빈발 패턴 마이닝이 필요하게 되었다. 본 논문에서는 빅데이터로부터 빈도 아이템 집합들을 마이닝하기 위해 메모리와 디스크를 함께 사용하는 스택 기반의 새로운 접근법인 PPFP 알고리즘을 제안하였다. PPFP는 빈발 패턴 마이닝 접근법 중 가장 인기 있고 효율적인 접근법 중 하나인 FP-growth를 기반으로 하고 있다. PPFP 마이닝 방법은 다음과 같이 두 단계로 진행된다. (1) IFP-tree 구축: FP-tree를 생성한 후, 새로운 인덱스 번호 부여 방법으로 FP-tree의 각 노드에 인덱스 번호를 부여하고, 이 인덱스 번호가 부여된 FP-tree(IFP-tree)를 테이블로 변환하여(IFP-table) 디스크에 저장한다. (2) PPFP 알고리즘을 이용한 빈발 패턴 마이닝: 스택 기반의 PUSH-POP 방식으로 패턴을 확장시켜 나가며 빈발 패턴을 마이닝한다. 이러한 방식을 통해 메모리 기반의 방법에 비해 반복적으로 많은 시간이 소모되는 연산에 매우 적은 양의 메모리를 활용하여 확장성과 함께 시간효율성 또한 향상시킬 수 있었다. 그리고 기존의 연구 방법들과 비교 실험을 통해 새로운 알고리즘의 성능을 증명하였다.

맵리듀스기반 워크플로우 빅-로그 클러스터링 기법 (A MapReduce-Based Workflow BIG-Log Clustering Technique)

  • 진민혁;김광훈
    • 인터넷정보학회논문지
    • /
    • 제20권1호
    • /
    • pp.87-96
    • /
    • 2019
  • 본 논문에서는 분산 워크플로우 실행 이벤트 로그를 수집하고 분류하기 위한 사전 처리 도구로서 맵-리듀스기반 클러스터링 기법을 제안한다. 특히 우리는 볼륨, 속도, 다양성, 진실성 및 가치와 같은 BIG 데이터의 5V 속성에 만족하고 잘 충족되어 있기 때문에 분산 워크플로우 실행 이벤트 로그를 특별히 워크플로우 빅-로그(Workflow BIG-Logs)라고 정의한다. 이 논문에서 개발하는 클러스터링 기술은워크플로우 빅-로그를 기반으로 하는 특정 워크플로 프로세스 마이닝 및 분석 알고리즘의 사전 처리 단계에 적용하기 위한 목적으로 고안된 것이다. 즉, 맵리듀스(Map-Reduce) 프레임워크를 워크플로우 빅-로그 처리 플랫폼으로 사용하고, IEEE XES 표준 데이터 형식을 지원하며, 결국 본 연구에서 개발중에 있는 구조적 정보제어넷기반 워크플로우 프로세스 마이닝 알고리즘인 ${\rho}$-알고리즘의 사전 처리 단계 전용으로 사용되도록 구현된 것이다. 보다 자세하게 말하자면, 워크플로우 빅-로그의 클러스터링 패턴은 단위업무액티버티 기반 클러스터링 패턴과 단위업무 수행자 기반 클러스터링 패턴으로 분류되는데, 특별히 단위업무 액티버티 패턴의 하나인 시간적 워크케이스 패턴과 그의 발생 건수를 재발견하는 맵리듀스 기반 클러스터링 알고리즘을 설계하고 구현하고자 한다. 마지막으로, 우리는 BPI 챌린지에서 공개한 워크플로우 실행 이벤트 로그 데이터세트에 대해 일련의 실험을 수행함으로써 제안된 클러스터링 기법의 기술적 타당성을 검증한다.

데이터 3법이 치매 조기 예측을 위한 의료 빅데이터 활용에 미치는 영향 연구 (The Effect of Data 3 on the Utilization of Medical Big Data for Early Detection of Dementia)

  • 김혜진
    • 디지털융복합연구
    • /
    • 제18권5호
    • /
    • pp.305-315
    • /
    • 2020
  • 치매(dementia)는 고령화와 함께 유병 인구가 지속적으로 늘어남에 따라 사회적 부담이 가중되고 있는 만큼 조기 진단의 필요성이 강조되고 있다. 이에 치매 예방 및 치매조기진단을 위한 검진을 실시하고 있으나 현재의 검사로는 치매조기진단이 사실상 불가능한 것으로 나타났다. 이를 해결하기 위해서는 의료 빅데이터의 통합 및 각각의 지표를 분석한 결과를 융합·패턴화 시키는 것이 필수적이다. 이에 국회에서는 빅데이터 활용 활성화를 위해 빅데이터의 개방과 공유를 골자로 하는 데이터 3법이 통과되었으나 보다 안전한 활용을 위해 후속 입법의 필요성이 제기되고 있다. 본 연구에서는 선행 연구 고찰을 통해 국외 정책을 파악하고 시사점을 도출, 의료 빅데이터의 안전한 활용을 위해 데이터 3법에 맞춘 구체적 시행령 제정 및 수집 및 폐기까지의 단계별 보안책 수립, 그리고 국가 차원의 거버넌스 구축을 제안하였다.

소셜 빅 데이터를 이용한 여행사 비교 분석에 관한 연구 (A Study on the Comparison Analysis of Travel Agencies using Social Big Data)

  • 송은지;공효순
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2015년도 춘계학술대회
    • /
    • pp.771-772
    • /
    • 2015
  • 소셜미디어 상 고객들이 쏟아내는 말을 실시간으로 분석, 조사하는 방법으로 버즈 모니터링 이라는 시스템을 이용하여 웹상의 다양한 정보를 자동으로 검색하고 수집하고 있다. 본 논문에서는 여행사에 관해 소셜 미디어 상의 빅 데이터를 이용하여 보다 정확하고 효율적인 정보 수집과 분석이 가능하도록 하기위한 분석 모델을 제안하고 실제 국내 여행사에 관해 비교 분석한다. 먼저 여행사별 인지도,이미지와 선호도 분석을 하고 관광관련 상품과 서비스에 대한 분석과 함께 소비자 분석으로서 관광의 목적, 동행인 등 소비자의 생활패턴에 대한 분석을 한다. 또한 여행사 관련 영향력자 경향을 트위터 상에서 살펴본 결과 해당 여행사 이용경험자와 관련 뉴스를 제공하는 언론, 이벤트에 관심 있는 사용자들로 유형화 할 수 있었다.

  • PDF

사물인터넷 환경에서 제품 불량 예측을 위한 기계 학습 모델에 관한 연구 (A Study on the Machine Learning Model for Product Faulty Prediction in Internet of Things Environment)

  • 구진희
    • 융합정보논문지
    • /
    • 제7권1호
    • /
    • pp.55-60
    • /
    • 2017
  • 사물인터넷 환경에서 인간의 개입 없는 지능화된 서비스를 위해서는 IoT 디바이스에서 생성되는 빅데이터로 부터 정상 패턴을 학습하고 이를 기반으로 불량, 오작동과 같은 이상 징후에 대해 예측하는 과정이 요구된다. 본 연구의 목적은 제품 공정의 다양한 기기에서 발생되는 빅데이터를 분석함으로써 제품 불량을 예측할 수 있는 기계 학습모델을 구현하는 것이다. 기계 학습 모델은 어느 정도 볼륨을 가진 기존 데이터를 기반으로 분석을 해야 하므로 빅데이터 분석도구 R을 사용하였으며, 제품 공정에서 수집된 데이터에는 제품에 대한 불량 여부가 포함되어 있으므로 지도 학습 모델을 활용하였다. 연구의 결과, 제품 불량에 영향을 주는 변수 및 변수 조건을 분류하였고, 의사결정 트리를 기반으로 제품의 불량 여부에 대한 예측 모델을 제시하였다. 또한, ROC Curve를 이용한 모델의 적합성 및 성능평가 분석에서 모델의 예측력은 상당히 높게 나타났다.