• 제목/요약/키워드: 데이터 분석성능

검색결과 5,877건 처리시간 0.038초

웹 로그 분석을 위한 OLAP 시스템 및 성능 평가 (OLAP System and Performance Evaluation for Analyzing Web Log Data)

  • 김지현;용환승
    • 한국멀티미디어학회논문지
    • /
    • 제6권5호
    • /
    • pp.909-920
    • /
    • 2003
  • CRM을 위해서는 다차원 분석이 가능한 OLAP (On-Line Analysis Processing)기술을 적 용한 방법 그리고 데이타 마이닝을 이용한 방법들이 각광 받고 있다. 고객 데이터 중에서 웹 로그 데이터를 실시간에 다차원 분석을 하기 위해서는 OLAP을 사용해야 한다. 그러나 OLAP을 적용하게 되면 웹 로그 데이터 자체가 가지고 있는 특성에 의해 희박성이 발생되고, 사전 집계 연산을 수행 할 시 데이터의 폭발(Explosion)현상이 일어난다. 이는 저장공간의 낭비 뿐 아니라 다차원 질의 시 성능 저하를 발생 시킨다. 본 논문에서는 웹 로그 데이터의 희박성에 대한 체계적인 접근을 위해 희박성을 발생시키는 원인과 2,3 차원의 희박성 형태들에 대해 밝혀보고, 이러한 분석을 기반으로 성능 평가를 위한 테스트 데이터 모델과 질의 모델을 설계하였다. 그리고 희박성 처리를 위해 청크 방식을 사용한 MOLAP시스템을 구현해 보고, 이 시스템과 MS SQL 2000 Analysis Services, Oracle Express의 성능을 평가 및 분석 해보았다. 이는 웹 로그 데이터내의 희박성을 효율적으로 처리할 수 있는 저장구조와 인덱스 방식을 발견하는데 토대가 될 수 있다.

  • PDF

하둡 기반 DW시스템 타조와 관계형 DBMS의 성능 비교 (Performance Comparison of DW System Tajo Based on Hadoop and Relational DBMS)

  • 유신;고정현;여정모
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권9호
    • /
    • pp.349-354
    • /
    • 2014
  • 빅데이터 처리 플랫폼인 하둡의 등장 이후 SQL을 이용하여 하둡상에서 데이터 분석을 할 수 있는 SQL-on-Hadoop 기술이 주목받고 있다. 그 중에서도 국내 개발자가 주축이 되어 개발하고 올해 4월 아파치 최상위 프로젝트로 선정된 타조(Tajo)가 많은 주목을 받고 있다. SQL-on-Hadoop 기술의 등장으로 DW시장의 변화가 포착되고 있지만 그 성능에 관한 연구는 미미한 실정이다. 그래서 본 연구에서는 타조를 이용하여 관계형 데이터베이스와의 데이터 분석성능 비교에 관한 실험을 진행하여 SQL-on-Hadoop 기반 DW 선택에 도움이 될 연구를 수행하였다. 하둡 기반기술인 타조를 올바른 사용전략을 세워 활용한다면 관계형 데이터베이스보다 우수한 성능을 보인다는 결과를 얻었으며 오픈 소스인 타조는 많은 개발자들의 참여로 인해 점차 기술의 완성도가 높아져 DW 및 데이터 분석분야에서 중요한 축을 담당할 수 있을 것으로 예상한다.

버스트 홈 네트워크 채널에서 SR-ARQ 기법을 적용한 전송 시스템의 Throughput 성능 분석 (Throughput Performance Analysis of Transmission System with SR-ARQ Scheme in Burst Home Network Channel)

  • 노재성;장태화
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2008년도 추계종합학술대회 B
    • /
    • pp.894-897
    • /
    • 2008
  • 본 논문에서는 버스트 홈 네트워크 채널에서 패킷 데이터 전송을 위한 SR-ARQ (Selective Repeat-Automatic Repeat Request) 기법의 처리율 성능을 분석한다. 홈 네트워크 전송에서는 데이터 전송에 의한 에러를 극복하기 위하여 강력한 에러 제어 기술이 필요하다. 기본적으로 ARQ와 FEC기법이 주로 사용되며 ARQ 기법은 신뢰성 있는 데이터 전송에서 주로 사용된다. 버스트 채널에서 SR-ARQ를 사용한 패킷 데이터 전송의 성능을 분석하고 처리율 분석을 위한 간단한 방식을 제시한다. 분석을 통하여 적은 크기의 패킷 데이터 전송은 버스트 홈 네트워크 채널에서 우수한 성능을 얻을 수 있었다.

  • PDF

협력필터링의 데이터 희소성 해결을 위한 자카드 지수 반영의 유사도 성능 분석 (Performance Analysis of Similarity Reflecting Jaccard Index for Solving Data Sparsity in Collaborative Filtering)

  • 이수정
    • 컴퓨터교육학회논문지
    • /
    • 제19권4호
    • /
    • pp.59-66
    • /
    • 2016
  • 협력 필터링 시스템에서 데이터 희소성 문제의 해결을 위해 공통평가항목수를 반영하는 방법이 연구되었다. 이러한 방법으로 널리 알려진 자카드 지수는 기존의 유사도 척도와 결합되어 성능을 개선할 수 있었다. 그러나, 다양한 데이터 환경에서 여러 유사도 척도들과 각각 결합했을 때의 성능 개선 효과에 대한 분석 연구는 미미하므로, 본 연구는 이에 대한 분석을 목적으로 한다. 우선 자카드 지수 자체를 유사도 척도로 사용했을때 희소한 데이터셋 상에서 전통적인 척도들보다 월등한 예측 성능을 보였고 추천 성능도 매우 우수하였다. 자카드 지수를 결합함으로써 기존 유사도 척도는 데이터 특성에 상관없이 성능이 대개 향상되었고, 특히 코사인 유사도는 희소한 데이터셋에서 가장 큰 향상을 이루었으나, 평균차이 제곱(Mean Squared Difference)의 유사도는 밀집된 데이터셋에서 오히려 저하된 예측 성능을 보였다. 따라서, 자카드 지수를 결합하여 사용하기 위해 데이터 환경 특성과 유사도 척도를 고려할 필요가 있다.

핫스팟 상황 하에서 출력 버퍼형 axa 스위치로 구성된 다단 연결망의 성능분석 (Performance Evaluation of a Multistage Interconnection Network with Buffered axa Switches under Hot-spot Environment)

  • 김정윤;신태지;양명국
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (1)
    • /
    • pp.166-168
    • /
    • 2005
  • 본 논문에서는, axa 출력 버퍼 스위치로 구성된 핫스팟이 발생된 상황 하에서 다단 연결 망(Multistage interconnection Network, MIN)의 성능 예측 모형을 제안하였다. 제안한 성능 예측 오형은 먼저 네트워크 내부 임의 스위치 입력 단에 유입되는 데이터 패킷이 스위치 내부에서 전송되는 유형을 확률적으로 분석하여 설계하였다. 성능분석 모형은 스위치에 장착된 버퍼의 개수와 무관하게 버퍼를 장착한 axa 스위치의 성능, 네트워크 정상상태 처리율(Normalized Throughput, NT)과 네트워크 지연시간(Network Delay)의 예측이 가능하고, 나아가서 이들로 구성진 모든 종류의 다단 연결망 성능 분석에 적용이 용이하다. 제안한 수학적 성능 분석 연구의 실효성 검증을 위하여 병행된 시뮬레이션 결과는 상호 미세한 오차 범위 내에서 모형의 예측 데이터와 일치하는 결과를 보여 분석 모형의 타당성을 입증하였다.

  • PDF

버퍼를 장착한 a$\times$b 스위치들로 구성된 Hat-tree 망의 성능분석 (Evaluation of a Fat-tree Network with Buffered a$\times$b Switches)

  • 신태지;설춘룡;신종균;양명국
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (C)
    • /
    • pp.256-258
    • /
    • 2003
  • 본 논문에서는, a$\times$b 출력 버퍼 스위치로 구성된 fat-tree 망의 성능 예측 모형을 제안하고, 스위치에 장착된 버퍼의 개수 증가에 따를 성능 향상 추이를 분석하였다. 제안한 성능 예측 모형은 먼저 네트웍 내부 임의 스위치 입력 단에 유입되는 데이터 패킷이 스위치 내부에서 전송되는 유형을 확률적으로 분석하여 수립되었다. 성능분석 모형은 스위치에 장착된 버퍼의 개수와 무관하게 버퍼를 장착한 a$\times$b 스위치의 성능, 네트웍 정상상태 처리율(Steady state Throughput, ST)과 네트웍 지연시간(Network Delay)을 간단한 확률식으로 구할 수 있다. 제안한 수학적 성능 분석 연구의 실효성 검증을 위하여 병행된 시뮬레이션 결과는 상호 미세한 오차 범위 내에서 오형의 예측 데이터와 일치하는 결과를 보여 분석 모형의 타당성을 입증하였다.

  • PDF

커널필터링 기법을 이용한 건강비용의 효과적인 지출에 관한 군집화 분석 (Clustering Analysis of Effective Health Spending Cost based on Kernel Filtering Techniques)

  • 정용규;최영진;차병헌
    • 서비스연구
    • /
    • 제5권2호
    • /
    • pp.25-33
    • /
    • 2015
  • 데이터마이닝은 방대한 데이터를 기반으로 정보를 추출하는 방법으로 많은 분야에 적용하고 있으며 특히 보건의료 데이터를 다루는 기법으로 많이 활용 되고 있다. 하지만 데이터가 다양하고 방대해짐에 따라 데이터들을 완벽하게 다룰 수 있는 알고리즘이 개발되지 못한 현황이다. 따라서 본 논문에서는 군집화 알고리즘 중의 하나인 DBSCAN 알고리즘과 EM 알고리즘의 성능을 동일한 데이터에 대하여 분석을 시도하였다. 이를 위하여 DBSACN과 EM 알고리즘에 따른 변화를 Health expenditure 실험데이터의 결과를 기반으로 분석 하였고 더욱 정확한 실험과 더욱 정확한 결과를 알아내기 위하여 Kernel Filtering을 통하여 정확한 데이터분석을 시도하였다. 본 연구에서는 알고리즘의 기술적 성능을 비교한 것을 물론이고 성능을 높이기 위한 시도를 하였다. 이를 통하여 확장한 알고리즘에 따른 성능의 변화와 실험데이터의 적용결과를 기반으로 비교하고 이를 분석하게 되었다. 특히 의료기관을 이용하는 다양한 군집으로부터 데이터 레코드를 수집하여 의료 서비스에 대한 효과적인 비용 지출을 권장할 수 있도록 실험하였다.

강우유출 분석을 위한 수문 모형과 딥러닝 기법의 비교 분석 (Comparison of hydrologic models and deep learning techniques for rainfall-runoff analysis)

  • 김진혁;김초롱;김충수
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.295-295
    • /
    • 2021
  • 수자원 관리 및 계획 수립에 있어 강우 유출 분석은 가장 중요하며, 기본적인 분석이다. 기존의 강우 유출 분석은 일반적으로 수문 모형을 이용한다. 강우 유출 분석은 강수와 증발산 과정, 즉 물순환에 있어 복잡한 상호 작용을 고려해야한다. 본 연구에서는 기존의 수문 모형과 데이터간의 관계를 포착할 수 있는 딥러닝 기법을 이용한 강우 유출분석 수행하였다. 우리나라의 유역 중, 비교적 풍부한 수문데이터를 보유하고 있는 IHP (International Hydrological Program)의 청미천 유역을 연구대상지역으로 연구를 수행하였다. 수문 모형으로는 SWAT (Soil and Water Assessment Tool)을 이용하였으며, 딥러닝 기법은 시계열 분석에 있어 주로 사용되는 RNN(Recurrent Neural Network) 중 LSTM (Long Short-Term Memory) 네트워크를 이용하였다. 분석결과 수문 모형의 성능 지표인 상관계수와 NSE (Nash-Sutcliffe Efficiency)는 LSTM 네트워크에서 더 높은 성능을 확인 할 수 있었다. 일반적으로 LSTM 네트워크는 보정 기간이 길수록 더욱 좋은 성능을 나타낸다. 즉, 과거 수문데이터가 충분히 확보된 유역에서 LSTM 네트워크와 같은 데이터 기반 모델은 다양한 지형 및 기상데이터를 필요하는 수문 모델보다 유용할 것이라 사료된다.

  • PDF

밀집 샘플링 기법을 이용한 네트워크 트래픽 예측 성능 향상 (Improving prediction performance of network traffic using dense sampling technique)

  • 이진선;오일석
    • 스마트미디어저널
    • /
    • 제13권6호
    • /
    • pp.24-34
    • /
    • 2024
  • 시계열인 네트워크 트래픽 데이터로부터 미래를 예측할 수 있다면 효율적인 자원 배분, 악성 공격에 대한 예방, 에너지 절감 등의 효과를 거둘 수 있다. 통계 기법과 딥러닝 기법에 기반한 많은 모델이 제안되었는데, 이들 연구 대부분은 모델 구조와 학습 알고리즘을 개선하는 일에 치중하였다. 모델의 예측 성능을 높이는 또 다른 접근방법은 우수한 데이터를 확보하는 것이다. 이 논문은 우수한 데이터를 확보할 목적으로, 시계열 데이터를 증강하는 밀집 샘플링 기법을 네트워크 트래픽 예측 응용에 적용하고 성능 향상을 분석한다. 데이터셋으로는 네트워크 트래픽 분석에 널리 사용되는 UNSW-NB15를 사용한다. RMSE와 MAE, MAPE를 사용하여 성능을 분석한다. 성능 측정의 객관성을 높이기 위해 10번 실험을 수행하고 기존 희소 샘플링과 밀집 샘플링의 성능을 박스플롯으로 비교한다. 윈도우 크기와 수평선 계수를 변화시키며 성능을 비교한 결과 밀집 샘플링이 일관적으로 우수한 성능을 보였다.

수중 데이터 통신 시스템 개발 - 변조방식의 성능 분석 (Underwater Data Communication System - Performance Analysis of Digital Modulations)

  • 손근영;노용주;윤종락
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 2000년도 학술발표대회 논문집 제19권 2호
    • /
    • pp.281-284
    • /
    • 2000
  • 본 논문에서는 변조방식에 따른 수중 데이터 통신의 성능을 수치모의 실험을 통해 비교 분석하였다. 수중 동신 환경에서 다중경로의 영향을 고려하여 수치모의 실험을 수행하였고 데이터 변조 방식에 따른 성능을 평가하였다.

  • PDF