• 제목/요약/키워드: 상위 K 마이닝

검색결과 31건 처리시간 0.043초

상위 K 하이 유틸리티 패턴 마이닝 기법 성능분석 (Performance Analysis of Top-K High Utility Pattern Mining Methods)

  • 양흥모;윤은일;김철홍
    • 인터넷정보학회논문지
    • /
    • 제16권6호
    • /
    • pp.89-95
    • /
    • 2015
  • 전통적인 빈발 패턴 마이닝은 데이터베이스로부터 사용자 정의 최소 임계치 이상의 빈도수를 가지는 유효 패턴들을 식별한다. 적절한 임계치 설정은 해당 도메인에 대한 사전 지식을 요구하므로 쉬운 작업이 아니다. 따라서 임계치 설정을 통한 마이닝 결과의 정밀한 제어 불가능으로 인해 도메인 지식을 기반으로 하지 않는 패턴 마이닝 방법이 필요하게 되었다. 상위 K 빈발 패턴 마이닝은 이러한 문제를 해결하기 위해 제안되었으며, 임계치 설정 없이 상위 K개의 중요 패턴들을 마이닝 한다. 사용자는 이를 적용함으로써 데이터베이스에 상관없이 가장 높은 빈도수의 패턴부터 K번째로 높은 빈도수의 패턴까지 찾아낼 수 있다. 비록 상위 K 빈발 패턴 마이닝이 임계치 설정 없이 상위 K개의 중요 패턴들을 마이닝 하지만, 트랜잭션 내 아이템 수량과 데이터베이스 내 서로 다른 아이템 중요도를 고려하지 못하여 많은 실세계 응용의 요구에 부합하지 못한다. 하이 유틸리티 패턴 마이닝은 아이템 중요도가 포함된 비 바이너리 데이터베이스의 특성을 고려하기 위해 제안되었으나 최소 임계치를 필요로 한다. 최근 임계치 설정 없는 하이 유틸리티 패턴 마이닝을 위한 상위 K 하이 유틸리티 패턴 마이닝이 개발되었으며, 이를 통해 사용자는 사전 지식 없이 원하는 수의 패턴을 마이닝 할 수 있다. 본 논문은 상위 K 하이 유틸리티 패턴 마이닝을 위한 알고리즘을 분석한다. 최신 알고리즘에 대한 성능분석을 통해 개선사항 및 발전 방향에 대해 고찰한다.

퍼지 개념 계층을 이용한 다중 수준 연관 규칙 마이닝의 상향식 접근 (A Bottom-Up Approach for Mining Multiple-Level Association Rules Using Fuzzy Concert Hierarchies)

  • 손봉기;한상훈;이건명
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 추계학술발표논문집 (하)
    • /
    • pp.1445-1448
    • /
    • 2000
  • 이 논문에서는 개념간의 애매한 관계를 적절히 표현할 수 있는 퍼지 개념 계층을 참조하여 최하위 개념 수준에서부터 최상위 개념 수준까지 각 수준에서 연관 규칙을 추출하는 다중 수준 상향식 연관규칙 마이닝 방법을 제안한다. 상위 개념 수준에서 빈발 항목 집합을 구하는데 필요한 상위 개념 수준의 트랜잭션 데이터베이스를 생성하는 방법을 소개한다. 또한 제안한 방법의 응용성을 보이기 위해 실험 과정과 결과를 보인다.

  • PDF

데이터 스트림에서의 확률기반 빙산 질의 처리 (Probability-based Iceberg Query Processing Over Data Streams)

  • 서대홍;이원석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.34-37
    • /
    • 2007
  • 간 및 낮은 메모리 사용량을 요구한다. 이러한 데이터 스트림에서의 데이터 마이닝은 전체 데이터에 대한 분석 보다는 사용자가 관심을 갖는 영역에 대한 마이닝에 초점이 맞추어져 있어, 사용자 관심영역에 대한 분석 데이터 탐색을 필요로 한다. 이에 본 논문에서는 기존의 분석 데이터 탐색 기법인 빙산 질의 및 상위-k 질의에 대하여 알아보고, 이를 보완하기 위한 확률에 기반한 데이터 탐색법인 확률기반 빙산 질의를 제안한다.

헬스 빅데이터 플랫폼에서 이기종 라이프로그 마이닝 모델 (Heterogeneous Lifelog Mining Model in Health Big-data Platform)

  • 강지수;정경용
    • 한국융합학회논문지
    • /
    • 제9권10호
    • /
    • pp.75-80
    • /
    • 2018
  • 본 논문에서는 헬스 빅데이터 플랫폼에서 이기종 라이프로그 마이닝 모델을 제안한다. 이는 사용자의 라이프 로그를 실시간으로 수집하고 헬스케어 서비스를 제공하기 위한 온톨로지 기반의 마이닝 모델이다. 제안하는 방법은 이기종 라이프 로그 데이터를 분산처리하고, 클라우드 컴퓨팅 환경에서 실시간으로 처리한다. 이를 이기종 온톨로지를 기반으로 구성한 환경에 적합하도록 상위 온톨로지 방식으로 지식베이스를 재구성한다. 재구성한 지식베이스는 Jena 4.0 추론엔진을 이용해 추론 규칙들을 생성하고, 규칙 기반 추론 방법으로 실시간 헬스 서비스를 제공한다. 라이프로그 마이닝을 숨겨진 관계에 대한 분석과 시계열적 생체신호에 대한 예측모델을 구성한다. 이는 관계나 추론규칙에서 포함되지 않은 음의 상관관계나 양의 상관관계를 탐색하여 사용자의 생체신호에 대한 변화를 감지하고 예방 의료 서비스를 현실화하는 실시간 헬스케어 서비스가 가능하다. 성능 평가는 제안한 이기종 라이프로그 마이닝 모델 방법이 정확도에서 0.734, 재현율에서 0.752로 다른 모델에 비해 우수하게 나타난다.

시계열분석과 인공신경망을 이용한 실시간검색어 변화 예측 (Predicting changes of realtime search words using time series analysis and artificial neural networks)

  • 정민영
    • 디지털융복합연구
    • /
    • 제15권12호
    • /
    • pp.333-340
    • /
    • 2017
  • 실시간검색어는 지금 바로 이슈가 되는 검색어의 검색 증가율이 단기간에 급상승하는 것을 중심으로 하기 때문에 일정기간 지속적으로 관심도를 유지하고 있는 이슈를 나타내지 못하고 이들이 가까운 미래에 어떤 변화를 보이는지에 대한 것도 알 수 없는 한계를 가지고 있다. 본 논문에서는 이러한 한계를 극복할 수 있도록 일정기간 동안 상위 10위 안에 속한 적이 있는 실시간검색어에 대해 일자별, 시간별 지속성을 평가하여 꾸준히 관심을 받는 검색어를 추출한다. 그런 다음, 이들 중 상위에 속하는 검색어의 관심도가 어떻게 변화하는지를 알 수 있게 하는 시계열 분석과 신경망을 이용하는 방법을 제시하고 이를 통해 도출한 실제 예를 통해 가까운 미래의 변화량을 예측한 결과를 보인다. 일자별로는 시계열 분석을, 시간별로는 인공신경망의 학습을 통해 예측하는 것이 좋은 결과를 보인다는 것을 알 수 있다.

사용자 질의패턴 기반 에이전트에 의한 맞춤형 질의추천 (Customized Query Recommendation by Agent Based on User's Query Pattern)

  • 임요한;박건우;이상훈
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (B)
    • /
    • pp.200-204
    • /
    • 2008
  • 검색엔진을 사용해 질의를 입력 후 사용자가 원하는 정보를 얻을 때까지의 검색 결과정보의 탐색 범위에 대해 설문한 연구 보고서에 검색 결과정보의 첫 페이지만 보는 사용자가 설문인원의 41%를 차지했고, 상위 3페이지만 사용하는 사용자는 88%에 달한다고 하였다. 따라서 검색결과의 상위순위는 사용자의 정보 존재여부를 판단하는 중요한 척도가 된다. 또한 인터넷의 방대한 정보로 인해 정보 홍수에 빠진 사람들은 정보에 대한 까다로운 요구를 하고 있다. 이를 테면 개인화 또는 맞춤화된 정보를 제공 받기를 원하고 있다. 정보검색시 대다수의 사용자들은 질의의 길이를 2단어 이하의 키워드를 사용하여 질의가 특정한 토픽을 지향하도록 하고 있다. 본 논문에서는 데이터 마이닝의 연관규칙을 적용 사용자 프로파일 DB내 질의에 대한 사용자 질의패턴을 분석하여 '분석 Agent' 통한 연관 질의 리스트를 생성하고 '추천 Agent'는 사용자들의 취향변화 즉 시간에 따라 변하는 관심영역 또는 사용자 질의 변화에 대해서 날짜별 가중치를 부여하여 사용자와 상호교류를 통해 사용자에게 맞춤형 질의를 추천하는 방안을 제시하고자 한다.

  • PDF

한국 전통춤과 K-pop 댄스의 융합 : 2018 MMA 방탄소년단 'IDOL' 유튜브 댓글 분석 (Convergence of Korean Traditional Dance and K-Pop Dance : An Analysis of Comments on 2018 MMA BTS 'IDOL' Videos on YouTube)

  • 유지영;김미경
    • 한국엔터테인먼트산업학회논문지
    • /
    • 제13권8호
    • /
    • pp.189-198
    • /
    • 2019
  • 이 연구는 2018년 12월 MMA의 인트로 공연 유튜브 댓글의 텍스트 마이닝을 통해 국내 대중의 반응을 의미화 하는것에 목적이 있다. 이를 위해 지난 10개월간 15개의 유튜브 영상에 달린 댓글을 수집하였다. 데이터의 수집은 Python과 BeautifulSoup프로그램을 통해 총 5,135개의 데이터를 크롤링하였고, 총 3차시에 걸쳐 데이터를 정제한 후 최종 5,080의 데이터를 분석자료로 활용하였다. 데이터 분석에는 텍스트 마이닝 기법이 적용되였고, 정제, 분석, 시각화의 모든 과정은 텍스톰(Textom) 프로그램을 이용하였다. 연구결과 키워드 분석에서는 '무대', '한국', '영상', '최고', '멋', '춤', '아이돌', '레전드', '사랑', '감사'등의 키워드 순으로 나타났고, '국뽕'이나 '올림픽'과 같은 키워드도 빈번하게 나타났다. N-gram 분석에서는 '한국의 아이돌 무대 중 전설로 남을법한 최고의 무대', '한국의 전통문화를 보여준 아이돌의 무대'라는 문맥의 댓글이 상위권에 랭킹되었다. 이와같은 키워드 분석결과를 바탕으로 토픽모델링을 적용하여 총 5개의 토픽에서 상위 5개의 키워드를 추출하였다. 토픽의 내용과 분포도를 분석한 결과 이 공연영상에 대한 댓글의 토픽은 크게 '공연무대에 대한 극찬', '한국전통춤을 융합하여 예술적으로 승화시킨 것에 대한 애정', '멋진 춤 영상을 올려준 것에 대한 감사한 마음'으로 크게 3가지의 반응으로 이루진 것을 확인하였다.

영화 스크립트 텍스트 마이닝을 통한 흥행성과 예측 (Assessing Box Office Performance Using Movie Scripts Text Mining)

  • 하현수;황병연
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.556-558
    • /
    • 2016
  • 영화 흥행 실패의 리스크를 줄이기 위해 객관적인 흥행 예측 지표가 요구된다. 본 논문에서는 영화 스크립트의 텍스트를 분석하여 흥행성과를 예측하는 기법을 제안한다. 객관적인 흥행 예측 지표는 누적 관객 수와 누적 매출액으로 설정하였다. 실험은 2010년 1월 1일부터 2016년 8월까지 개봉한 영화중에서 누적 관객 수와 누적 매출액을 기준으로 상위 50위까지의 영화 스크립트를 분석하여 진행했다. 실험을 통해 영화 제작에 앞서 스크립트 분석만을 활용한 영화 흥행성과 예측이 가능함을 보였다.

PGA 투어의 골프 스코어 예측 및 분석 (Prediction of golf scores on the PGA tour using statistical models)

  • 임정은;임영인;송종우
    • 응용통계연구
    • /
    • 제30권1호
    • /
    • pp.41-55
    • /
    • 2017
  • 최근 골프는 많은 사람들의 취미 생활로서 자리를 잡아가고 있으며 골프와 관련된 연구도 다양하게 이루어지고 있다. 본 연구에서는 데이터 마이닝 기법을 사용하여 PGA 투어에 참여하는 선수들의 평균스코어를 예측하고 스코어에 유의한 영향을 미치는 변수들을 제시하고자 한다. 그리고 추가적으로 4개의 PGA 투어 플레이오프에 대해 상위 10명, 상위 25명의 선수들을 예측하는 것을 목표로 한다. 우리는 다양한 선형/비선형 회귀분석 방법을 이용하여 평균스코어를 예측하는데, 선형회귀분석 방법으로는 단계적 선택법, 모든 가능한 회귀모형, 라소(LASSO), 능형회귀, 주성분회귀분석을 사용하였으며 비선형회귀분석 방법으로는 트리(CART), 배깅, 그래디언트 부스팅, 신경망 모형, 랜덤 포레스트, 최근접이웃방법(KNN)을 사용하였다. 대부분의 모형에서 공통적으로 선택된 변수들을 살펴보면 페어웨이의 단단함와 그린의 풀의 높이, 평균최대풍속이 높을수록 선수들의 평균스코어는 높아지며 반대로 한 번에 퍼팅을 성공시키는 횟수와 그린적중률 실패 후 버디나 이글로 점수를 만드는 scrambling 변수들, 그리고 공을 멀리 보낼 수 있는 능력을 나타내는 longest drive는 그 값이 높아짐에 따라 선수들의 평균스코어가 낮아지는 경향이 있음을 알 수 있었다. 11가지 모형 모두 테스트 데이터인 2015년 경기 결과를 예측하는데 낮은 오류율을 보였으나 배깅과 랜덤 포레스트의 예측률이 가장 좋았으며 두 모형 모두 상위 10명과 상위 25명의 랭킹을 예측할 때 상당히 높은 적중률을 보였다.

다형의 버그 추적 시스템 마이닝 및 분석을 위한 저장소 독립 모델 설계 (Designing a Repository Independent Model for Mining and Analyzing Heterogeneous Bug Tracking Systems)

  • 이재권;정우성
    • 한국컴퓨터정보학회논문지
    • /
    • 제19권9호
    • /
    • pp.103-115
    • /
    • 2014
  • 본 논문은 다양한 버그 추적 시스템으로부터 추출한 데이터를 통합하여 단일 저장소 모델을 제공하는 UniBAS(Unified Bug Analysis System)를 제안한다. UniBAS는 MSR(Mining Software Repositories) 연구 과정에서의 저장소 추출, 데이터 가공이나 모델 생성과 같은 공통적인 반복 작업을 줄이고, 관련 연구자가 상위 수준의 연구에 보다 집중할 수 있도록 함으로써 해당 연구 수행에 발생하는 복잡도와 비용을 줄여준다. 또한, UniBAS는 데이터 추출 뿐 아니라 질의 기반 분석에 필요한 테이블, 뷰 및 저장 프로시저 등을 자동 생성하며, 수집한 데이터 관리와 외부 도구와의 연동을 위해 다양한 형식의 파일을 생성할 수 있다. 사례 연구로 UniBAS의 유용성을 검증하기 위해 Mozilla사이트의 Firefox프로젝트를 대상으로 실제 중복 버그 리포트를 탐지하는 실험을 진행하였다. 이 과정에서 자동 추출된 자료를 대상으로 질의와 분석이 유연하게 이루어질 수 있었으며, 다양한 자연어 처리 알고리즘 적용을 통해 유효한 실험 결과를 얻을 수 있었다.