• 제목/요약/키워드: 빈발패턴 마이닝

검색결과 94건 처리시간 0.024초

웹 문서와 접근로그의 하이퍼링크 추출을 통한 웹 구조 마이닝 (Web Structure Mining by Extracting Hyperlinks from Web Documents and Access Logs)

  • 이성대;박휴찬
    • 한국정보통신학회논문지
    • /
    • 제11권11호
    • /
    • pp.2059-2071
    • /
    • 2007
  • 웹 사이트의 구조가 정확하게 주어진다면, 정보 제공자의 입장에서는 사용자의 행위 패턴이나 특성을 효과적으로 파악할 수 있어 보다 나은 서비스를 제공할 수 있고, 사용자의 입장에서는 더욱 쉽고 정확하게 유용한 정보를 찾을 수 있을 것이다. 하지만 웹상의 문서들은 빈발하게 수정되기 때문에 웹 사이트의 구조를 정확하게 추출하는 것은 상당한 어려움이 있다. 본 논문에서는 이러한 웹 사이트의 구조를 자동으로 추출하는 알고리즘을 제안한다. 제안하는 알고리즘은 두 단계로 구성된다. 첫 번째 단계는 웹 문서를 분석하여 그들 간의 하이퍼링크를 추출하고 이를 웹 사이트의 구조를 나타내는 방향 그래프로 표현한다. 하지만 플래시나 자바 애플릿에 포함된 하이퍼링크는 추출할 수 없는 한계가 있다. 두 번째 단계에서는 이러한 숨겨진 하이퍼링크를 추출하기 위하여 웹 사이트의 접근로그를 이용한다. 즉, 접근로그로부터 각 사용자의 클릭스트림을 추출한 후, 첫 번째 단계에서 생성한 그래프와 비교하여 숨겨진 하이퍼링크를 추출한다. 본 논문에서 제안한 알고리즘의 성능을 평가하기 위하여 다양한 실험을 수행하였고, 이러한 실험을 통하여 웹 사이트의 구조를 보다 정확하게 추출할 수 있음을 확인하였다.

RFID 데이터 스트림에서 이동궤적 패턴의 탐사 (Mining Frequent Trajectory Patterns in RFID Data Streams)

  • 서성보;이용미;이준욱;남광우;류근호;박진수
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권1호
    • /
    • pp.127-136
    • /
    • 2009
  • 이 논문은 RFID 데이터 스트림의 변화 특성을 고려하면서 단일 패스로 이동궤적 패턴을 실시간 추출하는 새로운 기법을 제안한다. RFID, 센서와 무선 네트워크 기술의 발달로 인해 현실 세계에서 실시간으로 데이터를 수집하고 유용한 패턴을 탐사하는 연구에 많은 관심이 집중되고 있다. 스트림 데이터에서 순차 패턴 또는 이동궤적 패턴을 탐사하는 기존의 연구 기법들은 반복적으로 데이터베이스 또는 트리를 탐색하는 고비용 문제점과 시간의 변화에 따르는 동적 특성을 실시간으로 패턴에 반영하지 못하는 단점이 있다. 제안하는 기법은 시간에 따라 RFID 데이터 스트림의 변화를 정확히 반영하기 위해 시간진화 그래프를 이용하여 이진 시간관계 테이블에 빈발한 2-길이 항목간 정보를 유지한다. 또한 다중 패스의 문제점을 해결하기 위해 t 시점에 이진 시간관계 테이블을 이용하여 k-길이의 후보 이동궤적 패턴을 추론하고, t+1 시점에서 후보 패턴을 검증하는 과정을 통해 k-길이 이동궤적 패턴을 단일 패스로 추출한다. 실험결과 제안하는 기법은 기존의 Apriori-계열 기법들과 비교하여 약 7% 정도 후보 패턴의 비율이 적게 생성되어 시간 및 공간 복잡도 측면에서 우수한 성능을 보였다.

  • PDF

비트 클러스터링을 이용한 빈발 패턴 탐사의 성능 개선 방안 (Advanced Improvement for Frequent Pattern Mining using Bit-Clustering)

  • 김의찬;김계현;이철용;박은지
    • 한국공간정보시스템학회 논문지
    • /
    • 제9권1호
    • /
    • pp.105-115
    • /
    • 2007
  • 데이터마이닝은 데이터베이스에 저장되어 있는 많은 일반적인 정보들을 가지고 의미있는 정보를 찾아내는 것이다. 많은 데이터 마이닝 기법들 중에 클러스터링과 연관규칙을 다루는 연구가 많이 이뤄지고 있다. 클러스터링 기법에는 공간데이터를 다루거나 속성데이터(비공간 데이터)를 다루는 많은 기법들이 연구되고 있고, 연관규칙 또한 빈발 패턴을 찾아내는 연구가 활발히 진행되고 있다. 기존의 연구 중 apriori 연관규칙 알고리즘을 개선하는 방법으로 비트 클러스터링을 이용하는 방법이 있다. 우리는 apriori 연관규칙 보다 더 나은 성능을 나타내는 FP-Growth에 대해 살펴보고 FP-Growth의 문제점을 찾아 이를 해결하기 위한 방법으로 비트 클러스터링을 이용하여 해결할 수 있는지에 대해 연구하였다. 본 논문에서는 전체 데이터베이스를 비트 클러스터링을 통해 몇 개의 클러스터로 나누어 FP-Growth 방법에 사용할 것을 제안하였다. 이렇게 하면 기존의 FP-Growth 방법보다 더 나은 성능을 가질 수 있으며 이를 증명하기 위한 실험을 수행하였다. 실험은 패턴 마이닝 연구에서 사용하는 chess 데이터를 이용하였으며, 최소지지도를 다르게 적용하면서 FP-Tree를 생성하는 실험을 하였다. 최소지지도가 높은 경우에는 기존의 방법과 비슷한 결과를 얻었지만 그 외 경우에는 기존의 방법보다 본 논문에서 제안하는 방법이 더 우수한 결과를 얻을 수 있었다. 본 논문의 주요 결론으로서 비트 클러스터링을 이용한 방법이 상대적으로 우수한 데이터 마이닝 방법임을 정리하였으며, 아울러 GML 데이터를 위한 비트 클러스터링의 적용방법론에 대하여도 논의하였다.적 성분으로 평가된다. 이러한 잠재적 추적자들에 근거할 때, 한국 서남해에 발달하고 있는 니질 퇴적대의 전퇴적물은 한국과 중국의 혼합 기원으로 해석되나, 실트와 점토 구간의 퇴적물로 나누어 볼 때 그기원이 각각 다르게 나타났다. 즉, 점토 퇴적물은 한국과 중국의 혼합 기원으로, 실트 퇴적물은 한국 기원이 우세한 것으로 해석된다. 과립에 황금입자가 표지되었다. 따라서 1일 동안 배설되는 분비배설항원은 선모충 유충의 표피와 stichocyte의 ${\alpha}_0\;{\alpha}_1$ 과립에서 유도되는 반면에 3일 동안 배설되는 분비배설항원은 표피와 stichocyte의 ${\alpha}_0$ 과립에서 유도되고, 선모충유충 감염후 1주, 4주에 실험쥐에서 형성되는 감염항체는 선모충의 표피와 기저층 그리고 EIM에서 분비되는 항원에 의하여 생성된다. 이상의 결과로 선모충의 분비배설항원과 감염항원은 선모충 유충의 표피와 EIM및 stichocyte의 ${\alpha}_0\;{\alpha}_1$ 과립에서 유도되며 이들은 45 kDa 단백을 포함하고 있는 것으로 생각된다.성하고 있는 세포들에는 세포질이 어두운 세포와 밝은 세포가 있었으며, 세포질내에는 전자밀도가 높은 분비과립이 관찰되었다. 전체적인 특징은 눈물샘분비세포 중 장액세포의 것과 비슷하였으나, 과립의 크기는 작았다. 분비관을 구성하는 세포들 사이에도 연접복합체가 매우 잘 발달되어 있었다. 샘포에서 사이관으로 이행되는 곳에서도 샘포세포와 사이관세포 사이에서도 연접복합체가 관찰되었다. 분비관세포의 분비과립 가운데는 중심부분에 전자밀도가

  • PDF

구인구직사이트의 구인정보 기반 지능형 직무분류체계의 구축 (Development of Intelligent Job Classification System based on Job Posting on Job Sites)

  • 이정승
    • 지능정보연구
    • /
    • 제25권4호
    • /
    • pp.123-139
    • /
    • 2019
  • 주요 구인구직사이트의 직무분류체계가 사이트마다 상이하고 SW분야에서 제안한 'SQF(Sectoral Qualifications Framework)'의 직무분류체계와도 달라 SW산업에서 SW기업, SW구직자, 구인구직사이트가 모두 납득할 수 있는 새로운 직무분류체계가 필요하다. 본 연구의 목적은 주요 구인구직사이트의 구인정보와 'NCS(National Competaency Standars)'에 기반을 둔 SQF를 분석하여 시장 수요를 반영한 표준 직무분류체계를 구축하는 것이다. 이를 위해 주요 구인구직사이트의 직종 간 연관분석과 SQF와 직종 간 연관분석을 실시하여 직종 간 연관규칙을 도출하고자 한다. 이 연관규칙을 이용하여 주요 구인구직사이트의 직무분류체계를 맵핑하고 SQF와 직무 분류체계를 맵핑함으로써 데이터 기반의 지능형 직무분류체계를 제안하였다. 연구 결과 국내 주요 구인구직사이트인 '워크넷,' '잡코리아,' '사람인'에서 3만여 건의 구인정보를 open API를 이용하여 XML 형태로 수집하여 데이터베이스에 저장했다. 이 중 복수의 구인구직사이트에 동시 게시된 구인정보 900여 건을 필터링한 후 빈발 패턴 마이닝(frequent pattern mining)인 Apriori 알고리즘을 적용하여 800여 개의 연관규칙을 도출하였다. 800여 개의 연관규칙을 바탕으로 워크넷, 잡코리아, 사람인의 직무분류체계와 SQF의 직무분류체계를 맵핑하여 1~4차로 분류하되 분류의 단계가 유연한 표준 직무분류체계를 새롭게 구축했다. 본 연구는 일부 전문가의 직관이 아닌 직종 간 연관분석을 통해 데이터를 기반으로 직종 간 맵핑을 시도함으로써 시장 수요를 반영하는 새로운 직무분류체계를 제안했다는데 의의가 있다. 다만 본 연구는 데이터 수집 시점이 일시적이기 때문에 시간의 흐름에 따라 변화하는 시장의 수요를 충분히 반영하지 못하는 한계가 있다. 계절적 요인과 주요 공채 시기 등 시간에 따라 시장의 요구하는 변해갈 것이기에 더욱 정확한 매칭을 얻기 위해서는 지속적인 데이터 모니터링과 반복적인 실험이 필요하다. 본 연구 결과는 향후 SW산업 분야에서 SQF의 개선방향을 제시하는데 활용될 수 있고, SW산업 분야에서 성공을 경험삼아 타 산업으로 확장 이전될 수 있을 것으로 기대한다.