• 제목/요약/키워드: Log Clustering

검색결과 73건 처리시간 0.025초

Fuzzy Training Based on Segmentation Using Spatial Region Growing

  • Lee Sang-Hoon
    • 대한원격탐사학회지
    • /
    • 제20권5호
    • /
    • pp.353-359
    • /
    • 2004
  • This study proposes an approach to unsupervisedly estimate the number of classes and the parameters of defining the classes in order to train the classifier. In the proposed method, the image is segmented using a spatial region growing based on hierarchical clustering, and fuzzy training is then employed to find the sample classes that well represent the ground truth. For cluster validation, this approach iteratively estimates the class-parameters in the fuzzy training for the sample classes and continuously computes the log-likelihood ratio of two consecutive class-numbers. The maximum ratio rule is applied to determine the optimal number of classes. The experimental results show that the new scheme proposed in this study could be used to select the regions with different characteristics existed on the scene of observed image as an alternative of field survey that is so expensive.

위치정보 및 사용자 경험을 반영하는 모바일 PA에이전트의 설계 (Designing mobile personal assistant agent based on users' experience and their position information)

  • 강신봉;노상욱
    • 인터넷정보학회논문지
    • /
    • 제12권1호
    • /
    • pp.99-110
    • /
    • 2011
  • 급변하는 모바일 환경에서 스마트폰을 비롯한 모바일 기기는 엔터테인먼트, 비즈니스, 정보서비스 등 사용자들의 삶의 방식을 직접적으로 변화시키는 핵심 도구로써의 역할을 하고 있다. 모바일 서비스 중 특히 사용자의 위치정보를 활용하여 서비스를 제공하는 위치기반 서비스(Location Based Service)는 검색, 증강현실, 모바일 SNS(Social Network Service), 게임 등의 다른 서비스 및 콘텐츠와 결합하여 사용자의 다양한 요구를 충족시키며 주요 서비스로 자리 잡아 가고 있다. 본 논문에서는 모바일 서비스가 갖는 잠재적 가능성을 이용하여 모바일 기기의 사용성을 증대시키며, 서비스의 복잡성을 해결하기 위하여 복잡한 태스크를 숨기고 사용자를 대신하여 프로세스를 수행시킬 수 있는 방안에 중점을 둔다. 사용자의 의도 혹은 선호도를 파악하여 사용자에게 개인화된 서비스를 제공하는 PA(Personal Assistant) 에이전트의 개념을 모바일 환경에 적용하기 위한 기법을 제시한다. 사용자의 선호도를 파악하고 개인화된 서비스를 제공하기 위하여 클러스터링 알고리즘과 데이터 분류 알고리즘을 사용하였다. 실험을 통하여 사용자 패턴별로 생성한 클러스터에 분류 알고리즘을 적용한 결과에 대한 분류정확도를 측정하였으며, 제안한 기법의 클러스터별 분류 정확도는 기존의 기법과 비교하여 17.42% 증가하였다.

역방향 인덱스 기반의 저장소를 이용한 이상 탐지 분석 (Anomaly Detection Analysis using Repository based on Inverted Index)

  • 박주미;조위덕;김강석
    • 정보과학회 논문지
    • /
    • 제45권3호
    • /
    • pp.294-302
    • /
    • 2018
  • 정보통신 기술의 발전에 따른 새로운 서비스 산업의 출현으로 개인 정보 침해, 산업 기밀 유출 등 사이버 공간의 위험이 다양화 되어, 그에 따른 보안 문제가 중요한 이슈로 떠오르게 되었다. 본 연구에서는 기업 내 개인 정보 오남용 및 내부 정보 유출에 따른, 대용량 사용자 로그 데이터를 기반으로 기존의 시그니처(Signature) 보안 대응 방식에 비해, 실시간 및 대용량 데이터 분석기술에 적합한 행위 기반 이상 탐지방식을 제안하였다. 행위 기반 이상 탐지방식이 대용량 데이터를 처리하는 기술을 필요로 함에 따라, 역방향 인덱스(Inverted Index) 기반의 실시간 검색 엔진인 엘라스틱서치(Elasticsearch)를 사용하였다. 또한 데이터 분석을 위해 통계 기반의 빈도 분석과 전 처리 과정을 수행하였으며, 밀도 기반의 군집화 방법인 DBSCAN 알고리즘을 적용하여 이상 데이터를 분류하는 방법과 시각화를 통해 분석을 간편하게 하기위한 한 사례를 보였다. 이는 기존의 이상 탐지 시스템과 달리 임계값을 별도로 설정하지 않고 이상 탐지 분석을 시도하였다는 것과 통계적인 측면에서 이상 탐지 방식을 제안하였다는 것에 의의가 있다.

팀 프로세스의 작은 세상 구조가 팀 성과에 미치는 영향 (The Effect of Small-World Structure in Team Processes on Team Performance)

  • 서일정
    • 한국콘텐츠학회논문지
    • /
    • 제19권3호
    • /
    • pp.539-547
    • /
    • 2019
  • 본 연구의 목적은 팀 프로세스의 작은 세상 구조가 팀 성과에 미치는 영향을 탐색적으로 살펴보는 것이다. 관련 문헌을 고찰하여 팀 프로세스의 작은 세상 구조와 팀 성과 사이의 관계를 이론적으로 논의하였으며, 축구팀의 패스 데이터를 이용하여 실증적으로 분석하였다. 2014년 브라질 월드컵 경기의 패스 데이터를 수집하여 128개의 패스 네트워크를 구성하고 작은 세상을 나타내는 구조적 특성을 측정하였다. 이 과정에서 작은 세상의 정도를 측정하는 데 폭넓게 사용된 작은세상지수(small-world index)의 단점을 극복할 수 있는 새로운 지수를 개발하였다. 그리고 작은 세상 구조와 성과 사이의 관계를 밝히기 위하여 상관분석과 회귀분석을 실시하였다. 분석 결과에 의하면, 팀 프로세스의 군집성은 팀 성과와 지수함수의 관계가 있고 팀 프로세스의 연결성은 팀 성과와 로그함수의 관계가 있는 것으로 나타났다. 결과적으로 팀 프로세스의 작은 세상 구조는 팀 성과에 긍정적인 영향을 미치는 것으로 나타났다. 이론적 논의와 실증적 분석을 통해, 본 연구는 팀 프로세스의 작은 세상 구조가 팀원 사이의 업무 조정과 협업을 촉진하는데 효과적으로 작용하여 팀 성과에 긍정적인 영향을 미친다는 것을 밝혀내었다.

스마트워크 환경에서 이상접속탐지를 위한 의사결정지원 시스템 연구 (Decision Support System to Detect Unauthorized Access in Smart Work Environment)

  • 이재호;이동훈;김휘강
    • 정보보호학회논문지
    • /
    • 제22권4호
    • /
    • pp.797-808
    • /
    • 2012
  • 스마트워크 환경에서는 재택근무나 기업에서 구축한 스마트워크 센터, 휴대 가능한 모바일 단말기 등을 활용하여 원격 협업 환경을 구성하고 유연한 근무 환경을 조성하지만, 개인정보 및 업무상 중요 정보의 해킹, 노출 등의 위험성이 상존한다. 이러한 위험에 빠르게 대처하기 위해 기업 외부에서 일하는 직원이 내부망으로 접속할 때 사용하는 VPN(Virtual Private Network) 접속로그를 모니터링함으로써 직원들의 사용 패턴을 파악하고 비이상적인 행동을 탐지할 수 있다. 본 논문에서는 VPN 접속로그를 이용하여 기존의 로그 셋과 현재 접속의 유사도 측정 및 설문을 통한 적합한 시각화 방식을 제시하여 현재 접속의 정상 유무를 판단하는 시스템을 관리자에게 제공한다. 제안한 방법론을 통해 실제 기업환경에서 사용한 VPN 접속로그를 이용하여 실험을 한 결과 비정상 접속로그를 평균 88.7%로 추출할 수 있었으며, 관리자는 이 시스템을 이용하여 비정상으로 접속하는 주체를 실시간으로 확인하여 대응할 수 있다.

A streamlined pipeline based on HmmUFOtu for microbial community profiling using 16S rRNA amplicon sequencing

  • Hyeonwoo Kim;Jiwon Kim;Ji Won Cho;Kwang-Sung Ahn;Dong-Il Park;Sangsoo Kim
    • Genomics & Informatics
    • /
    • 제21권3호
    • /
    • pp.40.1-40.11
    • /
    • 2023
  • Microbial community profiling using 16S rRNA amplicon sequencing allows for taxonomic characterization of diverse microorganisms. While amplicon sequence variant (ASV) methods are increasingly favored for their fine-grained resolution of sequence variants, they often discard substantial portions of sequencing reads during quality control, particularly in datasets with large number samples. We present a streamlined pipeline that integrates FastP for read trimming, HmmUFOtu for operational taxonomic units (OTU) clustering, Vsearch for chimera checking, and Kraken2 for taxonomic assignment. To assess the pipeline's performance, we reprocessed two published stool datasets of normal Korean populations: one with 890 and the other with 1,462 independent samples. In the first dataset, HmmUFOtu retained 93.2% of over 104 million read pairs after quality trimming, discarding chimeric or unclassifiable reads, while DADA2, a commonly used ASV method, retained only 44.6% of the reads. Nonetheless, both methods yielded qualitatively similar β-diversity plots. For the second dataset, HmmUFOtu retained 89.2% of read pairs, while DADA2 retained a mere 18.4% of the reads. HmmUFOtu, being a closed-reference clustering method, facilitates merging separately processed datasets, with shared OTUs between the two datasets exhibiting a correlation coefficient of 0.92 in total abundance (log scale). While the first two dimensions of the β-diversity plot exhibited a cohesive mixture of the two datasets, the third dimension revealed the presence of a batch effect. Our comparative evaluation of ASV and OTU methods within this streamlined pipeline provides valuable insights into their performance when processing large-scale microbial 16S rRNA amplicon sequencing data. The strengths of HmmUFOtu and its potential for dataset merging are highlighted.

계층적 영상구조에서 통계적 방법에 의한 영상분할 (A Statistical Image Segmentation Method in the Hierarchical Image Structure)

  • 최성진
    • 방송공학회논문지
    • /
    • 제1권2호
    • /
    • pp.165-175
    • /
    • 1996
  • 본 논문에서는 영상분할에 이용되는 대부분의 기존방법들에서의 문제점을 해결하기 위해 입력 영상으로부터 형성된 계층적 피라밋 영상구조를 이용하여 영상을 분할하는 방법을 제안하였다. 제안된 방법은 통계적 방식에 의한 물체검출 및 묘사과정으로 이루어져 있다. 물체검출 방법에서는 계층적 영상구조에서 발생하는 클러스터링의 유효성 문제를 해결하기 위해 통계적 IFSVR 알고리듬과 FSVR 알고리듬을 제안하였고, 이를 이용하여 관심대상 화소를 검출하였다. 물체묘사 방법은 고해상도 레벨로 검출된 최적 물체화소를 투사하고 처리하기 위해 톱다운 추적방식인 반복 알고리듬을 제안하였다. 시뮬레이션을 통하여 2진 영상과 실영상 모두에서 제안된 분할방법을 분석하였고, 그 결과 계층적 피라밋구조에 기초를 둔 접근방법이 영상분할에 대한 유용한 특성을 가지고 있음을 입증하였으며, 병렬처리기에서 처리된다면 각 알고리듬이 n${\times}$n 영상에 대해 0(log n)의 계산량이 요구된다.

  • PDF

기업과 소비자간 전자상거래에서의 웹 마이닝을 이용한 상품관리 (Merchandise Management Using Web Mining in Business To Customer Electronic Commerce)

  • 임광혁;홍한국;박상찬
    • 지능정보연구
    • /
    • 제7권1호
    • /
    • pp.97-121
    • /
    • 2001
  • 본 연구에서는 웹 마이닝을 이용하여 기업과 소비자간 전자상거래(Business-To-Customer Electronic Commerce)환경에 기초한 가상상점(Cyber market)의 상품 관리자 입장에서 효율적인 상품관리를 가능케 하는 시스템적 접근방법을 통한 상품관리 방법론을 제시하고자 한다. 또한 이 상품 관리 방법론을 실제 웹 상에서 운영되고 있는 가상상점에 직접 적용하여 봄으로써 실증적인 예를 보여주고자 한다.

  • PDF

사이트 포트폴리오 구성을 위한 사용자 관점의 웹사이트 클러스터링 (User Perspective Website Clustering for Site Portfolio Construction)

  • 김민규;김남규
    • 인터넷정보학회논문지
    • /
    • 제16권3호
    • /
    • pp.59-69
    • /
    • 2015
  • 많은 사용자들이 인터넷을 통해 정보검색, 쇼핑, 커뮤니티 참여 등의 일상 생활을 영위하고 있으며, 이들 인터넷 사용자들로부터 수익을 창출하기 위한 웹사이트들의 경쟁은 점점 치열해지고 있다. 각 사이트의 운영자 및 마케팅 담당자들은 경쟁 우위를 차지하기 위해 다양한 전략을 수립하고 있으며, 이 과정에서 타 사이트와의 제휴가 이루어지는 경우도 비일비재하다. 이는 타 사이트와의 제휴를 통해 타사의 고객 정보를 부분적으로 공유할 수 있을 뿐 아니라 포인트 공유, 상호 추천 등 보다 다양한 전략의 운용이 가능하기 때문이다. 제휴를 통해 긍정적인 성과를 거두기 위해서는 현재 자사의 고객은 아니지만 미래의 자사 고객이 될 수 있는 잠재 고객을 다수 확보하고 있는 타 사이트를 제휴 대상으로 선정하는 것이 매우 중요하다. 하지만 많은 사이트 중 이와 같이 자사에 도움이 되는 제휴 대상 사이트를 식별하는 것은 쉬운 일이 아니다. 따라서 본 논문에서는 방문 고객의 유사성 관점에서 사이트 클러스터링을 수행하고, 이에 근거하여 유사 고객군을 공유하고 있는 제휴 사이트 대상을 식별할 수 있는 방안을 제시한다. 또한 제안 방법론의 실무적용 가능성을 평가하기 위해, 웹사이트 150,295개에 대한 패널 5,000명의 실제 방문 기록 약 1억 4천만 건에 대해 실험을 수행하고 그 결과를 제시한다.

예비위험분석기술(PHA)과 품질기능전개(QFD) 기법을 이용한 철도사고 시나리오 분석기술 개발 (Development of a Railway Accident Scenario Analysis Technique using a Preliminary Hazard Analysis(PHA) and a Quality Function Deployment(QFD))

  • 박찬우;곽상록;왕종배;홍선호;박주남
    • 한국철도학회:학술대회논문집
    • /
    • 한국철도학회 2005년도 춘계학술대회 논문집
    • /
    • pp.151-156
    • /
    • 2005
  • The objective of this study is to devise an accident scenario analysis method adept at creating accident scenarios at the Preliminary Hazard Analysis(PHA) step of a hazard analysis for railway system. This approach was inspired by the Quality Function Deployment(QFD) method, which is conventionally used in quality management and was used at the systematic accident scenario analysis(SASA) for the design of safer products. In this study, the QFD provides a formal and systematic schema to devise accident scenarios while maintaining objective. The accident scenario analysis method first identifies the hazard factors that cause railway accidents and explains the situation characteristics surrounding the accident. This method includes a feasibility test, a clustering process and a pattering process for a clearer understanding of the accident situation. Since this method enables an accident scenario analysis method to be performed systematically as well as objectively, this method is useful in building better accident prevention strategies. Therefore, this study can serve to reduce railway accident and be an effective tool for a hazard analysis.

  • PDF