• 제목/요약/키워드: real-time databases

검색결과 184건 처리시간 0.022초

트랜잭션 가중치 기반의 빈발 아이템셋 마이닝 기법의 성능분석 (Performance analysis of Frequent Itemset Mining Technique based on Transaction Weight Constraints)

  • 윤은일;편광범
    • 인터넷정보학회논문지
    • /
    • 제16권1호
    • /
    • pp.67-74
    • /
    • 2015
  • 최근, 아이템들의 가치를 고려한 빈발 아이템셋 마이닝 방법은 데이터 마이닝 분야에서 가장 중요한 이슈 중 하나로 활발히 연구되어왔다. 아이템들의 가치를 고려한 마이닝 기법들은 적용 방법에 따라 크게 가중화 빈발 아이템셋 마이닝, 트랜잭션 가중치 기반의 빈발 아이템셋 마이닝, 유틸리티 아이템셋 마이닝으로 구분된다. 본 논문에서는 트랜잭션 가중치 기반의 빈발 아이템셋 마이닝들에 대해 실증적인 분석을 수행한다. 일반적으로 트랜잭션 가중치 기반의 빈발 아이템셋 마이닝 기법들은 데이터베이스 내 아이템들의 가치를 고려함으로써 트랜잭션 가중치를 계산한다. 또한, 그 기법들은 계산된 각 트랜잭션의 가중치를 바탕으로 가중화 빈발 아이템셋들을 마이닝 한다. 트랜잭션 가중치는 트랜잭션 내에 높은 가치의 아이템이 많이 포함 될수록 높은 값으로 나타나기 때문에 우리는 각 트랜잭션의 가중치의 분석을 통해 그 가치를 파악할 수 있다. 우리는 트랜잭션 가중치 기반의 빈발 아이템셋 마이닝 기법 중에서 가장 유명한 알고리즘인 WIS와 WIT-FWIs, IT-FWIs-MODIFY, WIT-FWIs-DIFF의 장 단점을 분석하고 각각의 성능을 비교한다. WIS는 트랜잭션 가중치 기반의 빈발 아이템셋 마이닝의 개념과 그 기법이 처음 제안된 알고리즘이며, 전통적인 빈발 아이템셋 마이닝 기법인 Apriori를 기반으로 하고 있다. 또 다른 트랜잭션 가중치 기반의 빈발 아이템셋 마이닝 방법인 WIT-FWIs와 WIT-FWIs-MODIFY, WIT-FWIs-DIFF는 가중화된 빈발 아이템셋 마이닝을 더 효율적으로 수행하기 위해 격자구조(Lattice) 형태의 특별한 저장구조인 WIT-tree를 이용한다. WIT-tree의 각 노드에는 아이템셋 정보와 아이템셋이 포함된 트랜잭션의 ID들이 저장되며, 이 구조를 사용함으로써 아이템셋 마이닝 과정에서 발생되는 다수의 데이터베이스 스캔 과정이 감소된다. 특히, 전통적인 알고리즘들이 수많은 데이터베이스 스캔을 수행하는 반면에, 이 알고리즘들은 WIT-tree를 이용해 데이터베이스를 오직 한번만 읽음으로써 마이닝과정에서 발생 가능한 오버헤드 문제를 해결한다. 또한, 공통적으로 길이 N의 두 아이템셋을 이용해 길이 N+1의 새로운 아이템셋을 생성한다. 먼저, WIT-FWIs는 각 아이템셋이 동시에 발생되는 트랜잭션들의 정보를 활용하는 것이 특징이다. WIT-FWIs-MODIFY는 조합되는 아이템셋의 정보를 이용해 빈도수 계산에 필요한 연산을 줄인 알고리즘이다. WIT-FWIs-DIFF는 두 아이템셋 중 하나만 발생한 트랜잭션의 정보를 이용한다. 우리는 다양한 실험환경에서 각 알고리즘의 성능을 비교분석하기 위해 각 트랜잭션의 형태가 유사한 dense 데이터와 각 트랜잭션의 구성이 서로 다른 sparse 데이터를 이용해 마이닝 시간과 최대 메모리 사용량을 평가한다. 또한, 각 알고리즘의 안정성을 평가하기 위한 확장성 테스트를 수행한다. 결과적으로, dense 데이터에서는 WIT-FWIs와 WIT-FWIs-MODIFY가 다른 알고리즘들보다 좋은 성능을 보이고 sparse 데이터에서는 WIT-FWI-DIFF가 가장 좋은 효율성을 갖는다. WIS는 더 많은 연산을 수행하는 알고리즘을 기반으로 했기 때문에 평균적으로 가장 낮은 성능을 보인다.

국방 온톨로지를 통한 지능형 의사결정지원시스템 구축 및 활용 - 공군 군수상황관리체계 적용 사례 (Construction and Application of Intelligent Decision Support System through Defense Ontology - Application example of Air Force Logistics Situation Management System)

  • 조원기;김학진
    • 지능정보연구
    • /
    • 제25권2호
    • /
    • pp.77-97
    • /
    • 2019
  • 제 4차 산업혁명의 초연결 환경에서 발생하는 많은 양의 데이터는 제 4차 산업혁명을 기존의 생산 환경과 구분지어 주는 주요한 요소이다. 이러한 환경은 데이터를 필요로 하는 동시에 데이터를 생산하는 양면적인 특징을 가진다. 때문에 앞으로의 정보 시스템은 기존의 정보시스템보다 양적인 측면에서 더 많은 데이터를 처리해야 하며, 질적인 측면에서는 많은 데이터 중 사용자의 목적에 부합하는 목표 데이터만을 추출하는 능력이 요구된다. 작은 규모의 정보 시스템에서는 사람이 그 시스템을 정확히 이해하고 필요한 정보를 획득하는 것이 가능하지만, 시스템에 대해 정확한 이해가 어려워진 다양하고 복잡한 시스템에서는 원하는 정보를 획득하는 것이 점점 더 어려워진다. 이러한 문제는 데이터를 사람뿐 아니라 컴퓨터가 이해할 수 있는 온톨로지로 표현하여 다양한 정보처리가 가능하도록 하는 시맨틱 웹(Semantic Web) 구축이 해결책이 될 수 있다. 군에서도 현재 대부분의 업무가 정보 시스템을 통해 이루어지고 있는데, 정보의 입력이나 가공 등 단순처리 중심으로 구축된 기존 시스템이 점점 더 많은 양의 데이터를 포함하게 되면서 시스템을 쉽게 활용하기 위한 노력이 필요한 상황이다. 본 연구에서는 온톨로지를 통한 지능형 의사결정지원시스템의 예로 온톨로지 기반 군수상황관리체계를 제안하고자 한다. 온톨로지 기반 군수상황관리체계는 기존의 군수정보체계의 복잡한 정보를 직관적으로 보여주기 위해 구축된 군수상황관리체계를 온톨로지를 통해 구축하였으며, 성과기반군수지원 계약관리, 부품사전 등의 유용한 기능을 추가 식별하여 온톨로지에 포함하였다. 또한 구축된 온톨로지가 의사결정지원에 활용할 수 있는지를 확인하기 위해 시맨틱 웹 기술을 통해 기본적인 질의응답은 물론 추론 및 함수를 통한 분석기능을 구현하였다.

부정 탐지를 위한 이상치 분석 활용방안 연구 : 농수산 상장예외품목 거래를 대상으로 (A Study on the Application of Outlier Analysis for Fraud Detection: Focused on Transactions of Auction Exception Agricultural Products)

  • 김동성;김기태;김종우;박성기
    • 지능정보연구
    • /
    • 제20권3호
    • /
    • pp.93-108
    • /
    • 2014
  • 기업 의사 결정 지원을 위하여 거래 데이터를 다양한 관점에서 분석하고 활용하려는 노력과 관심들이 증가하고 있다. 이러한 노력들은 고객 관리나 마케팅에만 국한되는 것이 아니라 부정행위에 대한 감시와 탐지를 목적으로도 다양한 분석 방안들이 연구되고 있다. 부정행위는 기술의 발전을 악용하여 다양한 형태로 진화하고 있으며, 이에 따라 목적에 맞는 부정탐지 방안 연구와 적용을 통하여 탐지 효용의 극대화를 위한 노력의 필요성이 증가하고 있다. 이러한 연구 동향의 일환으로 본 연구에서는 대용량 거래 데이터가 저장 관리되고 있는 국내 최대 농수산물 유통 시장의 2008년부터 2010년까지 상장예외품목의 거래 가격을 분석하여 부정 탐지 규칙을 도출하였으며, 전문가 검증을 통하여 도출 된 규칙의 신뢰성을 확보하였다. 본 연구의 주요 부정거래 분석 방안으로는 정상적인 데이터들은 발생 확률이 높은 반면에 특이한 데이터들의 발생 확률은 낮다고 가정하는 통계적 접근을 통한 이상치 식별 방안을 활용하였다. 이에 따라 부정거래 분석 별로 정의 된 Z-Score 값보다 클 경우 부정거래 탐지 대상이 된다. 다만 상장예외품목 거래의 경우 취급 가능한 중도매인의 수가 제한되어 있으며, 일반적인 상장품목의 거래보다 거래량이 적기 때문에 소수의 이상치가 품목의 평균에 미치는 영향이 크다. 그 예로 다른 소수의 중도매인들이 해당 품목을 정상적인 가격에 거래하였더라도, 특정한 중도매인 한 명이 지나치게 비정상적인 가격에 거래할 경우 모든 거래들이 부정거래로 탐지 될 가능성도 있다. 이러한 문제를 해결하기 위하여 기존의 Z-Score의 개념을 활용하여 수정된 Z-Score(Self-Eliminated Z-Score)를 사용하였다. 또한 부정 유형별 탐지 규칙 관리와 활용을 위한 시스템 프로토타입(prototype) 개발을 수행하였다. 이를 통하여 실제 부정거래 탐지 업무에 적용할 수 있는 효과적인 방안을 제시하였고, 농수산 유통시장의 공정성 및 투명성 확보를 위한 관리 감독의 기능 강화가 가능할 것이다.

기업정보 기반 지능형 밸류체인 네트워크 시스템에 관한 연구 (A Study on Intelligent Value Chain Network System based on Firms' Information)

  • 성태응;김강회;문영수;이호신
    • 지능정보연구
    • /
    • 제24권3호
    • /
    • pp.67-88
    • /
    • 2018
  • 최근까지도 중소기업의 지속성장 및 경쟁력 확보에 대한 중요함을 인식함에 따라, 정부 차원에서의 유형 자원(R&D 인력, 자금 등)에 대한 지원이 주로 투입되어 왔다. 그러나 사업지원의 적절성이나 효과성, 효율성 면에서 서로 상충되는 정책부분이 존재하여 과소 지원이나 중복 지원 등 지원체계의 비효율성 문제가 제기되어온 것도 사실이다. 정부나 기업 관점에서는 중소기업의 한정된 자원으로 인해, 외부와의 협력을 통한 기술개발 및 역량강화가 기업의 경쟁우위를 창출하는 근간이라 보고 있으며, 이를 위한 가치창출 활동을 강조하고 있다. 기업 레벨에서의 지식생태계 구축을 통해 일련의 가치사슬로부터 기업거래 관계를 분석하고 결과를 가시화할 수 있는 밸류체인 네트워크 분석이 필요한 것도 이 때문이다. 특허/제품/기업명 검색을 통해 관련 제품의 정보나 특허 보유 기업의 기술(제품) 현황 정보를 제공하는 기술기회발굴시스템(Technology Opportunity Discovery system), 기업(재무)정보와 신용정보을 열람하게 해주는 CRETOP이나 KISLINE 등은 존재하고 있으나 밸류체인 네트워크 분석기반으로 유사(경쟁)기업의 리스트나 향후 거래 가능한 잠재 거래처 정보를 제공해주는 시스템은 부재한 실정이다. 따라서, 본 고에서는 KISTI에서 개발 운영중인 기업 비즈니스 전략수립 지원 파트너인 '밸류체인 네트워크 시스템(Value Chain Network System : VCNS)'을 중심으로, 탑재된 네트워크 기반 분석모듈의 유형, 이를 지원하는 참조정보 및 데이터베이스(D/B)의 구성 로직과 시스템 활용방안을 고찰하며, 산업구조를 이해하고 기업의 신제품 개발을 위한 핵심정보가 되고 있는 지능형 밸류체인 분석 시스템의 네트워크 가시화 기능을 살펴보기로 한다. 한 기업이 다른 기업 대비 경쟁우위를 확보하기 위해서는 보유 특허 또는 현재 생산하고 있는 제품에 대한 경쟁자 식별이 필요하며, 세부 업종별 유사(경쟁)기업을 탐색하는 일은 대상기업의 사업화 경쟁력 확보에 핵심이 된다. 또한 기업간 비즈니스 활동인 거래정보는 유사 분야로 진출할 경우 잠재 거래처 정보를 제공하는 중요한 역할을 수행한다. 이러한 기업간 판매정보를 기반으로 구축된 네트워크 맵을 활용하여 기업 또는 업종 수준의 경쟁자를 식별하는 일은 밸류체인 분석의 핵심모듈로 탑재될 수 있다. 밸류체인 네트워크 시스템(VCNS)은 단순 수집된 종래의 기업정보에 밸류체인(value chain) 및 산업구조 분석개념을 접목하여 개별 기업의 시장경쟁 상황은 물론 특정 산업의 가치사슬 관계를 파악할 수 있다. 특히 업종구조 파악, 경쟁사 동향 파악, 경쟁사 분석, 판매처 및 구매처 발굴, 품목별 산업동향, 유망 품목 발굴, 신규 진입기업 발굴, VC별 핵심기업 및 품목 도출, 해당 기업별 보유 특허 파악 등 기업 레벨에서의 유용한 정보분석 툴로 활용 가능하다. 또한, 거래처 정보 및 재무데이터로부터 분석된 결과의 객관성 및 신뢰성을 기반으로, 현재 국내에서 이용 중인 15,000여개 회원기업과 연구개발서비스업 종사자, 출연(연) 및 공공기관 등에서 사업평가 정보지원, R&D 의사결정 지원 및 중 단기 수요예측 전망 등 다양한 목적(용도)에 밸류체인 네트워크 시스템을 활용할 수 있을 것으로 기대된다. 기업의 사업경쟁력 강화를 위해 정부기관 및 민간 연구개발서비스 기업을 중심으로 기술(특허) 및 시장정보가 제공되어 왔으며, 이는 특허분석(등급, 계량분석 위주) 또는 시장분석(시장보고서 기반 시장규모 및 수요예측 위주)의 형태로 지원되어 왔다. 그러나 기업이 사업화진출 단계에서 겪게 되는 애로요인의 하나인 정보부족을 해결하는데 한계가 있었으며, 특히 경쟁기업 및 거래가능 기업 후보군에 대한 탐색정보는 입수하기 어려웠다. 본 연구를 통해 제안된 네트워크맵 및 보유 데이터 기반의 실시간 밸류체인 가시화 서비스모듈이 중견 중소기업이 당면한 신규시장 진출시 경쟁기업 대비 예상점유율, (예상)매출액 수준, 어느 기업을 컨택하여 유통망(원자재/부품에 대한 공급처, 완제품/모듈에 대한 수요처)을 확보할 지에 대한 핵심정보를 제공할 수 있을 것으로 기대된다. 향후 연구에서는 대체기업(또는 대체품목) 경쟁지표의 개발과 연구주체의 참여를 통한 경쟁요인별 지표의 고도화 연구, VCNS의 성능향상을 위한 데이터마이닝 기술 및 알고리즘을 추가 반영하도록 수행하고자 한다.