• 제목/요약/키워드: Stream Mining

검색결과 153건 처리시간 0.032초

Prefix-트리를 이용한 동적 가중치 빈발 패턴 탐색 기법 (Efficient Dynamic Weighted Frequent Pattern Mining by using a Prefix-Tree)

  • 정병수
    • 정보처리학회논문지D
    • /
    • 제17D권4호
    • /
    • pp.253-258
    • /
    • 2010
  • 지금까지의 빈발 패턴(Frequent Pattern) 마이닝에서는 각 항목들의 중요도(Weight)는 모든 같은 값으로 다루어 왔으나 실 환경에서는 각 항목들의 중요도가 다르게 적용되는 경우가 많이 있고 또 같은 항목이라도 시간에 따라 다른 중요도 값으로 다루어져야 할 경우가 있다. 비즈니스 데이터 분석 환경이나 웹 클릭 데이터 분석 환경과 같은 응용에서도 동적으로 변하는 중요도를 고려하여야 한다. 지금까지 항목의 중요도를 고려하는 여러 패턴 마이닝 기법들이 제안되고 있으나 동적으로 변하는 항목의 중요도를 고려하는 연구는 발표되지 않고 있다. 본 논문에서는 처음으로 동적인 항목들의 중요도(혹은 가중치)를 고려하는 빈발 패턴 마이닝 알고리즘을 제안한다. 제안하는 기법은 단 한번의 데이터베이스 스캔으로 처리되므로 스트림 데이터를 분석할 수 있다. 여러 실험을 통하여 제안하는 기법은 매우 효과적이며 확장성이 좋은 것임을 보인다.

백운 폐광산의 방치된 폐석으로 인한 주변 수계의 환경적 영향 (Environmental effects from Natural Waters Contaminated with Acid Mine Drainage in the Abandoned Backun Mine Area)

  • 전서령;정재일;김대현
    • 자원환경지질
    • /
    • 제35권4호
    • /
    • pp.325-337
    • /
    • 2002
  • 백운 폐광산 주변에 방치된 폐석으로 인한 하천수 및 하상퇴적물의 중금속오염정도를 알아보고자 하였다. 광산활동과 관련되어 발생하는 주변 하천수의 Al 및 Pb, Zn, Cu, Cd, Mn, Fe 등의 중금속 및 기타 이온의 부화현상은 하천수의 TDS를 높이며 또한, 수질을 악화시키는 요인이 된다. 백운광산 주변의 하천수는 Ca와 SO$_4$가 주를 이루는 Ca-SO$_4$형을 보이며, 부분적으로 황화광물의 화학적 풍화로 인한 중금속부화현상을 보인다. 광산을 경유해서 흐르는 하천수는 알카리 및 알카리 토류원소에 의한 중화작용의 영향으로 pH는 6.S-7.1의 약산성내지 중성을 띤다 폐갱구로부터 홀러나오는 갱내수 또한 약산성 내지 중성을 띠며, 광산내의 광석과 맥석광물과의 화학적 풍화로 인해 높은 원소함량을 보인다. 백운 폐광산 주변의 하천수는 갱내수가 유입되는 지역에서 높은 농도를 보이다 하류로 갈수록 농도가 급격히 낮아진다. 이온농도가 낮아지고 pH가 중성을 띠는 것은 자연적으로 오염을 조정해주는 희석 및 침전, 흡착 등으로 인한 완충작용의 결과이다. 토양내에서 중금속의 이동성이나 생물학적 이용능력을 알아보기 위하여 단계별 추출법을 이용하여 하상퇴적물에서 Cd, Cu, Zn, Pb의 존재형태를 5가지 단계로 분류하였다: 이온교환형태, 탄산염형태, 철-망간 산화물형태, 유기물형태, 잔류상형태. 대부분의 퇴적물에서 Cu(21-92%) 및 Zn(28-89%), Pb(23-94%)는 잔류상형태가 우세하였으며, Cd는 퇴적물에서 다른 원소에 비해 낮은 농도(2.7-52.8 mg/kg)를 보여주었으나 대부분 불안정한 형태(68-97%)가 우세하였다. 상류 퇴적물에서는 폐석으로 인해 Pb의 농도가 높게 나타나며, 하류 퇴적물은 Zn이 높은 농도를 보여, Zn 과 불안정한 형태가 우세한 Cd이 이동성이 높은 원소임을 알 수 있었다.thing construction. The presentation coverages and relative difficulties of textbooks were, however, diverse. It is somewhat noticeable that, while fewer professors majoring in clothing construction participated in writing, generally more pages were allocated to clothing construction than other areas. While presentations on anthropometrics method, construction theory, draft theory, usage of sewing machine and fitting theory were insufficient most textbooks were dealing with drafting of basic slopers and sewing procedure, etc. Making-up techniques on the apparels items such as Korean traditional men's pants, pajamas, shirt vest skirt, pants, apron and Korean pouch were handled closely in each textbook.different from the one in the l980s worn by the demonstrators of popular movements and democratic movements, and it emerged as a new symbol with the characteristics of cultural movement like community consciousness and nature affiliation.

랜드마크 윈도우 기반의 빈발 패턴 마이닝 기법의 분석 및 성능평가 (Analysis and Evaluation of Frequent Pattern Mining Technique based on Landmark Window)

  • 편광범;윤은일
    • 인터넷정보학회논문지
    • /
    • 제15권3호
    • /
    • pp.101-107
    • /
    • 2014
  • 본 논문에서는 랜드마크 윈도우 기반의 빈발 패턴 마이닝 기법을 분석하고 성능을 평가한다. 본 논문에서는 Lossy counting 알고리즘과 hMiner 알고리즘에 대한 분석을 진행한다. 최신의 랜드마크 알고리즘인 hMiner는 트랜잭션이 발생할 때 마다 빈발 패턴을 마이닝 하는 방법이다. 그래서 hMiner와 같은 랜드마크 기반의 빈발 패턴 마이닝을 온라인 마이닝이라고 한다. 본 논문에서는 랜드마크 윈도우 마이닝의 초기 알고리즘인 Lossy counting와 최신 알고리즘인 hMiner의 성능을 평가하고 분석한다. 우리는 성능평가의 척도로 마이닝 시간과 트랜잭션 당 평균 처리 시간을 평가한다. 그리고 우리는 저장 구조의 효율성을 평가하기 위하여 최대 메모리 사용량을 평가한다. 마지막으로 우리는 알고리즘이 안정적으로 마이닝이 가능한지 평가하기 위해 데이터베이스의 아이템 수를 변화시키면서 평가하는 확장성 평가를 수행한다. 두 알고리즘의 평가 결과로, 랜드마크 윈도우 기반의 빈발 패턴 마이닝은 실시간 시스템에 적합한 마이닝 방식을 가지고 있지만 메모리를 많이 사용했다.

실시간 웹로그 스트림데이터를 이용한 고객행동평가시스템 구현 (Implementation of Customer Behavior Evaluation System Using Real-time Web Log Stream Data)

  • 이한주;박홍규;이원석
    • 한국정보기술학회논문지
    • /
    • 제16권12호
    • /
    • pp.1-11
    • /
    • 2018
  • 최근 온라인 쇼핑 유통시장의 규모는 지속적이고 빠르게 성장하고 있기 때문에 고객 행동평가분석을 통한 맞춤형 쇼핑서비스가 매우 중요해지고 있다. 하지만 기존의 분석 방식은 소비자의 프로파일 및 행동에 대한 분석 데이터만을 제공하고, 디스크기반 마이닝 탐사로 인해 실시간 분석의 한계가 존재했다. 그러므로 실시간 처리 및 분석이 필요한 웹 서비스와 같은 분야에 기존 방식을 적용하기에는 정확성의 문제와 시스템 성능 문제가 존재한다. 본 연구에서는 실시간으로 발생되는 웹 클릭 로그 스트림을 분석하고 특정 상품에 대한 집중도를 분석하여 상품 구매 의지가 있는 관심고객을 찾아내며, 이를 바탕으로 전체 고객 대상이 아닌 관심고객 중심의 상품 프로모션을 진행할 수 있는 시스템을 구현하고 이들의 효율성과 정확성을 검증한다.

웹 사이트 이용 고객의 행동 정보를 기반으로 한 고객 선호지수 산출 방법 (Method for Preference Score Based on User Behavior)

  • 서동렬;김두진;윤정기;김재훈;문강식;오재훈
    • CRM연구
    • /
    • 제4권1호
    • /
    • pp.55-68
    • /
    • 2011
  • 최근 웹 서비스의 발달과 함께 웹 컨텐츠를 다양하게 활용함으로써, 사용자의 경험을 기반으로 한 개인화 분석이 주목 받고 있다. 기존의 개인화 분석은 주로 데이터베이스의 데이터를 활용한 규칙 및 통계 모형을 기준으로 수행되고 있다. 이에 시장조사 소요기간에 따른 적시성을 반영하는데 어려움이 있었으며, 데이터베이스 적재 데이터가 고객 행동에 대한 결과였기 때문에 고객의 이용 특성을 반영하는데 한계가 지적되어 왔다. 그러나, 최근 고객의 사이트 방문에서부터 방문을 종료할 때까지의 모든 행동을 추적하고 분석하여 개인화된 서비스를 제공하기 위한 많은 연구와 상용화된 기술 개발이 진행되었다. 본 연구에서는 온라인상에서의 고객 행동을 웹 로그 분석을 이용하여 분석함으로써 고객의 행동정보를 U-Score(Usage Score, 이용지수), P-Score(Preference Score, 선호지수), M-Score(Mania Score, 마니아지수) 등 다양한 고객 선호지수를 도출하였다. 이러한 고객의 선호지수를 통해 웹 컨텐츠에 대한 고객의 선호정보를 파악함으로써, 고객에 대한 심도 있는 리포팅과 고객관계관리가 가능하며 개인화 추천 서비스에 유용하게 사용할 수 있다.

  • PDF

웹 마이닝을 위한 입력 데이타의 전처리과정에서 사용자구분과 세션보정 (User Identification and Session completion in Input Data Preprocessing for Web Mining)

  • 최영환;이상용
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제30권9호
    • /
    • pp.843-849
    • /
    • 2003
  • 웹 이용 마이닝은 거대한 웹 로그들을 이용하여 웹 사용자의 이용 패턴을 분석하는 데이타 마이닝 기술이다. 이러한 웹 이용 마이닝 기술을 사용하기 위해서는 전처리 과정 중의 사용자와 세션을 정확하게 구분해야 하는데, 표준 웹 로그 형식의 로그 파일만으로는 완전히 구분할 수 없다. 사용자와 세션을 구분하기 위해서는 로컬캐시, 방화벽, ISP, 사용자 프라이버시, 쿠키 등과 같은 많은 문제들이 있지만, 이 문제를 해결하기 위한 명확한 방법은 아직 없다. 특히, 로컬캐시 문제는 웹 마이닝 시스템의 입력으로 사용되는 사용자 세션을 구분하는데 가장 어려운 문제이다 본 연구에서는 참조 로그와 에이전트 로그, 그리고 액세스 로그 둥의 서버측 클릭스트림 데이타만을 이용하여 로컬캐시 문제를 해결하고, 사용자 세션을 구분하고 세션을 보정하는 휴리스틱 방법을 제안한다.

Priority Assessment for Remediation of Heavy Metals Closed/Abandoned Mine Areas Using Pollution Indexes

  • 김휘중;양재의;박병길;공성호;이재영;전상호
    • 한국지하수토양환경학회:학술대회논문집
    • /
    • 한국지하수토양환경학회 2006년도 총회 및 춘계학술발표회
    • /
    • pp.183-193
    • /
    • 2006
  • Several metalliferous and coal mines, including Seojin and Okdong located at the Kangwon province, were abandoned or closed since 1989 due to the mining industry promotion policy and thus disposed an enormous amount of mining wastes without a proper treatment facilities, resulting in water and soil pollution in the downstream areas. However, no quantitative assessment was made on soil and water pollution by the transport of mining wastes such as acid mine drainage, mine tailing, and rocky waste. In this research, total and fractional concentrations of heavy metals in mining wastes were analyzed and accordingly the degree of water and soil pollutions in the stream area were quantitatively assessed employing the several pollution indices. Concentrations of Ni, Cd, and Pb in soils near the abandoned coal mine areas were 1,240.0, 25.0 and 1,093.0 mg/kg, respectively, and these concentrations were higher than those in soils near the closed metalliferous mine areas. Also Cu concentrations in soils near the tailing dams were about 1967 mg/kg, which is considered as very polluted level. Results demonstrated that soil at the abandoned mine areas were highly contaminated by AMO, tailing, and effluents of the mining wastes. Therefore, a prompt countermeasure on the mining waste treatment and remediation of the codntaminated water and soil should be made to the abandoned or closed metalliferous and coal mines located at the abandoned mine area.

  • PDF

휴폐광산 지역에서 유출되는 하천수의 오염도 평가 (Assessment of Water Pollution by Discharge of Abandoned Mines)

  • 김휘중;양재의;옥용식;이재영;박병길;공성호;전상호
    • 한국지하수토양환경학회지:지하수토양환경
    • /
    • 제10권5호
    • /
    • pp.25-36
    • /
    • 2005
  • 옥동천 유역의 상류에 위치한 명진탄광, 서진탄광, 옥동탄광 등이 1988년 이후 석탄합리화 사업으로 인하여 휴폐광 되었다. 따라서 많은 양의 광산 폐재가 적당한 처리시설이 없이 그대로 유입되어 하류지역의 수질오염을 야기 시킨다. 폐탄광으로부터 유출되는 침출수와 산성광산배수는 pH $2.7\sim4.5$의 강한 산성을 나타내며, 총용존물질은 $1,030\sim1,947mg/L$로 높은 범위를 나타낸다. 또한 Fe, Cu, Cd 같은 중금속의 농도와 음이온인 황산이온 등도 매우 높은 농도를 보인다. 옥동천내에 포함된 중금속의 농도는 Fe>Al>Mn>Zn>Cu>Pb>Cd 순으로 나타났으며, 철의 경우 산성광산배수와 침출수로 부터 옥동천 하류의 수질과 토양의 질을 나타내는 지표가 된다. 구리농도는 풍수기에 공재댐 배출수에서 높은 농도를 나타냈다. 표층수의 수질오염지표는 폐탄광의 산성광산배수가 유입되는 옥동천 본류 상류에서 $16.3\sim47.1$을 나타냈다. 반면에 구광재댐과 신광재댐 및 폐탄광의 배출수가 유입되는 중류에서 $10.6\sim19.5$를, 하류에서는 평균값인 $10.6\sim14.9$를 보여, 상류지역의 폐탄광의 산성광산배수가 옥동천의 주 오염원인 것으로 나타났다.

데이터 마이닝의 Model Tree를 활용한 내성천의 유사량 산정 및 안정하도 평가 (Sediment discharge assessment and stable channel analysis using Model Tree of data mining for Naesung Stream)

  • 장은경;지운;안명희
    • 한국수자원학회논문집
    • /
    • 제51권11호
    • /
    • pp.999-1009
    • /
    • 2018
  • 본 연구에서는 국내 하천에서 실측한 유사량 자료를 기초로 데이터 마이닝의 Model Tree 기법을 통해 유사량 산정 공식들을 도출하였으며, 이를 활용하여 내성천에서의 안정하도 단면을 평가하였다. 본 연구에서 도출한 유사량 공식은 국내 모래하상 전체를 대상으로 한 경우, 하폭, 유속, 수심, 경사, 하상토 중앙입경을 선택하였을때 적합도가 가장 높은 것으로 나타났다. 또한 내성천으로 자료의 범위를 한정한 경우에는 경사를 제외한 하폭, 유속, 수심, 하상토 중앙입경을 선택한 유사량 공식의 적합도가 가장 높게 나타났다. 각각의 Model Tree 공식들은 내성천 영주댐 하류 용혈지점에서의 안정하도 단면 평가를 수행하는데 적용되었으며, 현재 내성천의 단면과 비교했을 때 향후 안정하도 단면으로의 변화를 위해 하상의 침식이 발생할 것으로 예측되었다. 또한 현재 하상보다 완만한 경사가 유지될 경우 장기적으로 평형상태에 도달할 것으로 예측되었다.

큐보이드 전위트리를 이용한 빙산질의 처리 (Iceberg Query Evaluation Technical Using a Cuboid Prefix Tree)

  • 한상길;양우석;이원석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제36권3호
    • /
    • pp.226-234
    • /
    • 2009
  • 무한한 데이터 스트림을 저장하는 것은 거의 불가능하기 때문에 데이터 스트림 환경에서 빙산질의를 수행하기 위해서는 새로운 데이터 구조와 알고리즘이 요구된다. 본 논문에서는 데이터 스트림 환경에서 빙산질의를 처리하기 위해 전위트리 구조에 기반한 규보이드 전위트리(Euboid prefix tree)를 제안한다. 큐보이드 전위트리는 빙산질의에 사용된 그룹항목으로 이루어진 항목집합만을 트리에서 관리하므로 전위트리보다 적은 메모리를 사용한다. 1-항목 관리를 통해서 빈발하지 않은 항목을 트랜잭션에서 제거함으로써 갱신 시 불필요하게 소요되는 시간을 줄일 수 있다. 또한 다중 빙산질의에서 공통적으로 사용된 그룹속성에 따라 노드를 공유함으로써 적은 메모리를 사용하여 효율적으로 다중 빙산질의를 처리할 수 있는 방법을 제안한다. 큐보이드 전위트리는 무한히 연속적으로 생성되는 데이터에 대하여 빙산질의를 처리하는데 있어서 메모리 사용량과 처리시간을 효과적으로 줄이며, 이를 여러 실험을 통해 확인하였다.