• 제목/요약/키워드: Stream Mining

검색결과 152건 처리시간 0.039초

강원도 상동지역 옥동천의 광산 산성수 및 하상퇴적물의 중금속 오염 (Acid Mine Drainage and Heavy Metal Contamination of Stream Sediments in the Okdongcheon Stream, Sangdong Area, South Korea)

  • 정영욱
    • 자원환경지질
    • /
    • 제27권1호
    • /
    • pp.101-113
    • /
    • 1994
  • 강원도 상동지역의 옥동천 및 그 지류들을 대상으로 수질 파라메터(Eh-pH, 부유물질)의 측정과 하상퇴적물의 화학분석을 통하여 석탄광 및 금속 광산활동에 의한 옥동천의 수성 환경의 오염정도를 조사하였다. 옥동천의 조사유역을 상부와 하부 옥동천으로 구분할 때 상부 유역은 석탄광의 개발로 인한 황화물의 산화작용으로 인하여 수질은 매우 낮은 pH를 나타내 광산 산성수(Acid Mine Drainage)로 심하게 오염된 것으로 조사되었다. 또한 상부 옥동천에 용존된 철이 지류들의 유입과 하천의 aeration으로 철 산화물(floc)의 발생과 이의 침전으로 하천 바닥은 황갈색의 철산화물이 퇴적되어 있다. 그러나 상부 옥동천의 유속에 의해 일부 철 산화물이 침전되지 못한채 부유되어 옥동천은 매우 탁하게 보인다. 상부 옥동천온 천평천의 유입으로 인하여 낮은 pH의 산성수는 중화되지만 부유물질의 존재로 인하여 하부 옥동천은 계속 탁하여 광산 산성수의 영향이 지속되고 있다. sediment quality criteria와 비교해 볼 때 하부 옥동천의 하상퇴적물, 특히 상동 텅스텐-모리브덴늄 광미 저장댐과 인접된 지점의 하상퇴적물은 Pb, Cu, Zn, Co, Cd, As 및 Bi 등의 유해금속에 의해 농축되어 있어 퇴적물의 질이 상당히 악화되어 있다. 수중 및 저서 생물에 대한 서식처 및 수질을 개선하기 위해서 옥동천 상부에는 산성수를 중화시킬 수 있는 경제성 있는 수처리 장치의 도입과 중금속의 speciation의 연구가 필요할 것으로 사료된다.

  • PDF

SENSOR DATA MINING TECHNIQUES AND MIDDLEWARE STRUCTURE FOR USN ENVIRONMENT

  • Jin, Cheng-Hao;Lee, Yong-Mi;Kim, Hi-Seok;Pok, Gou-Chol;Ryu, Keun-Ho
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2007년도 Proceedings of ISRS 2007
    • /
    • pp.353-356
    • /
    • 2007
  • With advances in sensor technology, current researches on the pertinent techniques are actively directed toward the way which enables the USN computing service. For many applications using sensor networks, the incoming data are by nature characterized as high-speed, continuous, real-time and infinite. Due to such uniqueness of sensor data characteristics, for some instances a finite-sized buffer may not accommodate the entire incoming data, which leads to inevitable loss of data, and requirement for fast processing makes it impossible to conduct a thorough investigation of data. In addition to the potential problem of loss of data, incoming data in its raw form may exhibit high degree of complexity which evades simple query or alerting services for capturing and extracting useful information. Furthermore, as traditional mining techniques are developed to handle fixed, static historical data, they are not useful and directly applicable for analyzing the sensor data. In this paper, (1) describe how three mining techniques (sensor data outlier analysis, sensor pattern analysis, and sensor data prediction analysis) are appropriate for the USN middleware structure, with their application to the stream data in ocean environment. (2) Another proposal is a middleware structure based on USN environment adaptive to above mining techniques. This middleware structure includes sensor nodes, sensor network common interface, sensor data processor, sensor query processor, database, sensor data mining engine, user interface and so on.

  • PDF

RFID 데이터 스트림에서 이동궤적 패턴의 탐사 (Mining Frequent Trajectory Patterns in RFID Data Streams)

  • 서성보;이용미;이준욱;남광우;류근호;박진수
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권1호
    • /
    • pp.127-136
    • /
    • 2009
  • 이 논문은 RFID 데이터 스트림의 변화 특성을 고려하면서 단일 패스로 이동궤적 패턴을 실시간 추출하는 새로운 기법을 제안한다. RFID, 센서와 무선 네트워크 기술의 발달로 인해 현실 세계에서 실시간으로 데이터를 수집하고 유용한 패턴을 탐사하는 연구에 많은 관심이 집중되고 있다. 스트림 데이터에서 순차 패턴 또는 이동궤적 패턴을 탐사하는 기존의 연구 기법들은 반복적으로 데이터베이스 또는 트리를 탐색하는 고비용 문제점과 시간의 변화에 따르는 동적 특성을 실시간으로 패턴에 반영하지 못하는 단점이 있다. 제안하는 기법은 시간에 따라 RFID 데이터 스트림의 변화를 정확히 반영하기 위해 시간진화 그래프를 이용하여 이진 시간관계 테이블에 빈발한 2-길이 항목간 정보를 유지한다. 또한 다중 패스의 문제점을 해결하기 위해 t 시점에 이진 시간관계 테이블을 이용하여 k-길이의 후보 이동궤적 패턴을 추론하고, t+1 시점에서 후보 패턴을 검증하는 과정을 통해 k-길이 이동궤적 패턴을 단일 패스로 추출한다. 실험결과 제안하는 기법은 기존의 Apriori-계열 기법들과 비교하여 약 7% 정도 후보 패턴의 비율이 적게 생성되어 시간 및 공간 복잡도 측면에서 우수한 성능을 보였다.

  • PDF

한정된 메모리 공간에서 데이터 스트림의 빈발항목 최적화 방법 (Finding Frequent Itemsets Over Data Streams in Confined Memory Space)

  • 김민정;신세정;이원석
    • 정보처리학회논문지D
    • /
    • 제15D권6호
    • /
    • pp.741-754
    • /
    • 2008
  • 지속적으로 확장되는 데이터 스트림에 대한 데이터 마이닝 수행과정에서는 메모리 사용량을 가용한 범위 내로 제한하는 것이 중요한 요소이다. 본 논문에서는 데이터 스트림 환경에서 한정된 메모리 공간을 이용하여 빈발 항목집합을 탐색하는데 효과적인 프라임 패턴 트리(Prime pattern tree: PPT)구조를 제안한다. 프라임 패턴 트리는 기존의 전위 트리 구조와 비교하여 항목집합들을 하나의 노드로 관리함으로써 트리의 크기를 크게 줄일 수 있는 장점이 있다. 또한, 전지 임계값 $S_{\delta}$에 따라 노드를 병합하거나 분리하여 동적으로 트리의 크기와 결과 집합의 정확도를 마이닝 수행 중에 조절 할 수 있다. $S_{\delta}$값이 크면 한 노드에서 관리되는 항목집합의 수가 증가하게 되고, 출현 빈도수를 추정해야 하기 때문에, $S_{\delta}$값이 작을수록 결과집합의 정확도가 높다. 이처럼 PPT에는 트리의 크기와 정확도의 trade-off 가 존재한다. PPT의 이러한 특성에 기반하여, 데이터 스트림에서 갑자기 데이터 집합에 변화가 생겨 빈발항목이 될 가능성이 높은 항목들이 많이 출현하는 경우에도 마이닝을 지속적으로 수행할 수 있도록 지원한다. 본 논문에서는 프라임 패턴 트리를 이전 연구에서 제안한 데이터 스트림에서 최근 빈발 항목 탐색 방법인 estDec 방법에 적용하여 한정된 작은 양의 메모리 공간을 이용하여 온라인 데이터 스트림에서 빈발항목을 탐색하는 방법을 제시한다. 또한, 가용 메모리 범위에서 최적의 메모리를 사용하여 최적의 마이닝 결과를 얻을 수 있도록 하는 메모리 사용량에 대한 적응적 방법을 제시한다. 끝으로, 여러 실험을 통한 효율성 검증을 통해 제안된 방법의 여러 특성을 확인한다.

다차원 스트림 데이터 환경에서 이벤트 가중치를 고려한 시간 관계 탐사 (Discovering Temporal Relation Considering the Weight of Events in Multidimensional Stream Data Environment)

  • 김재인;김대인;송명진;한대영;황부현
    • 한국콘텐츠학회논문지
    • /
    • 제10권2호
    • /
    • pp.99-110
    • /
    • 2010
  • 이벤트는 환자의 증상과 같은 시간 속성을 갖는 흐름을 의미하며 센서를 통하여 수집된 스트림 데이터는 시작과 종료 시점을 갖는 인터벌 이벤트로 요약 가능하다. 그러나 대부분의 시간 마이닝 기법은 빈발 이벤트만을 고려하며, 빈발하지 않는 이벤트는 중요하더라도 제외되는 문제가 있다. 이 논문에서는 다차원 스트림 데이터 환경에서 인터벌 이벤트에 기초하여 의미있는 시간 관계에 대한 연관 규칙 마이닝 기법을 제안한다. 제안 방법은 이벤트 가중치와 이상 이벤트가 감지된 시점의 스트림 데이터만 고려하여 이벤트의 발생 횟수에 상관없이 의미있는 시간 관계에 대한 연관 규칙을 탐사한다. 그리고 성능 평가를 통하여 제안 방법이 기존의 방법에 비하여 보다 유용한 지식을 탐사함을 보인다.

데이터 스트림 시스템에서 인과관계 탐사를 위한 마이닝 방법 (A Mining Method for Exploration of Causality on Data Stream System)

  • 한대영;김대인;황부현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 춘계학술발표대회
    • /
    • pp.306-309
    • /
    • 2009
  • 일반적으로 이벤트는 발생 시점이라는 시간 속성을 갖는다. 그리고 고객 단위로 이벤트를 축적한 데이터베이스가 있다면 데이터 마이닝을 통하여 유용한 정보를 탐사할 수 있다. 특히 이벤트 발생의 원인과 결과에 대한 관계 규칙을 찾아낼 수 있다면 과거의 정보를 바탕으로 미래를 예측할 수 있는 예측 판단 정보로 사용할 수 있다. 본 연구에서는 데이터 스트림 시스템에서 시간 관계 규칙을 탐사하고 시간 관계 규칙을 구성하는 이벤트 간의 영향력을 측정하기 위한 SM-EC(data Stream Mining for Exploration of Causality)기법을 제안한다. 실험을 통하여 SM-EC가 제공하는 영향력 정보는 다양한 비상 상황에 대처하는 중요한 척도가 될 수 있음을 확인하였다.

데이터 스트림에서 가중치 지지도 기반 빈발 패턴 추출 방법 (An Efficient Method for Mining Frequent Patterns based on Weighted Support over Data Streams)

  • 김영희;김원영;김응모
    • 한국산학기술학회논문지
    • /
    • 제10권8호
    • /
    • pp.1998-2004
    • /
    • 2009
  • 다양한 저장 장치의 발달과 네트워크의 발전은 대용량의 데이터를 연속적으로 빠르게 생성한다. 데이터 스트림에서의 데이터 마이닝은 처리 시간 및 메모리 사용에 제한적이다. 또한 생성된 데이터를 한 번의 스캔으로 유용한 패턴을 발견할 수 있어야 하고 정보 변화 가능성이 큰 데이터 속성을 갖는 경우 최근의 정보를 반영한 빠른 분석이 가능해야 한다. 기존의 지지도 기반 마이닝 방법들은 일정 기간 동안 미리 정의된 지지도 이상의 빈발 항목에 대하여만 고려하므로 중요도가 높은 항목들을 간과하는 문제점을 가지고 있다. 본 논문에서는 시간의 변화에 따른 가변성을 고려하여 가중치 지지도를 갖는 데이터 항목들에 대하여 보다 의미 있는 정보를 제공하기 위한 효율적인 빈발패턴 추출 방법을 제안하고자 한다. 제안된 WSFI-Mine(Weighted Support Frequent Itemsets Mine) 방법은 DCT(Data Stream Closed Pattern Tree) 데이터 구조를 이용하여 패쇄 빈발 항목을 탐사한다. 제안된 알고리즘은 DSM-FI와 THUI-Mine 알고리즘과 지지도 변화에 따른 성능을 비교하였고 그 결과 비교 알고리즘 보다 수행 시간이 우수함을 보였고, 빈발 항목을 생성하는 후보 항목의 수를 줄이므로 메모리 사용량을 효율적으로 사용할 수 있음을 보였다.

데이터 스트림 시스템에서 이상 이벤트에 대한 연관 규칙 마이닝 (Mining Association Rule for the Abnormal Event in Data Stream Systems)

  • 김대인;박준;황부현
    • 정보처리학회논문지D
    • /
    • 제14D권5호
    • /
    • pp.483-490
    • /
    • 2007
  • 최근에 데이터 스트림을 분석하여 잠재되어 있는 지식을 발견하기 위한 마이닝 방법에 대한 연구가 진행되고 있다. 그러나 대부분의 지지도 기반의 마이닝 방법들은 일정 주기 동안에 미리 정의된 지지도 이상의 발생 빈도를 갖는 이벤트만을 고려함으로써 발생 빈도에 비하여 중요도가 높은 이벤트를 간과하는 문제점을 가지고 있다. 본 논문에서는 이상 이벤트에 대한 연관 규칙을 탐사할 수 있는 SM-AF 방법을 제안한다. SM-AF 방법은 이상 이벤트가 감지된 윈도우만 고려하여 연관 정보를 탐사함으로써 자주 발생하지 않더라도 중요도가 높은 이벤트에 대한 연관 정보를 탐사할 수 있다. 또한 SM-AF 방법은 이상 이벤트에 대한 의미 있는 희소 항목 집합과 주기적인 이벤트 집합도 탐사한다. 그리고 다양한 실험을 통하여 SM-AF 방법이 기존의 연관 규칙 방법들에 비하여 우수함을 확인하였다.

스트림 데이터에서 회귀분석에 기반한 빈발항목 예측 (Frequent Items Mining based on Regression Model in Data Streams)

  • 이욱현
    • 한국콘텐츠학회논문지
    • /
    • 제9권1호
    • /
    • pp.147-158
    • /
    • 2009
  • 최근 스트림데이터 환경의 데이터 모델은 데이터의 양이 아주 크고 연속적이며 무한하다. 이에 반해 제한된 용량의 디스크나 메모리 등을 이용해서 질의 처리나 데이터 분석을 처리한다. 이러한 환경에서 트랜잭션 데이터베이스에 대한 전통적인 빈발패턴탐사는 불가능하다고 할 수 있다. 왜냐하면, 연속적으로 들어오는 스트림 데이터에 대해 어떤 항목집합이 빈발항목인지 아닌지에 대한 정보를 계속적으로 유지 관리하기가 어렵기 때문이다. 본 논문에서는 연속적으로 들어오는 스트림 데이터에 회귀모델을 적용하여 빈발 항목들을 예측할 수 있는 방법을 제안한다. 스트림 데이터로부터 회귀모델을 생성함으로써 불확실한 항목들에 대한 예측 모델로 사용할 수 있다. 다양한 실험을 통하여 제안하는 방법이 스트림 데이터 환경의 데이터에 효율적으로 사용될 수 있음을 보인다.