• 제목/요약/키워드: data streams

검색결과 821건 처리시간 0.032초

순차 데이터 스트림에서 발생 간격 제한 조건을 활용한 빈발 순차 패턴 탐색 (Mining Frequent Sequential Patterns over Sequence Data Streams with a Gap-Constraint)

  • 장중혁
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권9호
    • /
    • pp.35-46
    • /
    • 2010
  • 순차 패턴 탐색은 데이터 마이닝의 주요 기법 중의 하나로서 웹기반 시스템, 전자상거래, 생물정보학 및 USN 환경 등과 같은 여러 컴퓨터 응용 분야에서 생성되는 데이터를 효율적으로 분석하기 위하여 널리 활용되고 있다. 한편 이들 응용 분야에서 생성되는 정보들은 근래들어 한정적인 데이터 집합이 아닌 구성요소가 지속적으로 생성되는 데이터 스트림 형태로 생성되고 있다. 이러한 상황을 고려하여 데이터 스트림에서 순차패턴 탐색에 대한 연구들도 활발히 진행되고 있다. 하지만 이전의 연구들은 주로 분석 대상 데이터 스트림에서 단순 순차패턴을 구하는 과정에서 마이닝 수행 시간이나 메모리 사용량 등을 줄이는데 초점을 맞추고 있으며, 따라서 해당 데이터 스트림의 특성을 효율적으로 표현할 수 있는 보다 중요하고 의미있는 패턴들을 탐색하기 위한 연구는 거의 진행되지 못하고 있다. 본 논문에서는 데이터 스트림에서 보다 의미있는 순차패턴을 탐색하기 위한 방법으로 구성요소의 발생 간격 제한 조건을 활용한 빈발 순차패턴 탐색 방법을 제안한다. 먼저 발생 간격 정의 기준 및 발생 간격제한 빈발 순차패턴의 개념을 제시하고, 이어서 데이터 스트림에서 발생 간격 제한 조건을 적용하여 빈발 순차패턴을 효율적으로 탐색할 수 있는 마이닝 방법을 제안한다.

유역 토지이용과 하천 생물지수의 비선형적 관계 연구 - 한강권역을 대상으로 - (Study of the Non-linear Relationships between Watershed Land Use and Biological Indicators of Streams - The Han River Basin -)

  • 박세린;이종원;박유진;이상우
    • 한국환경복원기술학회지
    • /
    • 제25권2호
    • /
    • pp.55-67
    • /
    • 2022
  • Land use is a critical factor that affects the hydrological characteristics of watersheds, thereby determining the biological condition of streams. This study analyzes the effects of land uses in the watersheds on biological indicators of streams across the Han River basin using a linear model (LM) and generalized additive model (GAM). LULC and biological monitoring data of streams were obtained from the Korean Ministry of Environment. The proportions of urban, agricultural, and forest areas in the watersheds were regressed to the three biological indicators, including diatom, benthic macroinvertebrate, and fish of streams. The estimated LM and GAM models for the biological indicators were then compared, using regression determination R2 and AIC values. The results revealed that GAM models performed better than the LM models in explaining the variances of biological indicators of streams, indicating the non-linear relationships between biological indicators and land uses in watersheds. Also, the results suggested that the indicator of macroinvertebrates was the most sensitive indicator to land uses in watersheds. Although non-linear relationships between watershed land uses and biological indicators of streams could vary among biological indicators, it was consistent that streams' biological integrity significantly deteriorated by a relatively low percentage of urban areas. Meanwhile, biological indicators of streams were negatively affected by the relatively high percentage of agricultural areas. The results of this study can be integrated into effective quantitative criteria for the watershed management and land use plans to enhance the biological integrity of streams. In specific, land uses management plans in watersheds may need more close attention to urban land use changes than agricultural land uses to sustain the biological integrity of streams.

이관 관리 프로세스 개선을 위한 메타데이터 관리시스템 구현 및 테스트 (Implementation and Test Meta Data Management System for Transformation Managing Process Enhancement)

  • 양승연;박석천;이영상;이상화;김기태
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.1252-1255
    • /
    • 2013
  • 오늘날 급변하는 IT 환경에 신속하게 대응하기 위한 기업의 데이터 관리시스템의 중요성이 강조되고 있다. 특히, 최근에는 기업의 시스템이 복잡해지고 데이터의 규모가 점점 대형화 되면서 기업들은 데이터 관리를 위해 메타데이터 관리시스템의 활용이 증가하고 있다. 하지만 현재 도입되는 메타데이터 관리시스템은 테이블 이관 시 모델과 실제 데이터베이스 사이의 정합성을 유지하기 위해 불필요한 반복적인 프로세스를 수행해야 하는 문제점을 가진다. 따라서 본 논문에서는 이러한 문제점을 해결하기 위하여 이관관리 프로세스 개선을 위한 메타데이터 관리시스템을 구현하고 테스트 하였다.

메타데이터 관리시스템의 이관 관리 프로세스 개선을 위한 테이블 형상 비교 알고리즘 설계 (Design of Table Shape Comparison Algorithm for Improvement of Transformation Managing Process in Meta Data Management System)

  • 양승연;박석천;문승식;이진희;인태환
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.1222-1225
    • /
    • 2013
  • 오늘날 기업의 시스템은 훨씬 복잡해지고 다루는 데이터의 규모는 점점 대형화됨에 따라 환경 변화에 기업이 대응하기가 어려워지고 있다. IT 환경의 변화에 기업이 대응하기 위해서는 메타데이터 관리시스템의 기능을 개선할 필요가 있다. 본 논문에서는 데이터 모델링에 대한 새로운 요구사항을 신속히 반영하기 위해서 모델의 변경 이력을 참조하지 않고 이관해야 할 목표 데이터베이스의 테이블의 형상을 비교하여 이관 관리 프로세스를 향상시킨 알고리즘을 설계하였다. 본 논문서 설계한 알고리즘을 통해 모델의 변경 이력을 참조할 경우 발생하는 데이터베이스 변경의 처리 횟수를 줄임으로써 프로세스 개선의 효과를 기대할 수 있는 알고리즘을 제시하였다.

낙동강 유역에 대한 일별 유달부하량 산정모델개발 I. 모델식의 보정 및 검증 (Development of the Estimation Model on Daily Pollutant Loads for the Watersheds in the Nakdong River Basin I. Correction and Verification for the Model)

  • 윤영삼;김문수;유재정;이혜진;이준배;양상용
    • 한국환경과학회지
    • /
    • 제16권2호
    • /
    • pp.203-210
    • /
    • 2007
  • The delivery load data obtained from Nakdong river basin are used for developing the model estimating the daily delivery load on the main side streams of Nakdong River. The developed model assesses the daily contamination loads of the main thirteen side streams that contribute to the main stream of Nakdong river. It is developed that the model using the simplified equation that can estimate the daily delivery loads on the side main streams of Nakdong river for a period of having no data of the water quality and flow. The developed model for estimating the daily delivery loads from the main side streams in Nakdong river basin on each item such as BOD, TN, and TP is expressed as Daily delivery load ($\frac{kg}{day}$) = Production load $(\frac{kg}{day}){\times}(1-{\alpha}){\times}(\frac{daily\;runoff}{average\;runoff\;per\;year}){\gamma}$. The estimated values obtained by using the model are almost fit to the calculated values (real data) that have been acquired from the thirteen main side streams in Nakdong river basin. The correlation coefficient values, R, that indicate the correlation between the estimated and the calculated show over 0.7 that mean the estimated values from the used model are adapted to the real data except TN values of Nam-river, Hwang-river, Gam-river, We-river. Especially, the correlation of TP values between the estimated and the calculated implies quite a creditable data to use.

효율적 데이터 스트림 분석을 위한 발생빈도 예측 기법을 이용한 과부하 처리 (Load Shedding via Predicting the Frequency of Tuple for Efficient Analsis over Data Streams)

  • 장중혁
    • 정보처리학회논문지D
    • /
    • 제13D권6호
    • /
    • pp.755-764
    • /
    • 2006
  • 근래 들어 유비쿼터스 컴퓨팅 및 센서 네트워크 환경 등과 같은 다양한 응용 분야에서 데이터 스트림 형태의 정보를 발생시키고 있으며, 이들 정보를 효율적으로 처리하기 위한 다양한 방법들이 활발히 제안되어 왔다. 대부분의 이들 방법들은 주로 처리 과정에서의 공간 사용량 및 데이터당 처리 시간을 줄이는데 초점을 맞추고 있다. 하지만 이들 방법들에서 데이터 발생량이 급격히 증가되는 경우 일부 데이터는 실시간으로 처리되지 못하며 해당 방법의 성능 저하를 초래한다. 따라서, 데이터 스트림 처리의 효율성을 높이기 위해서는 효율적인 과부하 처리 기법을 필요로 한다. 이를 위해서 본 논문에서는 발생빈도 예측법을 이용한 과부하 처리 기법을 제안한다. 즉, 해당 기법에서는 처리 대상 데이터의 현재 시점까지의 발생빈도를 고려하여 해당 데이터의 향후 발생 상황을 예측하며, 이를 통해서 해당 데이터 스트림에서 과부하가 발생했을 때 효율적으로 대처할 수 있도록 지원한다. 또한, 제안되는 방법에서는 데이터 스트림의 변화를 고려하여 튜플 선별을 위한 임계값을 적응적으로 조절함으로써 불필요한 과부하 처리 수행을 최소화한다.

어류 스트레스 요인으로서 우리나라 하천의 산소과포화 실태 (Oxygen Supersaturation in Korean Streams as a Stress Factor to Fish)

  • 이새로미;이재용;최재석;김선정;안부영;김범철
    • 한국물환경학회지
    • /
    • 제28권2호
    • /
    • pp.213-218
    • /
    • 2012
  • Abnormal dissolved oxygen concentration in aquatic habitat, both depletion and supersaturation, can be stress factor to aquatic animals. In this study the nationwide distribution of oxygen supersaturation was analyzed for three categories of streams (43 urban streams, 15 rural streams, and 14 forest streams) by using monitoring network data of the Korean Ministry of Environment. From the distribution analysis 30% of urban streams showed hyperoxic condition of eutrophic level, while no forest stream showed hyperoxic condition. The physiological effect of hyperoxia on fish was examined using two species of fish Zacco koreanus, which resulted in higher concentration of a stress hormone (cortisol) in fish exposed to hyperoxic concentration (196%) of oxygen. This study shows that hyperoxic condition is ubiquitous in urban and rural Korean streams, and it can be a stress factor to aquatic animals.

계측자료 기반 Nomograph를 이용한 실시간 소하천 홍수량 산정 연구 (Real-Time Flood Forecasting by Using a Measured Data Based Nomograph for Small Streams)

  • 정태성;최창원;예성제;구강민
    • Ecology and Resilient Infrastructure
    • /
    • 제10권4호
    • /
    • pp.116-124
    • /
    • 2023
  • 극한호우 발생빈도 증가로 소하천 홍수 피해가 증가하고 있어 소하천 리스크 관리를 위해 유량 계측 요구가 증가하고 있다. 이에 행정안전부 (MOIS) 소속 국립재난안전연구원 (NDMI)은 CCTV 기반 자동유량계측기술 (CCTV based Automatic Discharge Measurement Technology, CADMT)을 개발하고 성능 검증과 재난 리스크 관리기술 개발을 위해 시범소하천을 운영하고 있다. 본 연구는 CADMT가 설치된 능막천과 중선필천 2개 소하천을 선정하고 소하천에 가장 가까운 기상청 Automatic Weather System 강우량 자료와 유량 계측자료를 이용해 4-Parameter Logistic 방법으로 Nomograph를 개발한다. 개발한 Nomograph를 검증하기 위하여 본 연구는 각 소하천에서 홍수량을 예측하고 그 결과를 계측 유량과 비교한다. 검증 결과 예측치는 계측치를 잘 재현하는 것으로 나타나 향후, 보다 정확도 높은 계측자료가 수집되고 이에 기반한 Nomograph가 개발된다면 정확도 높은 홍수 예·경보가 가능할 것으로 판단된다.

Practical Patching for Efficient Bandwidth Sharing in VOD Systems

  • Ha Soak-Jeong
    • 한국멀티미디어학회논문지
    • /
    • 제8권12호
    • /
    • pp.1597-1604
    • /
    • 2005
  • Recursive Patching is an efficient multicast technique for large-scale video on demand systems and recursively shares existing video streams with asynchronous clients. When Recursive Patching initiates a transition stream, it always makes a transition stream have additional data for the worst future request. In order to share a VOD server's limited network bandwidth efficiently, this paper proposes Practical Patching that removes the unnecessary data included in the transition stream. The proposed Practical Patching dynamically expands ongoing transition streams when a new request actually arrives at the server. As a result, the transition streams never have unnecessary data. Simulation result confirmed that the proposed technique is better than Recursive Patching in terms of service latency and defection rate.

  • PDF

Interference Mitigation Scheme for Device-to-Device MIMO Communications Underlaying a Cellular Network

  • Nam, Yujin;So, Jaewoo;Kim, Jinsung
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권4호
    • /
    • pp.1841-1865
    • /
    • 2017
  • This paper proposes a new interference mitigation scheme for device-to-device (D2D) communications underlaying a cellular network. The object of the proposed scheme is to determine the number of data streams, a precoding matrix, and a decoding matrix of D2D networks so as to maximize the system capacity given the number of data streams of a cellular network while satisfying the constraint of the inter-system interference from D2D networks to the cellular network. Unlike existing interference mitigation schemes based on the interference alignment technique, the proposed scheme operates properly regardless of the number of data streams of a cellular network and moreover it does not require changing the precoding and decoding matrices of a cellular network. The simulation results demonstrate that the proposed scheme significantly increases the system capacity by mitigating the intra- and inter-system interference.