• Title/Summary/Keyword: 대용량 자료

Search Result 369, Processing Time 0.027 seconds

Study on Massive Mobile Mapping Data Management Systems using Exif Tags and Data Synchronizations (Exif 태그 및 자료 동기화를 이용한 대용량 모바일 매핑 자료 관리체계 연구)

  • Woo, Hee-Sook;Kwon, Kwang-Seok;Ahn, Ki-Seok
    • Spatial Information Research
    • /
    • v.17 no.1
    • /
    • pp.67-77
    • /
    • 2009
  • Mobile mapping systems with CCD cameras, GPS and IMU etc. can acquire massive photos and geographic informations along by roads. But it is easy to involve many errors or omissions of images and informations about roads and facilities with various files. And there were contained any conflicts or non-consistencies in massive mobile mapping data which were acquired by multiple survey teams in various survey regions. As an image tag standard, Exif helps us to encapsulate the precise GPS times and essential informations in the header of JPEG files and uses with the identification code for consistent managements of massive mobile mapping data in this paper. And Systematic management systems with data synchronization technology manage more consistently massive photos and their information.

  • PDF

Implementation of Quality Evaluation, Error Filtering, Imputation for Traffic Missing Data (교통 데이터에 대한 품질 평가 및 자료 처리 기법의 구현)

  • Cheong, Su-Jeong;Song, Soo-Kyung;Lee, Min-Soo;NamGung, Sung
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.10c
    • /
    • pp.185-190
    • /
    • 2007
  • 대용량의 자료가 생산됨에 따라 데이터를 효율적으로 저장, 관리, 이용할 수 있는 데이터 웨어하우스의 역할이 중요하게 되었고, 그에 따라 자료 처리 기법의 개발은 필수 과제가 되었다. 품질 평가와 오류 판단, 결측 보정의 자료 처리 과점은 자료의 신뢰도를 판단하고 활용도를 높일 수 있는 과정으로 매우 중요하다. 본 논문에서는 우리나라의 실제 교통상황을 반영하고 평가 기준의 오차를 줄이면서 더욱 간단 명료한 평가 계산식을 도입하여 효율적인 품질평가와 오류판단, 결측 보정의 자료 처리 기법을 제안한다. 또한 오류 판단 기준에 새로운 파라미터론 도입하여 교통 연구자의 요구 사항을 반영할 수 있게 하였다. 결측 보정 과정은 여러 기법을 연구하고 기존의 결측 보정 기법에 입력 변수를 추가하여 실제 대용량의 교통 자료에 적용하였다. 그리고 교통 자료가 저장되는 데이터베이스에 직접 접근하여 결측 보정과정을 수행하도록 PL/SQL로 구현하였으며, 이를 통해 교통 연구자에게 쉽고 다양한 방법으로 결측 보정을 수행하고 그 결과를 이용하여 다양한 교통 정보를 가공할 수 있는 환경을 제공하였다.

  • PDF

Information Retrieval System for Very Large Multimedia Docuement (대용량 멀티미디어 문서를 위한 정보검색 시스템)

  • 진두석;최윤수;안성수
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2002.11b
    • /
    • pp.190-193
    • /
    • 2002
  • 인터넷의 급속한 보급과 함께 멀티미디어 문서의 사용에 대한 사용자의 요구가 증가하고 이에 따라 멀티미디어 문서 정보 검색에 관련된 연구들이 국내외적으로 활발하게 진행되고 있다. 멀티미디어 문서는, 데이터의 양이 방대할 뿐 아니라 데이터가 비정형화되어 있기 때문에 분석이 복잡하며 또한 효율적으로 저장, 검색하기가 매우 어렵다. 그러므로 이를 위해서는 적절한 멀티미디어 자료 저장 구조를 지닌 정보 검색 시스템이 절실히 요구된다. 따라서 본 논문에서는 대용량 멀티미디어 문서에 적합한 저장 구조를 가진 정보검색 시스템을 제안한다.

  • PDF

Approximate k-Nearest Neighbor Search Algorithms for Content-Based Retrieval of Multimedia Data (대용량 멀티미디어 데이터의 내용-기반 검색을 위한 근사 k-최근접 데이터 탐색 알고리즘)

  • 송광택;심춘보;장재우
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10b
    • /
    • pp.256-258
    • /
    • 1998
  • 대용량의 멀티미디어 자료를 기반으로 하는 내용-기반 멀티미디어 검색 시스템에서 k-최근접 탐색 질의는 사용자의 매우 중요한 검색 질의 중에 하나이다. 하지만, 방대한 양의 멀티미디어 데이터베이스를 기반으로하는 경우에는 적중 에러 없는 정확(exact) k-최근접 데이터 탐색을 위해서 상당히 많은 디스크 접근 횟수가 요구된다. 본 논문에서는 X-트리에서의 정확 k-최근접 탐색 질의를 개선하고, 또한 사용자의 빠른 검색 성능을 위해 다소의 적중 에러는 허용한다 하더라도 디스크 접근 횟수를 줄이는 근사(approximate) k-최근접 탐색 알고리즘을 제안한다.

Technology for Searching Massive XML Data with Different Schema (대용량 이종 XML 데이터 검색을 위한 RDBMS기반 인덱싱 기법)

  • 이성진;박영순
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04b
    • /
    • pp.202-204
    • /
    • 2004
  • 최근 XML은 기업간 데이터 교환의 표준으로 자리잡았다. 기업간 데이터 교환은 필연적으로 대량의 XML형태의 데이터가 로그 형태로 보전되게 된다. W3C에서는 XML자료의 검색을 위하여 XQueryl.0을 발표하고 XML 검색문의 표준화를 제시하였다. 검색운과는 별도로 XML데이터의 저장 모델에 대한 연구 또한 활발히 진행되고 있다. 본 논문에서는 대용량 XML데이터를 RDBMS를 이용하여 저장하고 빠른 검색을 지원 할 수 있는 역 인덱싱 방안을 기초로 검색 성능을 향상시킬 수 있는 방안에 대하여 연구하고 기존 방법과의 비교 실험을 통해 그 효과를 검증하였다.

  • PDF

Experiment of Searching Candidate Text Pair for Searching Similar Texts among Massive Document Repository (대용량 문서 집합에서 유사문서 탐색을 위한 후보 문서 쌍 검색 실험)

  • Park, Sun-Young;Chung, Woo-Keun;Cho, Hwan-Gue
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2010.06c
    • /
    • pp.275-278
    • /
    • 2010
  • 문서 표절과 관련된 이슈가 급증함에 따라 유사 문서 탐색과 관련한 연구가 활발히 진행되고 있다. 특히 인터넷의 발달로 인해 일반 사용자가 수많은 전자 문서에 쉽게 접근할 수 있게 됨에 따라 대용량 문서 집합에 대한 탐색 속도와 정확성의 중요성도 커지고 있다. 대용량 문서 집합 내에서 빠른 시간 내에 유사 문서를 탐색하는 방법에는 전역 사전을 이용하여 후보 문서 쌍(유사할 가능성이 높은 문서의 쌍)를 추출한 후 찾아낸 후보 문서 쌍에만 정밀한 검사를 수행함으로써 검사 시간을 줄이는 방법이 존재한다. 이 때, 후보 문서를 찾아내기 위하여 전역 사전(Global DICtionary, GDIC)이라는 자료 구조를 이용하게 되는데, 이 전역 사전을 효과적으로 사용하면 후보 문서 쌍을 찾아내는 시간을 기존보다 더욱 줄일 수 있다. 본 논문에서는 전역 사전을 더욱 효과적으로 활용하여 후보 문서 쌍 검색 시간을 대폭 줄이는 방법에 대해 기술하며, 어느 정도의 성능 향상이 있는지 실험을 통해 측정하였다. 20,000건의 실험용 말뭉치 자료와 6263건의 실존하는 보고 문서에 대해 실험한 결과, GDIC 생성에서 2.5~4,6%, 후보 문서 쌍 탐색에서 1%~15.4% 정도의 성능이 향상된 것을 확인할 수 있었다. 추후 update query를 최소화하여 GDIC 생성시간을 추가로 줄이는 방법에 대해 연구할 계획이다.

  • PDF

Analysis Method for Speeding Risk Exposure using Mobility Trajectory Big Data (대용량 모빌리티 궤적 자료를 이용한 과속 위험노출도 분석 방법론)

  • Lee, Soongbong;Chang, Hyunho;Kang, Taeseok
    • Journal of the Society of Disaster Information
    • /
    • v.17 no.3
    • /
    • pp.655-666
    • /
    • 2021
  • Purpose: This study is to develop a method for measuring dynamic speeding risks using vehicle trajectory big data and to demonstrate the feasibility of the devised speeding index. Method: The speed behaviors of vehicles were analysed in microscopic space and time using individual vehicle trajectories, and then the boundary condition of speeding (i.e., boundary speed) was determined from the standpoint of crash risk. A novel index for measuring the risk exposure of speeding was developed in microscopic space and time with the boundary speed. Result: A validation study was conducted with vehicle-GPS trajectory big data and ground-truth vehicle crash data. As a result of the analysis, it turned out that the index of speeding-risk exposure has a strong explanatory power (R2=0.7) for motorway traffic accidents. This directly indicates that speeding behaviors should be analysed at a microscopic spatiotemporal dimension. Conclusion: The spatial and temporal evolution of vehicle velocity is very variable. It is, hence, expected that the method presented in this study could be efficaciously employed to analyse the causal factors of traffic accidents and the crash risk exposure in microscopic space using mobility trajectory data.

Nonparametric Detection Methods against DDoS Attack (비모수적 DDoS 공격 탐지)

  • Lee, J.L.;Hong, C.S.
    • The Korean Journal of Applied Statistics
    • /
    • v.26 no.2
    • /
    • pp.291-305
    • /
    • 2013
  • Collective traffic data (BPS, PPS etc.) for detection against the distributed denial of service attack on network is the time sequencing big data. The algorithm to detect the change point in the big data should be accurate and exceed in detection time and detection capability. In this work, the sliding window and discretization method is used to detect the change point in the big data, and propose five nonparametric test statistics using empirical distribution functions and ranks. With various distribution functions and their parameters, the detection time and capability including the detection delay time and the detection ratio for five test methods are explored and discussed via monte carlo simulation and illustrative examples.

A Method to Provide Context from Massive Data Processing in Context-Aware System (상황인지 시스템에서 대용량의 데이터 처리결과를 컨텍스트 정보로 제공하기 위한 방법)

  • Park, Yoo Sang;Choi, Jong Sun;Choi, Jae Young
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.8 no.4
    • /
    • pp.145-152
    • /
    • 2019
  • Unlike a single value from a sensor device, a massive data set has characteristics for various processing aspects; input data may be formed in a different format, the size of input data varies, and the processing time of analyzing input data is not predictable. Therefore, context aware systems may contain complex modules, and these modules can be implemented and used in different ways. In order to solve these problems, we propose a method to handle context information from the result of analyzing massive data. The proposed method considers analysis work as a different type of abstracting context and suggests the way of representing context information. In experiment, we demonstrate how the context processing engine works properly in a couple of steps with healthcare services.

Classification of large-scale data and data batch stream with forward stagewise algorithm (전진적 단계 알고리즘을 이용한 대용량 데이터와 순차적 배치 데이터의 분류)

  • Yoon, Young Joo
    • Journal of the Korean Data and Information Science Society
    • /
    • v.25 no.6
    • /
    • pp.1283-1291
    • /
    • 2014
  • In this paper, we propose forward stagewise algorithm when data are very large or coming in batches sequentially over time. In this situation, ordinary boosting algorithm for large scale data and data batch stream may be greedy and have worse performance with class noise situations. To overcome those and apply to large scale data or data batch stream, we modify the forward stagewise algorithm. This algorithm has better results for both large scale data and data batch stream with or without concept drift on simulated data and real data sets than boosting algorithms.