• 제목/요약/키워드: multidimensional data processing

검색결과 93건 처리시간 0.034초

Implementation of CNN-based Masking Algorithm for Post Processing of Aerial Image

  • CHOI, Eunsoo;QUAN, Zhixuan;JUNG, Sangwoo
    • 한국인공지능학회지
    • /
    • 제9권2호
    • /
    • pp.7-14
    • /
    • 2021
  • Purpose: To solve urban problems, empirical research is being actively conducted to implement a smart city based on various ICT technologies, and digital twin technology is needed to effectively implement a smart city. A digital twin is essential for the realization of a smart city. A digital twin is a virtual environment that intuitively visualizes multidimensional data in the real world based on 3D. Digital twin is implemented on the premise of the convergence of GIS and BIM, and in particular, a lot of time is invested in data pre-processing and labeling in the data construction process. In digital twin, data quality is prioritized for consistency with reality, but there is a limit to data inspection with the naked eye. Therefore, in order to improve the required time and quality of digital twin construction, it was attempted to detect a building using Mask R-CNN, a deep learning-based masking algorithm for aerial images. If the results of this study are advanced and used to build digital twin data, it is thought that a high-quality smart city can be realized.

시퀀스 데이터베이스에서 타임 워핑을 지원하는 효과적인 인덱스 기반 서브시퀀스 매칭 (An Index-Based Approach for Subsequence Matching Under Time Warping in Sequence Databases)

  • 박상현;김상욱;조준서;이헌길
    • 정보처리학회논문지D
    • /
    • 제9D권2호
    • /
    • pp.173-184
    • /
    • 2002
  • 본 논문에서는 대용량 시퀀스 데이터베이스에 타임 워핑을 지원하는 인덱스 기반 서브시퀀스 매칭에 관하여 논의한다. 타임 워핑은 시퀀스의 길이가 서로 다른 경우에도 유사한 패턴을 갖는 시퀀스들을 찾을 수 있도록 해준다. 최근의 연구에서 타임 워핑을 지원하는 효과적인 전체 매칭 기법을 제안된바 있다. 이 기법은 데이터 시퀀스들로부터 타임 워핑에 영향을 받지 않는 특징 벡터들의 집합을 대상으로 인덱스를 구성한다. 또한, 특징 공간상에서의 필터링을 위하여 삼각형 부등식을 만족하는 타임 워핑 거리의 하한 함수를 사용한다. 본 연구에서는 이 기존의 연구에 슬라이딩 윈도우를 기반으로 하는 접두어-질의 방법을 결합하는 새로운 기법을 제안한다. 인덱싱을 위하여 각 슬라이딩 윈도우와 대응되는 서브 시퀀스로부터 특징 벡터를 추출하고, 이 특징 벡터를 인덱싱 애트리뷰트로 사용하는 다차원 인덱스를 구성한다. 질의 처리를 위하여, 조건을 만족하는 질의 접두어들에 대한 특징 벡터들을 이용하여 다수의 인덱스 검색을 수행한다. 제안된 기법은 대용량의 데이터베이스에서도 효과적인 서브시퀀스 매칭을 지원한다. 본 연구에서는 제안된 기법이 착오 기각을 유발시키지 않음을 증명한다. 제안된 기법의 우수성을 규명하기 위하여 다양한 실험을 수행한다. 실험 결과에 따르면, 제안된 기법은 실제 S&P 500 주식 데이터와 대용량의 생성 데이터 모두에 대하여 큰 성능 개선 효과를 보이는 것으로 나타났다.

Parallel Multithreaded Processing for Data Set Summarization on Multicore CPUs

  • Ordonez, Carlos;Navas, Mario;Garcia-Alvarado, Carlos
    • Journal of Computing Science and Engineering
    • /
    • 제5권2호
    • /
    • pp.111-120
    • /
    • 2011
  • Data mining algorithms should exploit new hardware technologies to accelerate computations. Such goal is difficult to achieve in database management system (DBMS) due to its complex internal subsystems and because data mining numeric computations of large data sets are difficult to optimize. This paper explores taking advantage of existing multithreaded capabilities of multicore CPUs as well as caching in RAM memory to efficiently compute summaries of a large data set, a fundamental data mining problem. We introduce parallel algorithms working on multiple threads, which overcome the row aggregation processing bottleneck of accessing secondary storage, while maintaining linear time complexity with respect to data set size. Our proposal is based on a combination of table scans and parallel multithreaded processing among multiple cores in the CPU. We introduce several database-style and hardware-level optimizations: caching row blocks of the input table, managing available RAM memory, interleaving I/O and CPU processing, as well as tuning the number of working threads. We experimentally benchmark our algorithms with large data sets on a DBMS running on a computer with a multicore CPU. We show that our algorithms outperform existing DBMS mechanisms in computing aggregations of multidimensional data summaries, especially as dimensionality grows. Furthermore, we show that local memory allocation (RAM block size) does not have a significant impact when the thread management algorithm distributes the workload among a fixed number of threads. Our proposal is unique in the sense that we do not modify or require access to the DBMS source code, but instead, we extend the DBMS with analytic functionality by developing User-Defined Functions.

내용기반 음악정보 검색을 위한 선율의 시계열 데이터 변환을 이용한 주제선율색인 구성 (Construction of Theme Melody Index by Transforming Melody to Time-series Data for Content-based Music Information Retrieval)

  • 하진석;구경이;박재현;김유성
    • 정보처리학회논문지D
    • /
    • 제10D권3호
    • /
    • pp.547-558
    • /
    • 2003
  • 음악은 서로 다른 높이와 길이를 갖는 음표들을 주어진 박자 안에서 리듬성을 갖도록 나열한 패턴이기 때문에 음악의 선율정보는 시간의 흐름에 따라 정보 값을 갖는 시계열 데이터로 변환할 수 있다 따라서 본 연구에서는 음악의 특성을 유지하도록 선율정보를 정규화와 보정과정을 거쳐 시계열 데이터로 변환하고 유클리드 거리함수를 이용하여 선율정보간의 유사도를 계산하며, 유사성을 갖는 선율들을 클러스터링하여 각 클러스터의 대표성을 갖는 선율을 주제선율로서 추출한다. 그리고 추출된 주제선율로 다차원색인 기법인 M-tree를 이용하여 주제선율색인을 구성한다. 사용자 질의에 대한 검색과정에서도 색인 구성단계와 같은 과정으로 사용자 질의를 시계열 데이터로 변환하여 검색을 한다. 또한, 본 연구에서는 주제선율색인을 이용하여 내용기반 음악 검색을 실시하는 프로토타입 시스템을 개발하여 제안된 주제선율색인 구성기법의 실효성을 시험하였다. 실험결과에 따르면, 주제선율색인을 이용하면 원하는 음악 정보를 적은 공간을 사용하여 빠르고 정확하게 검색할 수 있음을 알 수 있다.

A Hybrid Multi-Level Feature Selection Framework for prediction of Chronic Disease

  • G.S. Raghavendra;Shanthi Mahesh;M.V.P. Chandrasekhara Rao
    • International Journal of Computer Science & Network Security
    • /
    • 제23권12호
    • /
    • pp.101-106
    • /
    • 2023
  • Chronic illnesses are among the most common serious problems affecting human health. Early diagnosis of chronic diseases can assist to avoid or mitigate their consequences, potentially decreasing mortality rates. Using machine learning algorithms to identify risk factors is an exciting strategy. The issue with existing feature selection approaches is that each method provides a distinct set of properties that affect model correctness, and present methods cannot perform well on huge multidimensional datasets. We would like to introduce a novel model that contains a feature selection approach that selects optimal characteristics from big multidimensional data sets to provide reliable predictions of chronic illnesses without sacrificing data uniqueness.[1] To ensure the success of our proposed model, we employed balanced classes by employing hybrid balanced class sampling methods on the original dataset, as well as methods for data pre-processing and data transformation, to provide credible data for the training model. We ran and assessed our model on datasets with binary and multivalued classifications. We have used multiple datasets (Parkinson, arrythmia, breast cancer, kidney, diabetes). Suitable features are selected by using the Hybrid feature model consists of Lassocv, decision tree, random forest, gradient boosting,Adaboost, stochastic gradient descent and done voting of attributes which are common output from these methods.Accuracy of original dataset before applying framework is recorded and evaluated against reduced data set of attributes accuracy. The results are shown separately to provide comparisons. Based on the result analysis, we can conclude that our proposed model produced the highest accuracy on multi valued class datasets than on binary class attributes.[1]

데이터 샘플링을 통한 각 기반 공간 분할 병렬 스카이라인 질의처리 기법 (Data Sampling-based Angular Space Partitioning for Parallel Skyline Query Processing)

  • 정재화
    • 컴퓨터교육학회논문지
    • /
    • 제18권5호
    • /
    • pp.63-70
    • /
    • 2015
  • 상호 연관되는 복잡한 데이터 조건이 존재하는 환경에서 스카이라인 질의는 의사결정 시스템 등 폭넓은 애플리케이션 활용 가능성으로 다양한 분야에서 연구되어 왔다. 중앙집중식 환경에서 스카이라인 질의처리 기법이 초기에 제안되었으며 최근 대량의 다차원 데이터에 대해 데이터 공간을 분할하여 맵/리듀스 플랫폼 상에서 병렬적으로 처리하는 기법이 제안되었다. 그러나 현재까지의 기법이 비균등적 실행과 높은 중복 작업으로 효율성이 저하된다는 문제점을 배경으로 본 논문에서는 랜덤 샘플링을 통해 데이터 분포를 추정하여 비균등 분할 문제를 해결하고 각 기반의 데이터 공간을 분할하여 스카이라인 처리 과정에서 중복 작업을 최소화한 새로운 기법 MR-DEAP를 제안한다. 마지막으로 다양한 환경에서의 실험결과 제안된 기법이 다른 각 기반 분할과 그리드 분할 기법보다 우수한 것을 입증하였다.

다차원 데이타의 실시간 검색을 위한 내장형 주기억장치 자료 저장시스템의 구성 및 성능평가 (Implementation and performance evaluation of embedded main-memory storage system for real-time retrieval of multidimensional data)

  • 권오수;정재보;홍동권
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 추계학술발표논문집 (상)
    • /
    • pp.109-112
    • /
    • 2000
  • 이동 단말기 관리, 무인 항공 제어 시스템 둥의 시스템에서는 검색 대상의 정보(위치, 여러 가지 상태등)가 시시각각으로 빠르게 변화하므로 현재의 상태를 정확히 파악하기 위하여 많은 양의 자료 검색, 변경 요청이 빈번히 발생한다. 이와 같은 시스템에서의 상태 정보 검색은 자료의 효용성이 사라지기 전에 이루어져야 하므로 디스크 I/O가 많은 디스크 상주형 데이터베이스로는 한계점을 안고 있다. 또한 빠른 검색을 지원할 수 있는 주기억장치 상주형 데이터베이스로는 다량의 데이터를 저장해야 하는 어려움을 안고 있다. 본 논문에서는 위와 같은 실시간 검색 기능과 대용량 자료 저장의 2가지 요구 사항을 만족시키기 위한 내장형 주기억장치 저장 시스템을 개발하였다.

  • PDF

건강 스트림 데이터의 다차원적 분석을 위한 저장 구조 (A Storage Scheme of Health Data Stream for Multidimensional Analysis)

  • 신혜원;임윤선;김명
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.81-84
    • /
    • 2005
  • 유비쿼터스 의료 기술이 본격화되면서 센서 네트워크를 통해 환자의 건강 관련 데이터 스트림을 수집하여 위험상황을 탐지하고 지속적인 건강 상태를 모니터링할 수 있게 되었다. 그러나 방대한 양의 스트림 데이터로부터 의미 있는 데이터를 효과적으로 찾아내기 위해서는 실시간으로 데이터의 갱신과 집계 연산이 가능해야 하고 데이터의 압축이 효율적으로 처리 될 수 있는 다차원 저장구조가 필요하다. 기존의 다차원 데이터 분석 도구인 OLAP 큐브 저장구조는 실시간 업데이트가 힘들고, 스트림 데이터 저장 구조인 DSMS들은 다차원 데이터 분석이 용이하지 않다. 이에 본 연구에서는 건강 스트림 데이터의 특징과 질의를 분석하고, 이러한 스트림 데이터에 적합한 저장구조의 요건을 제시하였다. 또한 점진적 갱신이 가능하고, 대용량 데이터를 시간 차원으로 압축, 삭제하기 용이하며 실시간에 분석 데이터 구축이 가능한 저장구조를 제안하고 그 효율성을 보였다.

  • PDF

사물인터넷 환경에서 센싱 데이터를 활용한 다차원 분석 기법 제안 (Suggestion of Multidimensional Analysis Technique Using Sensor Data in IoT Environment)

  • 강정구;박석천;김종현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.637-640
    • /
    • 2015
  • 최근 사물인터넷이 화두에 오르며, 사물인터넷에서 발생된 센싱 데이터의 분석에 많은 관심이 모아지고 있다. 사물인터넷에서는 대규모의 센싱 데이터가 폭발적으로 발생하고 있으아, 이렇게 발생된 센싱 데이터의 분석에 대한 연구는 현재 미비한 상태이다. 사물인터넷 환경에서 발생된 센싱 데이터는 외부 데이터와 통합 분석을 통해 가치 있는 데이터로 재생산이 가능한 만큼 사물인터넷에서 발생되는 센싱 데이터의 분석에 대한 연구가 필요하다. 따라서 본 논문에서는 사물인터넷 환경에서 센싱 데이터를 활용한 다차원 분석 기법을 제안 하고자 한다.

다차원 문항반응이론에 기반한 문항 응답 데이터 생성 알고리즘 (Algorithm Generating Item Response Data Based on Multidimensional Item Response Theory)

  • 김병욱;이원규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.526-528
    • /
    • 2014
  • 본 논문은 다차원 문항반응이론 모델에 기반하여 시뮬레이션을 위한 피험자들의 문항 응답 데이터를 생성하는 알고리즘을 개발하는 것이 목적으로 하였다. 본 알고리즘은 시험지를 구성하고 있는 문항들의 모수를 읽고, 각각의 차원에 대해 피험자들의 능력 수준을 나타내는 정규 분포 확률 변수를 생성한다. 본 알고리즘은 다차원 문항반응이론 모델에 기반하여 피험자들이 각 문항에 대해 정답으로 응답할 확률을 계산한다. 피험자들의 문항 응답을 결정하는 균일 분포 난수와 비교한다. 만약 확률이 난수보다 크면 피험자는 올바른 답을 한 것으로 보고 그렇지 않을 경우 틀리게 답할 것으로 한다. 본 프로그램은 피험자 수, 문항 수를 조절할 수 있다. 본 알고리즘을 통해 교육 측정 분야에서 다차원 문항반응 이론을 이용하여 학습자들의 문항 응답 데이터를 이용한 시뮬레이션 연구에 기여할 수 있을 것으로 기대한다.