• Title/Summary/Keyword: 대용량 데이터

Search Result 2,285, Processing Time 0.039 seconds

A Method for Supporting Description Logic SHIQ(D) Reasoning over Large ABox (OWL-DL 기반의 대용량 ABox 추론 기법)

  • Seo, Eun-Seok;Choi, Yong-Joon;Park, Young-Tack
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.10b
    • /
    • pp.352-356
    • /
    • 2006
  • 현존하는 추론 엔진들은 대부분 Tableaux 알고리즘 기반의 TBox의 최적화를 위한 연구를 진행하였다. 하지만 현실에서 대용량의 ABox를 추론하기 위한 유한한 시간 내에 결정 가능성을 보장하지 못한다. 따라서 실용성 있는 추론 엔진 효율을 위해서는 대용량 데이터를 가지는 ABox를 위한 최적화된 추론 기법이 필요하다. 본 논문에서는 OWL-DL 기반의 온톨로지(Ontology)를 데이터로그(Datalog)와 같은 규칙(Rule) 형태로 변형하여 관계형 데이터베이스와 같은 저장 시스템과 연동하기 위한 방법을 이용한다. 최종적으로 실세계의 환경에서의 데이터타입 속성(Datatype Property)이 포함된 SHIQ(D) 구성의 실용적인 추론 시스템을 수행하고자 한다. 따라서 OWL이 가지는 공리(Axiom)를 이용하여 데이터타입 속성이 포함된 규칙을 적용한 추론 방법에 대해서 제안하였다.

  • PDF

A Study on GUI based Subgraph Generation Tool for Similar Matching in Large Capacity Graphs (대용량 그래프에서의 유사 매칭을 위한 그래픽 사용자 인터페이스 기반 서브 그래프 생성 도구에 대한 연구)

  • Song, Je-O;Hong, Seung-Min;Lee, Sang-Moon
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2018.07a
    • /
    • pp.349-350
    • /
    • 2018
  • 최근 빅데이터를 비롯한 각종 실험 장비의 발전에 따라 첨단 분야에서의 과학데이터가 급격히 증가하고 있는 가운데, 그래프 매칭은 컴퓨터 네트워크 모니터링, 소셜 네트워크의 진화 분석, 생물학 네트워크에서 모티프(motif) 탐지 등 네트워크 분석 및 데이터 마이닝 분야에서 널리 활용되고 있다. 이와 같이, 폭발적으로 증가하는 데이터에 대한 네트워크 모델링 및 유사 그래프 매칭 분석을 수행하기 위한 연구 및 기반 기술 개발은 필수적인 실정이다. 본 논문에서는 이미 확보된 대용량 그래프에서 유사한 형태의 서브 그래프를 매칭할 수 있는 GUI(Graphic User Interface)기반의 생성 도구를 제안한다.

  • PDF

An Implementation of a BST Index on a Relational Data Warehouse System based on Hadoop Cloud (Hadoop 클라우드 기반 관계형 데이터 웨어하우스 시스템에서 이진 검색 트리 기반 색인의 구현)

  • Ryu, Hyo-Seok;Choi, Hyun-Sik;Son, Ji-Hoon;Chung, Yon-Don
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06c
    • /
    • pp.10-12
    • /
    • 2012
  • 클라우드를 기반으로 한 대용량 데이터의 처리 및 분석의 요구가 커지면서, 대용량 관계형 데이터에 대한 분산 처리의 수요 또한 증가하고 있다. 본 논문은 HDFS를 사용하는 관계형 저장 시스템에서 대용량 데이터를 효율적으로 처리하기 위해 개발한 BST 기반 색인에 대해 설명한다.

Materialized View for Computing Iceberg Query and Iceberg Ranking Query Efficiently (빙산 질의와 빙산 순위 질의의 효율적인 처리를 위한 저장뷰)

  • 홍석진;배진욱;심마로;이석호
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10a
    • /
    • pp.141-143
    • /
    • 1999
  • 빙산 질의란 대용량의 데이터들에 대해 집단 함수를 수행하여 임계값 이상인 데이터를 결과로 반환하는 연산을 의미한다. 빙산 질의는 도메인의 크기가 대단히 큰 대용량의 데이터에 대해 적용되므로 집단 함수의 수행을 위한 카운터를 전부 메모리에 적재할 수 없는 상황이 발생한다. 지난 연구에서는 이러한 빙산 질의를 표본 추출과 해싱을 사용하여 수행하였다. 하지만 많은 수행시간을 필요로 하는 질의를 대용량의 데이터 전체에 대해 매번 수행하여야 하며, 결과를 얻기 위한 후보 수가 커질 수 있다는 문제점이 있다. 이 논문에서는 빙산 질의에 대한 저장뷰를 통해, 사용자의 질의 중 많은 부분을 차지하는 큰 임계값으로 구성된 질의에 대해서는 즉각적인 결과를 돌려주고, 빙산 질의 결과 후보의 수를 감소시키며, 별도의 표준 추출 과정을 생략할 수 있는 방법을 제시한다. 또한 빙산 질의 히스토그램을 통해 빙산 순위 질의를 수행하는 방법을 제시하여 사용자로 하여금 보다 직관적인 질의를 작성할 수 있도록 하였다.

  • PDF

Analysis of large data transfer performance using DTN clustering based on NFS storage (DTN 클러스터를 활용한 NFS 스토리지 기반 대용량 데이터 전송 성능 분석)

  • Hong, Wontaek;Moon, Jeonghoon;Kwak, Jaiseung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.05a
    • /
    • pp.89-91
    • /
    • 2019
  • 최근 첨단 과학응용분야에서는 대용량의 데이터를 효과적으로 공유 및 전송하기 위해 전용의 연구망과 데이터 전송 노드(DTN)를 활용하여 전송 효율을 높이기 위한 연구들이 활발히 수행되고 있다. 특히, DTN 클러스터링은 복수 개의 전송 노드들을 이용하여 병행성을 높여 전송 효율을 극대화시키는 기법으로 고성능컴퓨팅 환경에서 적용되고 있다. 이와 관련하여, 본 논문에서는 초기 실험적 연구로 NFS 외부 스토리지를 연계한 DTN 클러스터링 환경을 구축하고, WAN 구간에서 종단간 대용량 데이터 전송 실험을 수행한다. 실험 결과, 파일의 크기 및 개수 등이 서로 다른 비교 군들을 대상으로 단일 DTN 대비 DTN 클러스터링에 대한 효과를 확인할 수 있었다.

A method for enhancing reading performance of multimedia data in Unix web cluster (유닉스 웹 클러스터 시스템 환경에서 멀티미디어 데이터의 읽기 성능 개선방안)

  • Kim, Young-Ae;Lee, Hyuk;Choi, Jin-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2007.11a
    • /
    • pp.579-582
    • /
    • 2007
  • 최근 들어 더욱 UCC(User Created Contents)등과 같은 대용량 멀티미디어(multimedia) 서비스에 대한 요구가 나날이 증가되면서 부하분산에 중점을 둔 웹 클러스터링 시스템(Web Clustering System) 에서 기존의 작은 크기의 스트림 데이터(Stream Data)나 조금 더 다양한 데이터를 위한 읽기 성능을 대용량 데이터에 초점을 맞춘 방안으로 최적화 시키는 것이 중요시되고 있다. 본 논문에서는 대용량 멀티미디어를 중심으로 실제 서비스시 간과 되어질 수 있는 운영체제(Operating System, O/S)에서의 I/O 인식, 디스크 제어 프로그램에서의 I/O, 웹 클러스터의 부하분산정책의 파라미터(Parameter)를 개선함으로써 읽기성능 향상 방안을 제시한다.

  • PDF

Statistical analysis method of large data using homomorphic encryption (동형암호를 이용한 대용량 데이터의 통계 분석 방법)

  • Kang, Dongwoo;Won, Dongho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.225-228
    • /
    • 2021
  • 동형암호를 이용한 통계 분석은 기존의 개인정보보호 문제로 수행할 수 없었던 데이터에 대해서 통계분석이 가능하게 만든다. 본 논문에서는 대용량 데이터에 사용되는 대표적 통계 수치인 평균, 분산, 왜도, 첨도를 병렬처리를 사용하여 구하는 방법을 제안한다. 또한, 연산이 비교적 제한적인 동형암호에서도 통계적 수치를 구하기 위하여 동형암호문끼리의 뺄셈, 나눗셈, 제곱근 연산을 제안한다. 이를 통해, 분산된 대용량 데이터에 대해서도 동형암호를 통해 다양한 통계 연산이 가능할 것으로 기대된다.

Engineering Qualification Model Design and Implementation of Mass Memory Unit for STSAT-3 (과학기술위성 3호 대용량 메모리 유닛의 인증모델 설계 및 구현)

  • Seo, In-Ho;Oh, Dae-Soo
    • Journal of the Korean Society for Aeronautical & Space Sciences
    • /
    • v.37 no.12
    • /
    • pp.1258-1263
    • /
    • 2009
  • This paper describes the design and test results of engineering qualification model(EQM) of mass memory unit(MMU) for STSAT-3. The MMU for STSAT-3 having 32Gb mass memory capacity is capable of receiving and transmitting the mission data from MIRIS(Multi-purpose IR Imaging System) and COMIS(Compact Imaging Spectrometer) at 100Mbps and 10Mbps. The performance of EQM MMU was verified by the tests of data receiving from two payloads and data transmission to the data receiving system. Moreover, the vibration and thermal vacuum test was performed to verify the launch vehicle and space environments.

Design and Implementation of a Big Data Analytics Framework based on Cargo DTG Data for Crackdown on Overloaded Trucks

  • Kim, Bum-Soo
    • Journal of the Korea Society of Computer and Information
    • /
    • v.24 no.12
    • /
    • pp.67-74
    • /
    • 2019
  • In this paper, we design and implement an analytics platform based on bulk cargo DTG data for crackdown on overloaded trucks. DTG(digital tachograph) is a device that stores the driving record in real time; that is, it is a device that records the vehicle driving related data such as GPS, speed, RPM, braking, and moving distance of the vehicle in one second unit. The fast processing of DTG data is essential for finding vehicle driving patterns and analytics. In particular, a big data analytics platform is required for preprocessing and converting large amounts of DTG data. In this paper, we implement a big data analytics framework based on cargo DTG data using Spark, which is an open source-based big data framework for crackdown on overloaded trucks. As the result of implementation, our proposed platform converts real large cargo DTG data sets into GIS data, and these are visualized by a map. It also recommends crackdown points.

Implementation of query model of CQRS pattern using weather data (기상 데이터를 활용한 CQRS 패턴의 조회 모델 구현)

  • Seo, Bomin;Jeon, Cheolho;Jeon, Hyeonsig;An, Seyun;Park, Hyun-ju
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.23 no.6
    • /
    • pp.645-651
    • /
    • 2019
  • At a time when large amounts of data are being poured out, there are many changes in software architecture or data storage patterns because of the nature of the data being written, rather more read-intensive than writing. Accordingly, in this paper, the query model of Command Query Responsibility Segmentation (CQRS) pattern separating the responsibilities of commands and queries is used to implement an efficient high-capacity data lookup system in users' requirements. This paper uses the 2018 temperature, humidity and precipitation data of the Korea Meteorological Administration Open API to store about 2.3 billion data suitable for RDBMS (PostgreSQL) and NoSQL (MongoDB). It also compares and analyzes the performance of systems with CQRS pattern applied from the perspective of the web server (Web Server) implemented and systems without CQRS pattern, the storage structure performance of each database, and the performance corresponding to the data processing characteristics.