• 제목/요약/키워드: 대용량 데이터

검색결과 2,286건 처리시간 0.038초

OWL-DL 기반의 대용량 ABox 추론 기법 (A Method for Supporting Description Logic SHIQ(D) Reasoning over Large ABox)

  • 서은석;최용준;박영택
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (B)
    • /
    • pp.352-356
    • /
    • 2006
  • 현존하는 추론 엔진들은 대부분 Tableaux 알고리즘 기반의 TBox의 최적화를 위한 연구를 진행하였다. 하지만 현실에서 대용량의 ABox를 추론하기 위한 유한한 시간 내에 결정 가능성을 보장하지 못한다. 따라서 실용성 있는 추론 엔진 효율을 위해서는 대용량 데이터를 가지는 ABox를 위한 최적화된 추론 기법이 필요하다. 본 논문에서는 OWL-DL 기반의 온톨로지(Ontology)를 데이터로그(Datalog)와 같은 규칙(Rule) 형태로 변형하여 관계형 데이터베이스와 같은 저장 시스템과 연동하기 위한 방법을 이용한다. 최종적으로 실세계의 환경에서의 데이터타입 속성(Datatype Property)이 포함된 SHIQ(D) 구성의 실용적인 추론 시스템을 수행하고자 한다. 따라서 OWL이 가지는 공리(Axiom)를 이용하여 데이터타입 속성이 포함된 규칙을 적용한 추론 방법에 대해서 제안하였다.

  • PDF

대용량 그래프에서의 유사 매칭을 위한 그래픽 사용자 인터페이스 기반 서브 그래프 생성 도구에 대한 연구 (A Study on GUI based Subgraph Generation Tool for Similar Matching in Large Capacity Graphs)

  • 송재오;홍승민;이상문
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2018년도 제58차 하계학술대회논문집 26권2호
    • /
    • pp.349-350
    • /
    • 2018
  • 최근 빅데이터를 비롯한 각종 실험 장비의 발전에 따라 첨단 분야에서의 과학데이터가 급격히 증가하고 있는 가운데, 그래프 매칭은 컴퓨터 네트워크 모니터링, 소셜 네트워크의 진화 분석, 생물학 네트워크에서 모티프(motif) 탐지 등 네트워크 분석 및 데이터 마이닝 분야에서 널리 활용되고 있다. 이와 같이, 폭발적으로 증가하는 데이터에 대한 네트워크 모델링 및 유사 그래프 매칭 분석을 수행하기 위한 연구 및 기반 기술 개발은 필수적인 실정이다. 본 논문에서는 이미 확보된 대용량 그래프에서 유사한 형태의 서브 그래프를 매칭할 수 있는 GUI(Graphic User Interface)기반의 생성 도구를 제안한다.

  • PDF

Hadoop 클라우드 기반 관계형 데이터 웨어하우스 시스템에서 이진 검색 트리 기반 색인의 구현 (An Implementation of a BST Index on a Relational Data Warehouse System based on Hadoop Cloud)

  • 류효석;최현식;손지훈;정연돈
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(C)
    • /
    • pp.10-12
    • /
    • 2012
  • 클라우드를 기반으로 한 대용량 데이터의 처리 및 분석의 요구가 커지면서, 대용량 관계형 데이터에 대한 분산 처리의 수요 또한 증가하고 있다. 본 논문은 HDFS를 사용하는 관계형 저장 시스템에서 대용량 데이터를 효율적으로 처리하기 위해 개발한 BST 기반 색인에 대해 설명한다.

빙산 질의와 빙산 순위 질의의 효율적인 처리를 위한 저장뷰 (Materialized View for Computing Iceberg Query and Iceberg Ranking Query Efficiently)

  • 홍석진;배진욱;심마로;이석호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (1)
    • /
    • pp.141-143
    • /
    • 1999
  • 빙산 질의란 대용량의 데이터들에 대해 집단 함수를 수행하여 임계값 이상인 데이터를 결과로 반환하는 연산을 의미한다. 빙산 질의는 도메인의 크기가 대단히 큰 대용량의 데이터에 대해 적용되므로 집단 함수의 수행을 위한 카운터를 전부 메모리에 적재할 수 없는 상황이 발생한다. 지난 연구에서는 이러한 빙산 질의를 표본 추출과 해싱을 사용하여 수행하였다. 하지만 많은 수행시간을 필요로 하는 질의를 대용량의 데이터 전체에 대해 매번 수행하여야 하며, 결과를 얻기 위한 후보 수가 커질 수 있다는 문제점이 있다. 이 논문에서는 빙산 질의에 대한 저장뷰를 통해, 사용자의 질의 중 많은 부분을 차지하는 큰 임계값으로 구성된 질의에 대해서는 즉각적인 결과를 돌려주고, 빙산 질의 결과 후보의 수를 감소시키며, 별도의 표준 추출 과정을 생략할 수 있는 방법을 제시한다. 또한 빙산 질의 히스토그램을 통해 빙산 순위 질의를 수행하는 방법을 제시하여 사용자로 하여금 보다 직관적인 질의를 작성할 수 있도록 하였다.

  • PDF

DTN 클러스터를 활용한 NFS 스토리지 기반 대용량 데이터 전송 성능 분석 (Analysis of large data transfer performance using DTN clustering based on NFS storage)

  • 홍원택;문정훈;곽재승
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 춘계학술발표대회
    • /
    • pp.89-91
    • /
    • 2019
  • 최근 첨단 과학응용분야에서는 대용량의 데이터를 효과적으로 공유 및 전송하기 위해 전용의 연구망과 데이터 전송 노드(DTN)를 활용하여 전송 효율을 높이기 위한 연구들이 활발히 수행되고 있다. 특히, DTN 클러스터링은 복수 개의 전송 노드들을 이용하여 병행성을 높여 전송 효율을 극대화시키는 기법으로 고성능컴퓨팅 환경에서 적용되고 있다. 이와 관련하여, 본 논문에서는 초기 실험적 연구로 NFS 외부 스토리지를 연계한 DTN 클러스터링 환경을 구축하고, WAN 구간에서 종단간 대용량 데이터 전송 실험을 수행한다. 실험 결과, 파일의 크기 및 개수 등이 서로 다른 비교 군들을 대상으로 단일 DTN 대비 DTN 클러스터링에 대한 효과를 확인할 수 있었다.

유닉스 웹 클러스터 시스템 환경에서 멀티미디어 데이터의 읽기 성능 개선방안 (A method for enhancing reading performance of multimedia data in Unix web cluster)

  • 김영애;이혁;최진영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 추계학술발표대회
    • /
    • pp.579-582
    • /
    • 2007
  • 최근 들어 더욱 UCC(User Created Contents)등과 같은 대용량 멀티미디어(multimedia) 서비스에 대한 요구가 나날이 증가되면서 부하분산에 중점을 둔 웹 클러스터링 시스템(Web Clustering System) 에서 기존의 작은 크기의 스트림 데이터(Stream Data)나 조금 더 다양한 데이터를 위한 읽기 성능을 대용량 데이터에 초점을 맞춘 방안으로 최적화 시키는 것이 중요시되고 있다. 본 논문에서는 대용량 멀티미디어를 중심으로 실제 서비스시 간과 되어질 수 있는 운영체제(Operating System, O/S)에서의 I/O 인식, 디스크 제어 프로그램에서의 I/O, 웹 클러스터의 부하분산정책의 파라미터(Parameter)를 개선함으로써 읽기성능 향상 방안을 제시한다.

  • PDF

동형암호를 이용한 대용량 데이터의 통계 분석 방법 (Statistical analysis method of large data using homomorphic encryption)

  • 강동우;원동호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.225-228
    • /
    • 2021
  • 동형암호를 이용한 통계 분석은 기존의 개인정보보호 문제로 수행할 수 없었던 데이터에 대해서 통계분석이 가능하게 만든다. 본 논문에서는 대용량 데이터에 사용되는 대표적 통계 수치인 평균, 분산, 왜도, 첨도를 병렬처리를 사용하여 구하는 방법을 제안한다. 또한, 연산이 비교적 제한적인 동형암호에서도 통계적 수치를 구하기 위하여 동형암호문끼리의 뺄셈, 나눗셈, 제곱근 연산을 제안한다. 이를 통해, 분산된 대용량 데이터에 대해서도 동형암호를 통해 다양한 통계 연산이 가능할 것으로 기대된다.

과학기술위성 3호 대용량 메모리 유닛의 인증모델 설계 및 구현 (Engineering Qualification Model Design and Implementation of Mass Memory Unit for STSAT-3)

  • 서인호;오대수
    • 한국항공우주학회지
    • /
    • 제37권12호
    • /
    • pp.1258-1263
    • /
    • 2009
  • 본 논문에서는 개발된 과학기술위성3호 대용량 메모리 유닛의 검증모델의 성능 및 환경시험 결과를 나타내었다. 과학기술위성3호 대용량 메모리 유닛은 적외선 영상시스템(MIRIS)과 초소형 영상 분광기(COMIS)에서 최대 100Mbps로 수신한 데이터를 32Gb의 메모리에 저장한 후 지상으로 10Mbps의 속도로 전송하는 임무를 수행한다. 탑재체 데이터 수신 시험과 데이터 수신 시스템으로의 데이터 전송 시험을 통해서 성능을 검증 하였다. 또한 발사체 환경과 우주 환경에서의 성능 확인을 위해서 진동 시험과 열진공 시험을 수행 하였다.

Design and Implementation of a Big Data Analytics Framework based on Cargo DTG Data for Crackdown on Overloaded Trucks

  • Kim, Bum-Soo
    • 한국컴퓨터정보학회논문지
    • /
    • 제24권12호
    • /
    • pp.67-74
    • /
    • 2019
  • 본 논문에서는 과적 화물차량 단속을 위한 대용량 화물 DTG 데이터 분석 플랫폼을 설계 및 구현한다. DTG(digital tachograph)는 차량운행기록을 실시간으로 저장하는 장치로서, 차량의 GPS, 속도, RPM, 제동유무, 이동거리 등 차량운행 관련 데이터가 1초 단위로 기록된다. 차량 운행 패턴 및 분석을 하기 위해서는 DTG 데이터의 빠른 처리가 필수적이며, 특히 대용량 DTG 데이터를 가공 및 변환하기 위해서는 빅데이터 분석 플랫폼이 필요하다. 본 논문에서는 오픈소스 기반의 빅데이터 프레임워크인 스파크(Spark)를 이용하여 과적차량 단속을 위한 대용량 화물 DTG 데이터의 분석 플랫폼을 구현하였다. 구현 결과, 실제 대용량 화물 DTG 데이터를 GIS 데이터로 변환하여 지도상에 표현하고 단속 추천 지점을 보여준다.

기상 데이터를 활용한 CQRS 패턴의 조회 모델 구현 (Implementation of query model of CQRS pattern using weather data)

  • 서보민;전철호;전현식;안세윤;박현주
    • 한국정보통신학회논문지
    • /
    • 제23권6호
    • /
    • pp.645-651
    • /
    • 2019
  • 대용량 데이터가 쏟아져 나오고 있는 지금, 대용량 데이터의 처리를 위해 데이터 처리 특성상 쓰기 작업보다 읽기작업이 많아 소프트웨어 아키텍처나 데이터 저장 패턴에 많은 변화가 가해지고 있다. 이에 따라 본 논문에서는 명령(Command)과 쿼리(Query)의 책임을 분리하는 CQRS(Command Query Responsibility Segregation) 패턴의 쿼리 모델을 사용해 사용자의 요구사항에 효율적인 대용량 데이터 조회 시스템을 구현한다. 본 논문의 대용량 데이터는 기상청 Open API의 2018년 온도, 습도, 강수 데이터를 활용하여 약 23억 건의 데이터를 RDBMS(PostgreSQL)와 NoSQL(MongoDB)에 알맞게 저장한다. 또한 구현한 웹 서버 (Web Server) 입장에서의 CQRS패턴을 적용한 시스템과 CQRS 패턴을 적용하지 않은 시스템의 성능, 각 데이터베이스의 저장구조 성능, 데이터 처리 특징에 맞는 성능을 비교 및 분석한다.