• 제목/요약/키워드: 대용량 추론

검색결과 77건 처리시간 0.023초

분산 메모리 환경에서의 ABox 실체화 추론 (ABox Realization Reasoning in Distributed In-Memory System)

  • 이완곤;박영택
    • 정보과학회 논문지
    • /
    • 제42권7호
    • /
    • pp.852-859
    • /
    • 2015
  • 최근 지식 정보의 양이 방대해지면서, 대용량 온톨로지를 효과적으로 추론하는 연구가 활발히 진행되고 있다. 이러한 추론 방법들은 TBox 분류와 ABox 실체화로 나누어진다. TBox 추론은 스키마의 무결성과 종속성을 주로 다룬다면, ABox 추론은 인스턴스 위주의 다양한 문제를 다루어서 실제 응용에서의 중요성이 매우 크다. 따라서 본 논문은 클래스의 제약 조건을 분석하고, 이를 통해 인스턴스가 속하는 클래스를 추론할 수 있는 방법을 제안한다. 객체 지향 언어 기반의 분산 파일 시스템을 활용했던 기존 방법과 달리 함수형 프로그래밍 기반의 인 메모리 시스템인 스파크를 통해 대용량 온톨로지 실체화 방법에 대해서 설명한다. 제안하는 기법의 효율성을 검증하기 위해 W3C의 Wine 온톨로지를 이용해 인스턴스를 생성(1억 2천만~6억개의 트리플)하고 실험을 수행하였다. 6억개의 트리플을 대상으로 진행한 실험의 경우 전체 추론 시간이 51분(696 K Triple/sec)이 소요되었다.

러프-퍼지 추론 모델의 구성 (The Structure of Rough-Fuzzy Inference Model)

  • 김두완;정환묵
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2000년도 추계학술대회 학술발표 논문집
    • /
    • pp.235-238
    • /
    • 2000
  • 대용량의 데이터베이스에서 효율적인 의사결정을 하기 위해서는 불필요한 지식을 제거한 지식베이스의 구축이 필요하다. 사용자의 언어적인 질의에 대해 대용량의 데이터베이스에서 불필요한 규칙을 제거한 최소지식베이스를 구축한다. 또한 불완전한 데이터베이스로부터 규칙들을 일반화한 근사함수에 기반하여 규칙 추출의 중요도를 나타낸다. 그리고 앞에서 생성된 최소지식베이스를 통해 언어적 변수에 대한 퍼지 연산을 수행하여 추론값을 도출할 수 있는 모델을 제안한다.

  • PDF

SSQUSAR : Apache Spark SQL을 이용한 대용량 정성 공간 추론기 (SSQUSAR : A Large-Scale Qualitative Spatial Reasoner Using Apache Spark SQL)

  • 김종훈;김인철
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권2호
    • /
    • pp.103-116
    • /
    • 2017
  • 본 논문에서는 Apache Spark SQL을 이용하여 임의의 두 공간 객체들 간의 위상 관계와 방향 관계를 나타내는 새로운 정성 공간 지식을 효율적으로 추론해내는 대용량 정성 공간 추론기의 설계와 구현에 대해 소개한다. Apache Spark SQL은 Hadoop 클러스터 컴퓨터 시스템에서 다양한 데이터들 간의 매우 효율적인 조인 연산과 질의 처리 기능을 제공하는 분산 병렬 프로그래밍 환경이다. 본 공간 추론기에서는 정성 공간 추론의 전체 과정을 지식 인코딩, 역 관계 추론, 동일 관계 추론, 이행 관계 추론, 관계 정제, 지식 디코딩 등 크게 총 6개의 작업들로 나누고, 논리적 인과관계와 계산 효율성을 고려하여 작업들 간의 처리 순서를 결정하였다. 지식 인코딩 작업에서는 추론의 전처리 과정으로서 XML/RDF 형태의 입력 지식을 보다 간략한 내부 형태로 변환함으로써, 추론 대상인 지식 베이스의 크기를 축소시켰다. 일반적으로 이행 관계 추론 작업과 관계 정제 작업의 반복은 정성 공간 추론에 필요한 가장 많은 계산 시간과 기억 공간을 소모한다. 이 작업들을 효율화하기 위해 본 공간 추론기에서는 공간 추론에 필요한 최소한의 이접 관계들을 찾아내고, 이들을 기반으로 이행 관계 추론을 위한 조합표를 큰 폭으로 축소하고 관계 정제 작업도 최적화하였다. 대규모 벤치마킹 공간 지식 베이스를 이용한 실험을 통해, 본 논문에서 제안하는 대용량 정성 공간 추론기의 높은 추론 성능과 확장성을 확인하였다.

SPQUSAR : Apache Spark를 이용한 대용량의 정성적 공간 추론기 (SPQUSAR : A Large-Scale Qualitative Spatial Reasoner Using Apache Spark)

  • 김종환;김종훈;김인철
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권12호
    • /
    • pp.774-779
    • /
    • 2015
  • 본 논문에서는 단위 추론 작업들 간의 순차 처리와 반복 처리에 효과적인 인-메모리 방식의 고속 클러스터 컴퓨팅 환경인 Apache Spark을 이용한 대용량의 정성적 공간 추론기의 설계와 구현에 관해 소개한다. 본 논문에서 제안하는 공간 추론기는 매우 효율적인 방법으로, 공간 객체들 간의 위상 관계와 방향 관계를 나타내는 대규모 공간 지식베이스의 무결성을 검사할 수 있을 뿐만 아니라, 주어진 공간 지식베이스로부터 새로운 사실들을 유도해냄으로써 지식베이스를 확장할 수도 있다. 일반적으로 공간 객체들 간의 위상 관계와 방향 관계에 관한 정성적 추론은 이접 관계들 간의 많은 조합 연산들을 포함한다. 본 추론기에서는 공간 추론에 필요한 최소한의 이접 관계 집합을 찾아내고 이들만을 포함하도록 조합 표를 축소함으로써, 추론의 효율성을 크게 개선시켰다. 또한, 본 추론기에서는 추론 성능 향상을 위해 Hadoop 클러스터 시스템에서 분산 추론 작업이 진행되는 동안 디스크 입출력을 최소화하도록 설계하였다. 대용량의 가상 및 실제 공간 지식베이스를 이용한 실험들에서, 본 논문에서 제안하는 Apache Spark 기반의 정성적 공간 추론기가 MapReduce 기반의 기존 추론기보다 더 높은 성능을 보여주었다.

신뢰값 기반 대용량 트리플 처리를 위한 스파크 환경에서의 RDFS 온톨로지 추론 (Spark based Scalable RDFS Ontology Reasoning over Big Triples with Confidence Values)

  • 박현규;이완곤;바트셀렘;박영택
    • 정보과학회 논문지
    • /
    • 제43권1호
    • /
    • pp.87-95
    • /
    • 2016
  • 최근 인터넷과 디바이스의 발전으로 지식 정보의 양이 방대해 지면서 대용량 온톨로지를 이용한 추론 연구가 활발히 진행되고 있다. 일반적으로 트리플로 표현되는 빅데이터는 기계학습 프로그램이나 지식 공학자가 각 트리플의 신뢰도를 측정하여 제공한다. 하지만 수집된 데이터는 불확실한 데이터를 포함하고 있으며, 이러한 데이터를 추론하는 것은 불확실성을 내포한 추론 결과를 초래할 수 있다. 본 논문에서는 불확실성 문제를 해결하기 위해 수집된 데이터에 대한 신뢰의 정도를 나타내는 신뢰값(Confidence Value)를 이용한 RDFS 규칙 추론 방법에 대하여 설명하고, 메모리 기반의 분산 클러스터 프레임워크인 스파크(Spark)를 기반으로 데이터의 불확실성에 대한 고려를 하지 않는 기존의 추론 방법과 달리 신뢰값 계산에 대한 방법을 응용하여 RDFS 규칙을 통해 추론되는 새로운 데이터의 신뢰값을 계산하며, 계산된 신뢰값은 추론된 데이터에 대한 불확실성을 나타낸다. 제안하는 추론 방법의 성능을 검증하기 위해 온톨로지 추론과 검색 속도를 평가할 때 활용되는 공식 데이터인 LUBM을 대상으로 신뢰값을 추가하여 실험을 수행하였으며, 가장 큰 데이터인 LUBM3000을 수행하였을 때 1179초의 추론시간이 소요되었고, 초당 350K 트리플을 처리할 수 있는 성능을 보였다.

인메모리 기반 병렬 컴퓨팅 그래프 구조를 이용한 대용량 RDFS 추론 (Scalable RDFS Reasoning Using the Graph Structure of In-Memory based Parallel Computing)

  • 전명중;소치승;바트셀렘;김강필;김진;홍진영;박영택
    • 정보과학회 논문지
    • /
    • 제42권8호
    • /
    • pp.998-1009
    • /
    • 2015
  • 근래에 들어 풍부한 지식베이스를 구축하기 위한 대용량 RDFS 추론에 대한 관심이 높아지면서 기존의 단일 머신으로는 대용량 데이터의 추론 성능을 향상시키기에 한계가 있다. 그래서 분산 환경에서 의 RDFS 추론 엔진 개발이 활발히 연구되고 있다. 하지만 기존의 분산 환경 엔진은 실시간 처리가 불가능 하며 구현이 어렵고 반복 작업에 취약하다. 본 논문에서는 이러한 문제를 극복하기 위해 병렬 그래프 구조 를 사용한 인-메모리 분산 추론 엔진 구축 방법을 제안한다. 트리플 형태의 온톨로지는 기본적으로 그래프 구조를 가지고 있으므로 그래프 구조 기반의 추론 엔진을 설계하는 것이 직관적이다. 또한 그래프 구조를 활용하는 오퍼레이터를 활용하여 RDFS 추론 규칙을 구현함으로써 기존의 데이터 관점과 달리 그래프 구조의 관점에서 설계할 수 있다. 본 논문에서 제안한 추론 엔진을 평가하기 위해 LUBM1000(1억 3천 3백만 트리플, 17.9GB), LUBM3000(4억 1천 3백만 트리플, 54.3GB)에 대해 추론 속도를 실험을 하였으며 실 험결과, 비-인메모리 분산 추론 엔진보다 약 10배 정도 빠른 추론 성능을 보였다.

병렬컴퓨팅 환경에서의 대용량 퍼지 추론 (Fuzzy Inference of Large Volumes in Parallel Computing Environments)

  • 김진일;이상구
    • 한국지능시스템학회논문지
    • /
    • 제10권4호
    • /
    • pp.293-298
    • /
    • 2000
  • 대단히 많은 수의 퍼지 규칙을 갖거나 대용량의 퍼지 데이터를 갖는 퍼지 전문가 시스템 또는 퍼지 데이터베이스 시스템에서는 많은 추론 시간을 요구한다. 따라서 이러한 추론 시간을 줄이기 위해서는 고성능 병렬 퍼지 컴퓨팅 환경을 필요로 한다. 본 온문에서는 병렬 컴퓨팅 환경에서 병렬 퍼지 추론 기법을 제안한다. 여기에서 퍼지 규칙은 분산되어 있고 동시에 수행된다. ONE_TO_ALL 알고리즘은 모든 노드에 퍼지 입력 백터를 broadcasting하는데 사용한다. MIN/MAX 연산의 결과는 ALL_TO_ONE 알고리즘에 의해 출력 프로세서로 전송된다. 퍼지 규칙 또는 데이터의 병렬 처리로 인해, 병렬 추론 알고리즘은 효과적인 병렬성의 추출 및 속도 향상을 가져온다.

  • PDF

천문학에서의 대용량 자료 분석 (Analysis of massive data in astronomy)

  • 신민수
    • 응용통계연구
    • /
    • 제29권6호
    • /
    • pp.1107-1116
    • /
    • 2016
  • 최근의 탐사 천문학 관측으로부터 대용량 관측 자료가 획득되면서, 기존의 일상적인 자료 분석 방법에 큰 변화가 있었다. 고전적인 통계적인 추론과 더불어 기계학습 방법들이, 자료의 표준화로부터 물리적인 모델을 추론하는 단계까지 자료 분석의 전 과정에서 활용되어 왔다. 적은 비용으로 대형 검출 기기들을 이용할 수 있게 되고, 더불어서 고속의 컴퓨터 네트워크를 통해서 대용량의 자료들을 쉽게 공유할 수 있게 되면서, 기존의 다양한 천문학 자료 분석의 문제들에 대해서 기계학습을 활용하는 것이 보편화되고 있다. 일반적으로 대용량 천문학 자료의 분석은, 자료의 시간과 공간 분포가 가지는 비 균질성 때문에 야기되는 효과를 고려해야 하는 문제를 가진다. 오늘날 증가하는 자료의 규모는 자연스럽게 기계학습의 활용과 더불어 병렬 분산 컴퓨팅을 필요로 하고 있다. 그러나 이러한 병렬 분산 분석 환경의 일반적인 자료 분석에서의 활용은 아직 활발하지 않은 상황이다. 천문학에서 기계학습을 사용하는데 있어서, 충분한 학습 자료를 관측을 통해 획득하는 것이 어렵고, 그래서 다양한 출처의 자료를 모아서 학습 자료를 수집해야 는 것이 일반적이다. 따라서 앞으로 준 지도학습이나 앙상블 학습과 같은 방법의 역할이 중요해 질 것으로 예상된다.

PCI 기반 병렬 퍼지추론 시스템과 설계 및 구현 (Design and Implementation of a PCI-based Parallel Fuzzy Inference System)

  • 이병권;이상구
    • 한국지능시스템학회논문지
    • /
    • 제11권8호
    • /
    • pp.764-770
    • /
    • 2001
  • 본 논문에서는 대용량의 퍼지 데이터를 고속으로 전송 및 추론하기 위해 새로운 PCI 버스 기반 병렬 퍼지 시스템을 제안한다. 많은 퍼지 데이터의 고속전송을 위해 PCI 9050 인터페이스를 사용하고, 병렬 퍼지 추론 시스템을 위한 병렬 퍼지 모듈들을 FPGA로 설계하여 PCI 타겟 코어로서 병렬로 동작하게 한다. 여기서 소속함수들의 각 요소와 전건부 또는 후건부부분의 병렬화을 고려하여 제안된 시스템을 VHDL을 사용하여 설계 및 구현하였다. 제안된 시스템은 실시간에 고속의 퍼지추론을 요하는 시스템 또는 대용량 인공위성 영상 데이터의 패턴 인식 등과 같이 다수의 전건부, 후건부의 변수를 갖는 시스템에 활용될 수 있다.

  • PDF