• 제목/요약/키워드: 트리플 데이터

검색결과 87건 처리시간 0.031초

대용량 데이터 기반 트리플 저장소 아키텍처 분석 (Analysis of Scalable Triple Repository Architecture for Big Data)

  • 김태홍;엄정호;조민희;최성필;정한민
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(B)
    • /
    • pp.423-425
    • /
    • 2012
  • 비정형데이터의 분석을 위한 다양한 연구가 진행되면서 폭발적인 트리플 데이터 증가가 이루어졌다. 이는 결국 서비스 인프라의 병목현상을 초래하고 있으며, 그 해결책으로서 분산 병렬 아키텍처가 주목받고 있다. 본 논문은 대용량 시맨틱웹 자원을 저장, 적재, 질의 및 추론할 수 있는 트리플 저장소 특성에 가장 적합한 시스템 구조를 선정하기 위해 대용량 처리 능력, 데이터 처리 속도 및 안정성의 측면에서 연합 DBMS와 맵리듀스를 분석하는데 초점을 맞추고 있다. 분석 결과는 대용량 데이터 기반 트리플 저장소의 특성과 아키텍처의 유연성 및 향후 성능 개선 가능성을 판단하는 요소로 활용하여 맵리듀스 방식을 대용량 트리플 저장소에 적합한 방식으로 선정하였다. 본 연구는 대용량 데이터 기반 트리플 저장소 개발의 방향 수립을 위한 기반 연구로서 중요한 가치를 가진다.

트리플 생성을 위한 매핑 온톨로지 구축 및 이를 이용한 트리플 변환기 구현 (Development of a Mapping Ontology for Triple Creation and Implement of a Triple Translator)

  • 허홍수;오원석;김성혁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(C)
    • /
    • pp.48-50
    • /
    • 2012
  • 정형화되어 있는 데이터를 트리플 형식의 RDF 데이터로 변환하기 위하여 매핑 온톨로지를 제안하며, 이 온톨로지를 이용하여 실제 데이터를 RDF로 변환하는 변환기를 구현하였다. 본 논문에서는 트리플 변환을 위해 수행하는 매핑 작업을 개념화하고, 일반적인 매핑 타입을 정형화하고 제약사항을 설정하여 온톨로지 스키마로 제공한다. 트리플 생성을 위해 사용자가 매핑 내용을 인스턴스로 생성하면, 이를 이용하여 정형화된 데이터를 RDF로 자동 변환하는 변환기를 구현한다. 제안하는 매핑 온톨로지를 이용한 매핑규칙 작업은 온톨로지 편집툴을 활용하여 작업의 편의성을 제공하며 변환 작업의 안내 역할을 할 것이다.

핵심어 시퀀스와 지식 그래프를 이용한 RNN 기반 자연어 문장 생성 (RNN Based Natural Language Sentence Generation from a Knowledge Graph and Keyword Sequence)

  • 권성구;노윤석;최수정;박세영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.425-429
    • /
    • 2018
  • 지식 그래프는 많은 수의 개채와 이들 사이의 관계를 저장하고 있기 때문에 많은 연구에서 중요한 자원으로 활용된다. 최근에는 챗봇과 질의응답과 같은 연구에서 자연어 생성을 위한 연구에 활용되고 있다. 특히 자연어 생성에서 최근 발전 된 심층 신경망이 사용되고 있는데, 이러한 방식은 모델 학습을 위한 많은 양의 데이터가 필요하다. 즉, 심층신경망을 기반으로 지식 그래프에서 문장을 생성하기 위해서는 많은 트리플과 문장 쌍 데이터가 필요하지만 학습을 위해 사용하기엔 데이터가 부족하다는 문제가 있다. 따라서 본 논문에서는 데이터 부족 문제를 해결하기 위해 핵심어 시퀀스를 추출하여 학습하는 방법을 제안하고, 학습된 모델을 통해 트리플을 입력으로 하여 자연어 문장을 생성한다. 부족한 트리플과 문장 쌍 데이터를 대체하기 위해 핵심어 시퀀스를 추출하는 모듈을 사용해 핵심어 시퀀스와 문장 쌍 데이터를 생성하였고, 순환 신경망 기반의 인코더 - 디코더 모델을 사용해 자연어 문장을 생성하였다. 실험 결과, 핵심어 시퀀스와 문장 쌍 데이터를 이용해 학습된 모델을 이용해 트리플에서 자연어 문장 생성이 원활히 가능하며, 부족한 트리플과 문장 쌍 데이터를 대체하는데 효과적임을 밝혔다.

  • PDF

효율적인 시멘틱 질의 처리를 위한 인덱싱 기법 (Indexing Mechanism for Efficient Semantic Query Processing)

  • 김학수;차현석;손진현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 춘계학술발표대회
    • /
    • pp.97-100
    • /
    • 2006
  • RDF 는 트리플의 집합으로서 그래프 데이터 모델로 표현되며, 사용자는 RDF 그래프 모델로부터 정보를 검색하기 위해 시멘틱 질의 언어를 사용한다. 그러나 이러한 접근 방식은 최악의 경우 전체 그래프 데이터 모델을 검색해야 되는 문제점이 발생한다. 이에 따라 최근의 연구에서는 시멘틱 질의를 효율적으로 처리하기 위해서 인덱스를 사용한다. 시멘틱 질의 언어(RDQL, SPARQL)의 핵심은 RDF 트리플에 대한 패턴을 기술함으로써 원하는 트리플 정보를 검색할 수 있게 하는 것이다. 따라서, 기존의 인덱스는 단일 트리플을 효율적으로 검색하는 데 초점을 둔다. 거라나 트리플 패턴의 집합으로 질의가 표현될 경우에는 트리플 패턴 사이의 상관관계 때문에 조인비용이 많이 발생하는 문제점이 있다. 본 논문에서는 조인 비용이 발생되는 문제점을 해결하기 위한 인덱싱 기법을 제안한다. RDF 그래프 모델에서 유지해야 할 정보를 줄이기 위해서 RDF 그래프 모델에 존재하는 유사한 서브 그래프를 하나의 서브 그래프로 병합한다. 병합절차를 마친 여러 서브 그래프에 존재하는 모든 경로를 인덱스에 유지 함으로써 조인 비용을 제거한다.

  • PDF

MongoDB를 활용한 Jena 프레임워크 기반의 분산 트리플 저장소 구현 (An implementation of MongoDB based Distributed Triple Store on Jena Framework)

  • 안진현;양성권;이문환;정진욱;김응희;임동혁;김홍기
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.1615-1617
    • /
    • 2015
  • 웹을 통한 데이터 공유에 대한 관심의 증가로 RDF 트리플 형태의 데이터가 폭발적으로 증가하고 있다. 대용량 RDF 데이터를 저장하고 빠른 SPARQL 질의 처리를 지원하는 트리플 저장소의 개발이 중요하다. 아파치 프로젝트 중 하나인 Jena-TDB는 가장 잘 알려진 오픈소스 트리플 저장소 중 하나로서 Jena 프레임워크 기반으로 구현됐다. 하지만 Jena-TDB 의 경우 단일 컴퓨터에서 작동하기 때문에 대용량 RDF 데이터를 다룰 수 없다는 문제점이 있다. 본 논문에서는 MongoDB를 활용한 Jena 프레임워크 기반의 트리플 저장소인 Jena-MongoDB를 제안한다. Jena 프레임워크를 사용했기 때문에 기존 Jena-TDB와 동일한 인터페이스로 사용할 수 있고 최신 표준 SPARQL 문법도 지원한다. 또한 MongoDB를 사용했기 때문에 분산환경에서도 작동할 수 있다. 대용량 LUBM 데이터셋에 대한 SPARQL 질의 처리 실험결과 Jena-MongoDB가 Jena-TDB 보다 빠른 질의 응답 속도를 보여줬다.

트리플 데이터베이스 단축 경로 이득 함수와 구성 인자 실험 분석 (Empirical Analysis on the Shortcut Benefit Function and its Factors for Triple Database)

  • 강승석;심준호
    • 한국전자거래학회지
    • /
    • 제19권1호
    • /
    • pp.131-143
    • /
    • 2014
  • 3-컬럼의 트리플 테이블로 구성되는 트리플 데이터베이스의 질의 처리는 고비용이 드는데, 단축 경로는 그 비용을 감소시키는 방법으로 알려졌다. 어떠한 단축 경로를 선택 구성할지는 주요한 문제이며, 질의 빈도를 기반으로 단축 경로 이득을 계산하는 방식이 주로 사용된다. 하지만 이러한 방식은 트리플 데이터의 추가 혹은 변경을 적절히 반영하지 못한다. 본 논문에서는 질의 처리 시간 단축 측면뿐 아니라 경로 구축 및 유지 비용도 고려하는 이득 모델을 다룬다. 이득 모델은 이득 함수로 설계되어 단축 경로 선택 기법에 적용된다. 이득 함수 구성 인자가 미치는 영향을 실세계 트리플 데이터를 사용해 실험 분석한다.

하이퍼 그래프 기반 Temporal RDF 모델링 기법 (A Hypergraph-based Modeling for Temporal RDF)

  • 이태휘;임동혁
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.694-696
    • /
    • 2015
  • RDF 데이터에 대한 시간 속성에 대한 연구는 트리플의 속성에 시간을 부여하는 방법이 많이 사용되고 있다. 하지만 트리플마다 시간 속성을 부여하는 방법은 저장 및 관리 측면에서 비효율적이다. 본 논문에서는 하이퍼그래프 기반의 RDF 시간 속성 모델링 방법을 제안한다. 하나의 트리플마다 시간 속성을 부여하는 것이 아닌 여러 재의 트리플을 하나의 하이퍼 간선으로 연결하여 시간 속성을 부여하는 방법으로 기존 방법보다 RDF 데이터가 가지는 의미에 적합하며 직관적으로 이해하기가 쉽다. 또한 시간 속성 RDF에서 지원해야 하는 시간 관계를 하이퍼그래프의 여러 속성을 이용하여 처리할 수 있는 장점을 가지게 된다.

KBCNN: CNN을 활용한 지식베이스 완성 모델 (KBCNN: A Knowledge Base Completion Model Based On Convolutional Neural Networks)

  • 김지호;한기종;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.465-469
    • /
    • 2018
  • 본 논문에서는 지식베이스 완성을 위한 새로운 모델, KBCNN을 소개한다. KBCNN 모델은 CNN을 기반으로 지식베이스의 개체들과 관계들 사이의 연관성을 포착한다. KBCNN에서 각 트리플 <주어 개체, 관계, 목적어 개체>는 3개의 열을 가진 행렬로 표현되며, 각각의 열은 트리플의 각 원소를 표현하는 임베딩 벡터다. 트리플을 나타내는 행렬은 여러 개의 필터를 가지고 있는 컨볼루션 레이어를 통과한 뒤, 하나의 특성 벡터로 합쳐진다. 이 특성 벡터를 가중치 행렬과 내적 하여 최종적으로 해당 트리플의 신뢰도를 출력하게 된다. 이 신뢰도를 바탕으로 트리플의 진실 여부를 가려낼 수 있다. 지식베이스 완성 연구에서 가장 많이 사용되는 데이터셋인 FB15k-237을 기반으로 한 실험을 통해 KBCNN 모델이 기존 임베딩 모델들보다 뛰어난 성능을 보이는 것을 확인하였다.

  • PDF

단일머신 환경에서의 논리적 프로그래밍 방식 기반 대용량 RDFS 추론 기법 (Scalable RDFS Reasoning using Logic Programming Approach in a Single Machine)

  • 바트셀렘 작바랄;김제민;이완곤;박영택
    • 정보과학회 논문지
    • /
    • 제41권10호
    • /
    • pp.762-773
    • /
    • 2014
  • 시맨틱 웹상에서 RDFS로 표현된 데이터의 사용 증가로 인하여, 대용량 데이터의 추론에 대한 많은 요구가 생겨나고 있다. 많은 연구자들은 대용량 온톨로지 추론을 수행하기 위해서 하둡과 같은 고가의 분산 프레임워크를 활용한다. 그러나, 적절한 사이즈의 RDFS 트리플 추론을 위해서는 굳이 고가의 분산 환경 시스템을 사용하지 않고 단일 머신에서도 논리적 프로그래밍을 이용하면 분산 환경과 유사한 추론 성능을 얻을 수 있다. 본 논문에서는 단일 머신에 논리적 프로그래밍 방식을 적용한 대용량 RDFS 추론 기법을 제안하였고 다중 머신을 기반으로 한 분산 환경 시스템과 비교하여 2억개 정도의 트리플에 대한 RDFS 추론 시스템을 적용한 경우 분산환경과 비슷한 성능을 보이는 것을 실험적으로 증명하였다. 효율적인 추론을 위해 온톨로지 모델을 세부적으로 분리한 메타데이터 구조와 대용량 트리플의 색인 방안을 제안하고 이를 위해서 전체 트리플을 하나의 모델로 로딩하는 것이 아니라 각각 온톨로지 추론 규칙에 따라 적절한 트리플 집합을 선택하였다. 또한 논리 프로그래밍이 제공하는 Unification 알고리즘 기반의 트리플 매칭, 검색, Conjunctive 질의어 처리 기반을 활용하는 온톨로지 추론 방식을 제안한다. 제안된 기법이 적용된 추론 엔진을 LUBM1500(트리플 수 2억개) 에 대해서 실험한 결과 166K/sec의 추론 성능을 얻었는데 이는 8개의 노드(8 코아/노드)환경에서 맵-리듀스로 수행한 WebPIE의 185K/sec의 추론 속도와 유사함을 실험적으로 증명하였다. 따라서 단일 머신에서 수행되는 본 연구 결과는 트리플의 수가 2억개 정도까지는 분산환경시스템을 활용하지 않고도 분산환경 시스템과 비교해서 비슷한 성능을 보이는 것을 확인할 수 있었다.

극대용량 서지 링크드 데이터 구축의 효율성을 위한 RDF 트리플 저장소 접근 최소화에 관한 연구 (Research on Minimizing Access to RDF Triple Store for Efficiency in Constructing Massive Bibliographic Linked Data)

  • 이문호;최성필
    • 한국도서관정보학회지
    • /
    • 제48권3호
    • /
    • pp.233-257
    • /
    • 2017
  • 본 논문에서는 세계 최대 규모의 생의학 분야 서지 데이터베이스인 MEDLINE 전체를 링크드 데이터로 변환 구축하는 효율적인 방안을 제시한다. 이를 위해서 우선 MEDLINE 레코드 구조를 세부적으로 분석하여 적합한 RDF 스키마를 도출하고 각 레코드를 도출된 스키마에 유효한 RDF 파일로 변환하는 과정을 거친다. 본 논문에서는 변환된 레코드 단위의 모든 RDF 파일을 병합하여 이를 단일 RDF 트리플 저장소에 저장할 때 주어 URI 중복 확인 절차를 효율화하는 이중 일괄 등록 방법을 적용한다. 이 방법을 통해서 RDF 파일 단위로 링크드 데이터를 순차적으로 구축하는 방법과 비교했을 때 주어 URI 중복 제거를 위한 RDF 트리플 저장소 접근 횟수가 26,597,850회에서 2,400회로 감소하는 결과를 가져왔다. 따라서 본 연구의 결과는 대용량 서지 레코드 집합을 링크드 데이터로 변환하는 과정에서의 비효율성을 제거하고 신속성과 시의성을 확보할 수 있는 중대한 계기를 제공할 것으로 기대한다.