• 제목/요약/키워드: CKAN

검색결과 5건 처리시간 0.016초

Comprehensive Knowledge Archive Network harvester improvement for efficient open-data collection and management

  • Kim, Dasol;Gil, Myeong-Seon;Nguyen, Minh Chau;Won, Heesun;Moon, Yang-Sae
    • ETRI Journal
    • /
    • 제43권5호
    • /
    • pp.835-855
    • /
    • 2021
  • With the recent increase in data disclosure, the Comprehensive Knowledge Archive Network (CKAN), which is an open-source data distribution platform, is drawing much attention. CKAN is used together with additional extensions, such as Datastore and Datapusher for data management and Harvest and DCAT for data collection. This study derives the problems of CKAN itself and Harvest Extension. First, CKAN causes two problems of data inconsistency and storage space waste for data deletion. Second, Harvest Extension causes three additional problems, namely source deletion that deletes only sources without deleting data themselves, job stop that cannot delete job during data collection, and service interruption that cannot provide service, even if data exist. Based on these observations, we propose herein an improved CKAN that provides a new deletion function solving data inconsistency and storage space waste problems. In addition, we present an improved Harvest Extension solving three problems of the legacy Harvest Extension. We verify the correctness and the usefulness of the improved CKAN and Harvest Extension functions through actual implementation and extensive experiments.

오픈데이터 플랫폼의 상호운용성을 위한 DCAT 기반 메타데이터 변환도구 설계 및 구현 (A Design and Implementation of a DCAT-based Metadata Transformation Tool for Interoperability in Open Data Platforms)

  • 박경현;원희선;류근호
    • 디지털콘텐츠학회 논문지
    • /
    • 제19권1호
    • /
    • pp.59-65
    • /
    • 2018
  • 공공데이터가 국가 경제발전의 자원으로 인식되기 시작함에 따라 세계 각국에서는 공공데이터 포털을 구축하여 민간에게 공공데이터를 개방하기 시작하였다. 이러한 흐름에 맞추어 오픈소스 진영에서도 CKAN을 선두로 오픈데이터 플랫폼 기술이 발전하기 시작하였고 메타데이터의 표준 기술을 적용함으로써 타 플랫폼과의 메타데이터 연동도 가능해지게 되었다. 하지만 아직도 많은 세계 각국의 정부와 지방 자치단체들이 공공데이터 포털을 자체적으로 개발하여 서비스를 하고 있는 실정이기 때문에 각 공공데이터 포털들간의 데이터 공유가 어려운 실정이다. 이에 본 논문에서는 이러한 문제점을 해결하기 위하여 DCAT 기반의 메타데이터 변환도구를 설계, 구현하고 데이터셋을 메타데이터 표준인 DCAT으로 변환하는 방법을 소개한다.

지방자치단체 데이터세트의 서비스 방안 연구 - 서울 열린 데이터 광장 서비스를 중심으로 - (A Study on the Services of Data-sets in the Local Government: Based on the Cases of Seoul Open Data Portal Services)

  • 안대진;이해영
    • 한국기록관리학회지
    • /
    • 제13권2호
    • /
    • pp.149-178
    • /
    • 2013
  • 최근 각국은 정부 데이터 개방을 위한 데이터 플랫폼을 구축하고, 행정정보데이터세트 등 다양한 데이터를 민간에서 웹을 통해 자유롭게 활용하도록 하고 있다. 이 연구는 전 세계적으로 가장 많이 활용되는 대표적인 오픈 데이터 플랫폼인 소크라타와 CKAN의 기능을 분석하고, 각국의 활용 사례를 살펴보았다. 그리고 서울시의 데이터세트 서비스 현황을 사례로 검토하여, 오픈 데이터 플랫폼을 적용한 지방자치단체의 데이터세트 관리 및 서비스 방안을 개념적으로 제시하였다. 이를 통해 기록으로서의 데이터세트 서비스 제공을 위한 지방자치단체의 장기적인 보존과 관리체제 방안을 제도적 측면과 데이터의 생산 및 관리 측면, 서비스 측면 및 플랫폼의 선택 등 다양한 측면에서 제시하였다.

오픈 데이터 플랫폼 동향

  • 정유철;서동준;이혜진;김광영
    • 정보처리학회지
    • /
    • 제23권5호
    • /
    • pp.53-63
    • /
    • 2016
  • 국/내외의 공공 데이터 공유 개방 흐름에 힘입어, 데이터기반의 다양한 비즈니스 기회가 창출되면서, 데이터를 효과적으로 공유 관리하기 위한 오픈 데이터플랫폼이 공공, 과학기술 분야를 중심으로 확산 발전하고 있다. 공공분야에서는 공공데이터 공유를 위한 CKAN, Socrata 등의 플랫폼이 있으며, 연구분야에서는 DSpace를 기관 데이터 공유 레파지토리(repositories)들이 있다. 국내외에 이러한 플랫폼을 이용하여 데이터를 공유하거나, 분야별로 데이터 저장소들이 증가일로에 있다. 나아가, 최근 단순히 공유하는 것을 뛰어넘어 사용자들에게 데이터 분석을 용이하게 하는 분석 개발 서비스환경을 제공하는 시도가 MS, Google, AWS등에서 보이고 있다. 본 논문에서는 이러한 일련의 플랫폼 개발 동향 및 그들의 특징을 살펴보고, 현존하는 분석형 데이터 플랫폼이 지향하는 기능들에 대해 살펴보기로 한다.

DRAZ : 이기종 메타 데이터 소스를 위한 SPARQL 쿼리 엔진 (DRAZ: SPARQL Query Engine for heterogeneous metadata sources)

  • 우메이르 쿠두스;엠디 이브라힘 호세인;이창주;키파야트 울아 칸;원희선;이영구
    • 데이타베이스연구회지:데이타베이스연구
    • /
    • 제34권3호
    • /
    • pp.69-85
    • /
    • 2018
  • 최근 DCAT, CKAN 같은 동종 데이터 집합에 대해 질의를 동시에 수행하여 쿼리 결과의 품질을 크게 향상하는 페더레이션 쿼리 엔진이 활발하게 연구되고 있다. 하지만 기존 연구는 비표준 쿼리를 사용하며 정적 바인딩을 적용한 몇 가지 이기종 데이터 집합 또는 동종 데이터 집합에 대해서만 질의 할 수 있다. 본 논문에서는 SPARQL을 사용하여 여러 데이터 소스에 질의하는 페더레이티드 엔진 (DRAZ)을 제안한다. 제안하는 시스템에서는 주어진 SPARQL 쿼리의 모든 트리플 패턴을 API 호출로 변환하여 해당 데이터셋에 접근한다. 마지막으로 모든 API 호출 결과를 N-트리플로 변환하고 모든 트리플 패턴을 고려한 최종 결과를 요약한다. 우리는 제안하는 DRAZ를 DCAT 및 DOI와 같은 이기종 메타 데이터 표준을 고려하여 수정된 Fedbench 벤치 마크 질의를 사용하여 평가하였다. 제안하는 시스템인 DRAZ가 JOIN 작업을 사용할 수 없음에도 불구하고 결과의 70-100 % 정확도를 달성 할 수 있음을 실험을 통해 확인하였다.