• Title/Summary/Keyword: 오픈 데이터

Search Result 737, Processing Time 0.032 seconds

Open Distributed Cloud Computing based on High-Speed Big Data Transfer (고속 빅데이터 전송 기반의 오픈 분산 컴퓨팅 플랫폼 개발 및 연구)

  • Kim, Ki-Hyeon;Moon, Junghoon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.05a
    • /
    • pp.38-41
    • /
    • 2021
  • 최근 빅데이터, 인공지능 키워드를 이용한 다양한 연구들이 진행되고 있으며, 인공지능 연구를 통해 자동화 자율화를 위한 연구들이 주를 이루고 있다. 인공지능 연구를 수행하기 위해서는 거대한 데이터를 빠르게 전송해야하며, 인공지능을 손쉽게 수행하기 위한 플랫폼이 필요하다. 하지만 많은 연구기관에서는 빅데이터 전송 속도의 한계가 존재하며, 인공지능 알고리즘 수행을 위한 플랫폼 또한 부족한 것이 현실이다. 이를 해결하기 위해 ScienceDMZ 기술을 활용하여 고속의 빅데이터 전송을 위한 인프라를 구축하고, 엣지 컴퓨팅 기반의 오픈 분산 컴퓨팅 플랫폼을 개발한다. 이 시스템을 통해 사용자들에게 빅데이터를 빠르게 전송하고 전송된 데이터를 이용하여 바로 인공지능 연구를 수행하여 결과를 도출할 수 있는 시스템을 구축하고자 한다. 이 시스템을 이용하여 GPU 분산 컴퓨팅을 수행하였을 때 성능과 GPU 병렬 컴퓨팅을 수행하였을 때의 결과를 비교하여 성능을 검증하고자 한다.

Proposal for building an open source-based data platform for entry-level data engineers (초급 데이터 엔지니어를 위한 오픈 소스 기반 데이터 플랫폼 구축 제안)

  • Doo-il Kwak;Kwang-Young Park
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.592-594
    • /
    • 2023
  • 빅데이터 및 머신러닝 플랫폼을 구축하기 위해선 많은 하드웨어와 소프트웨어, 데이터 엔지니어가 필수인데, 초급 엔지니어들은 경험 부족으로 인해 기업의 수요를 충족시키지 못하고 있다. 본 논문에서는 초급 데이터 엔지니어가 쉽게 접근 가능한 오픈소스를 활용한 빅데이터 플랫폼과 머신러닝 플랫폼을 통합한 7개층으로 이루어진 '데이터 플랫폼'을 제안한다. 향후 제안하는 플랫폼의 현실적인 검증을 위해 계층간 연계가 얼마나 용이한지에 대해 후속연구가 필요하다.

A Study on the Strategies for Publishing Data Journals in the Field of Ecology: Focused on K Institution (생태학 분야 데이터 저널 발행 전략 연구 - K기관을 중심으로 -)

  • Jung, Youngim;Kwon, Ohseok;Kim, Kidong;Kim, Sohyeong;Seo, Tae-Sul;Kim, Suntae
    • Journal of Korean Library and Information Science Society
    • /
    • v.51 no.4
    • /
    • pp.83-100
    • /
    • 2020
  • The importance of data publishing in the open-science era is increasing as it can contribute to other scientific discoveries by accelerating the sharing of research data, improving accessibility and citability, and providing standardized technical documentation for research data. In addition, the need for data papers is emerging as a way for data papers to maintain a status equivalent to research papers, and the publication of data journals is on the rise as a new type of scholarly publishing. In particular, the field of Ecology is a field where large-scale research data are produced and managed, thus the data journal publishing in this field is active worldwide. On the other hand, the research on data journal is in its early stages in Korea, and there is no data journal in the field of Ecology. Thus, this study explores and presents strategies for publishing data journals in the ecological field. First, we investigate the publishing status of domestic and international data journals and the publication status of domestic journals. Then, we conducted a focused group interview with experts of scholarly publishing, open access policy and journal publishing in the field of Ecology. Finally, based on the survey and the expert FGI's results, strategies are suggested in terms of publishing data journals in the field of ecology, organizing and publishing journals, organizing journal editors, and receiving manuscripts.

Security Operation Implementation through Big Data Analysis by Using Open Source ELK Stack (오픈소스 ELK Stack 활용 정보보호 빅데이터 분석을 통한 보안관제 구현)

  • Hyun, Jeong-Hoon;Kim, Hyoung-Joong
    • Journal of Digital Contents Society
    • /
    • v.19 no.1
    • /
    • pp.181-191
    • /
    • 2018
  • With the development of IT, hacking crimes are becoming intelligent and refined. In Emergency response, Big data analysis in information security is to derive problems such as abnormal behavior through collecting, storing, analyzing and visualizing whole log including normal log generated from various information protection system. By using the full log data, including data we have been overlooked, we seek to detect and respond to the abnormal signs of the cyber attack from the early stage of the cyber attack. We used open-source ELK Stack technology to analyze big data like unstructured data that occur in information protection system, terminal and server. By using this technology, we can make it possible to build an information security control system that is optimized for the business environment with its own staff and technology. It is not necessary to rely on high-cost data analysis solution, and it is possible to accumulate technologies to defend from cyber attacks by implementing protection control system directly with its own manpower.

Development of Disaster Response Inventory Construction Technology Using Open Data (공공데이터를 활용한 재난 대응 인벤토리 구축 기술 개발)

  • Choi, Soo Young;Kim, Jin Man;CHoung, Yun Jae
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2018.05a
    • /
    • pp.393-393
    • /
    • 2018
  • 본 연구에서는 자연재해 발생 시 신속하고 효율적인 재난 대응 의사결정을 지원하기 위하여 재난 재해 정보와 시설물 정보, 공간정보 등이 융합된 통합 인벤토리를 구축하고자 한다. 재난대응 의사결정 지원을 위하여 시설물의 중요도, 위험도, 피해액 산정에 필요한 원천 데이터를 공공데이터포털(data.go.kr)에서 제공하는 공공데이터를 활용하였다. 공공데이터포털의 데이터셋은 파일데이터와 오픈 API, 표준데이터와 국가중점데이터를 제공하고 있다. 파일데이터는 22,306건, 오픈 API는 2,505건, 표준데이터는 58건의 정보를 제공하고 있으며, 국민, 기업 등 수요 중심으로 개방의 효과성과 시급성 등이 높은 41개 분야의 국가중점데이터를 제공하고 있다. 또한 공공데이터를 활용하여 개발된 국내외 다양한 사례와 가공데이터를 공공데이터 활용사례를 통하여 공유하고 있다. 인벤토리 구축을 위하여 국가중점데이터와 데이터카테고리의 국토관리, 재난안전, 산업고용, 공공행정 등 다양한 공공데이터를 검토하여, SOC 시설물과 건축물의 정보를 수집하여 시설물의 중요도와 위험도, 피해액 평가 등 필요 목적에 맞게 최적화 하여 구축하였다. 또한 구축된 다양한 정보와 시설물 평가 모듈간의 원활한 데이터 수급을 위한 연계 모듈과 관리 모듈을 개발하여 구축된 데이터 정보를 표준화하여 유지 관리 할 수 있도록 인벤토리를 구축하였다. 이러한 재난대응 의사결정 지원 통합 인벤토리는 재난대응 의사결정을 신속하고도 효율적으로 가능하게 함으로써 방재업무 지원 및 대국민 서비스를 가능하게 할 것으로 판단된다.

  • PDF

Design and Implementation of Workflow Federation Method for Multi-cluster Based Korea Research Data Commons (멀티 클러스터 기반 국가연구데이터커먼즈 간 워크플로우 연계 방안 설계 및 구현)

  • Dasol Kim;Sang-baek Lee;Seong-eun Park;Minhee Cho;Mikyoung Lee;Sa-kwang Song;Hyung-jun Yim
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.100-102
    • /
    • 2023
  • 최근 오픈 사이언스 문화가 확산됨에 따라 오픈 데이터, 오픈 소스 소프트웨어와 같은 공개된 리소스들을 효율적으로 공유 및 활용하기 위한 방법이 주목을 받고 있다. 본 논문에서는 연구 소프트웨어의 재현성을 향상시키기 위한 국가연구데이터커먼즈(KRDC)를 소개하고 다중 KRDC 클러스터 간 워크플로우 연계 방안을 제안한다. 국가연구데이터커먼즈는 연구 소프트웨어와 분석 환경인 인프라를 결합하여 함께 제공하는 서비스로, 멀티 노드 쿠버네티스(kubernetes) 클러스터를 기반으로 동작한다. 따라서, 서로 다른 KRDC 프레임워크에 존재하는 리소스들을 하나의 워크플로우로 연계하는 것은 복잡한 사용자 인증/인가 문제, 보안 상의 문제를 고려하여야 한다. 본 논문에서는 프록시(proxy) 앱을 사용하는 워크플로우 연계 기능을 제안하고, 이를 지원하기 위한 통합 인증, 인가 체계와 연계 방안을 구현한다. 제안하는 방법을 두 개의 KRDC 프레임워크를 대상으로 적용하여 제안 워크플로우 연계 방법의 유효함을 확인한다. 본 논문에서 제안하는 워크플로우 연계 방법과 시나리오는 실제 멀티 클러스터 연계 방안을 구현한 사례로, KRDC 프레임워크 뿐만 아니라 다양한 쿠버네티스 기반 리소스 연계에 활용할 수 있는 우수한 결과로 사료된다.

Tactical and Operational Control Platform based on OpenStack Cloud and Data Distribution Service (오픈스택 클라우드 및 데이터 분산 서비스 기반 전술작전통제 플랫폼)

  • Jun, Tae Joon;Yoo, Myong Hwan;Cho, Kyu Tae;Lee, Seung Young;Yeun, Kyuoke;Kim, Daeyoung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.199-201
    • /
    • 2015
  • 국방 분야에서 전술작전센터를 구성하는 전술작전통제 플랫폼은 다양한 내/외부 체계 시험 장치를 연동하여 교전/작전 통제를 수행하는 플랫폼이다. 기존의 전술작전통제 플랫폼은 서로 다른 환경에서 개발된 시험 장치 소프트웨어를 통합 구축하는데 어려움이 있으며, 플랫폼을 구성하는 서버 자원의 탄력적 분배가 불가능하다. 본 연구는 전술작전센터를 구성하는 전술작전통제 플랫폼을 오픈스택 클라우드 및 KVM 하이퍼바이저를 기반으로 구축하여 내/외부 체계 시험 장치 소프트웨어의 실행 환경을 가상 머신으로 제공하였으며, 가상 머신 간 고속 데이터 통신을 위해 데이터 분산 서비스 및 10Gbps 이더넷, QDR 인피니밴드 네트워크를 활용하였다. 또한 오픈스택 클라우드 기반 전술작전통제 플랫폼의 네트워크를 구성하는 10Gbps 이더넷 및 QDR 인피니밴드 네트워크상에서 데이터 분산 서비스의 성능 평가를 수행하였다.

Development of a Method for Analyzing and Visualizing Concept Hierarchies based on Relational Attributes and its Application on Public Open Datasets

  • Hwang, Suk-Hyung
    • Journal of the Korea Society of Computer and Information
    • /
    • v.26 no.9
    • /
    • pp.13-25
    • /
    • 2021
  • In the age of digital innovation based on the Internet, Information and Communication and Artificial Intelligence technologies, huge amounts of datasets are being generated, collected, accumulated, and opened on the web by various public institutions providing useful and public information. In order to analyse, gain useful insights and information from data, Formal Concept Analysis(FCA) has been successfully used for analyzing, classifying, clustering and visualizing data based on the binary relation between objects and attributes in the dataset. In this paper, we present an approach for enhancing the analysis of relational attributes of data within the extended framework of FCA, which is designed to classify, conceptualize and visualize sets of objects described not only by attributes but also by relations between these objects. By using the proposed tool, RCA wizard, several experiments carried out on some public open datasets demonstrate the validity and usability of our approach on generating and visualizing conceptual hierarchies for extracting more useful knowledge from datasets. The proposed approach can be used as an useful tool for effective data analysis, classifying, clustering, visualization and exploration.

A Study on the Awareness and Experience of Open Access Publishing among Korean Authors of an Open Access Mega Journal (오픈액세스 메가 학술지 논문 게재 경험이 있는 국내 기관 소속 저자의 오픈액세스 출판 인식 및 경험에 관한 연구)

  • Shim, Wonsik
    • Journal of the Korean Society for Library and Information Science
    • /
    • v.55 no.4
    • /
    • pp.45-65
    • /
    • 2021
  • This study was conducted to obtain a better understanding of Korean researchers' motivations and experience regarding open access publishing. An online survey was conducted with the Korean authors of PLOS ONE, a major open access mega journal (OAMJ). A total of 238 responses were collected; the analysis was based on 202 valid responses. The results of the survey were compared and constrated with the results of a major international study that investigated similar issues. For Korean authors with open access publishing experience, journal impact factor (JIF) is still the most important factor in making publishing decisions. There was a significant difference between general publishing venue decision making versus open access publishing venue decision. Overall, Korean authors are far less satisfied with open access publishing than the authors in the international study. The results suggest comparatively low level of expectation among Korean researchers toward open access publishing. Open access policy and training initiatives are needed to promote open access.

A study on the Construction of Annotated corpora for the Automatic Classification of Open Domain Queries (오픈도메인 질의문 자동 분류를 위한 주석 말뭉치 구축 연구)

  • Ahn, AeLim;Lee, SeoJin;Choi, DongHyun;Kim, EungGyun;Nam, JeeSun
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.309-314
    • /
    • 2019
  • 본 연구는 오픈도메인 자연어 질의문 유형을 '질문 초점(Question Focus)'에 따라 분류하고, 기계학습 기반 질의문 유형 분류기의 성능 향상을 위한 주석 말뭉치 구축을 목표로 한다. 오픈도메인 질의문 분석을 통해 의문사 등의 키워드 기반 질의문 유형 분류의 한계를 설명하고, 질의문 내의 비명시적인 의미자질을 고려한 질문 초점 기반 질의문 유형 분류 기준을 정의하였다. 이 기준에 따라 구축된 112,856 문장의 주석 말뭉치를 기계학습(CNN) 기반 문장 분류 시스템의 학습 데이터로 사용하여 실험한 결과 F1-Score 97.72%성능을 보였다. 또한 이를 카카오 오픈도메인 질의응답시스템에 적용하여 질의문 확장을 위한 의미 자질로 사용하였고 그 결과 전체 시스템 성능을 1.6%p 향상시켰다.

  • PDF