• 제목/요약/키워드: Data-science

검색결과 55,842건 처리시간 0.064초

비전공자 대상 기초 데이터과학 실습 커리큘럼 (Curriculum of Basic Data Science Practices for Non-majors)

  • 허경
    • 실천공학교육논문지
    • /
    • 제12권2호
    • /
    • pp.265-273
    • /
    • 2020
  • 본 논문에서는 비전공자들을 위한 교양과목으로 적용할 수 있는 기초 데이터과학 실습 커리큘럼을 제안하고, 엑셀(스프레드시트) 데이터 분석 도구를 활용한 교육 방법을 제안하였다. 데이터 수집, 데이터 가공 및 데이터 분석을 위한 도구에는 엑셀, R, 파이썬, SQL(Structured Query Language) 등이 있다. R, 파이썬 및 SQL은 데이터 과학을 실습하는 데 있어, 프로그래밍 언어와 자료구조를 이해해야 한다. 반면에, 엑셀 도구는 비전공자들에게도 친숙한 데이터 분석도구로서, 프로그래밍 언어에 대한 학습 부담이 없다. 그리고 기초적인 데이터과학 실습을 엑셀로 진행하면, 데이터과학 이론을 습득하는 데 집중할 수 있는 장점이 있다. 본 논문에서는 한 학기 분량의 기초 데이터과학 실습 커리큘럼과 주별 엑셀 실습 내용을 제안하였다. 그리고, 교육 내용 실체를 실증하기위해, 엑셀 데이터분석 도구를 활용하여, 선형 회귀 분석(Linear Regression Analysis) 예제들을 제시하였다.

연구데이터 활용성 극대화 위한 컴퓨팅 리소스 공유활용 체계 (Computing Resource Sharing and Utilization System for Efficient Research Data Utilization)

  • 송사광;조민희;이미경;임형준
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 추계학술대회
    • /
    • pp.430-432
    • /
    • 2022
  • 오픈액세스, 오픈데이터, 오픈소스 등 과학기술 분야의 오픈사이언스 운동에 대한 최근의 관심 증가에 따라, 공적 자금을 투입한 연구 산출물을 공유하고 활용하려는 움직임이 구체화 및 활성화되고 있다. 이런 흐름에 따라, 최근 국내에서 연구수행의 핵심적인 자원인 연구데이터를 공유하고 활용하는 체제를 구축하고 활성화하려는 많은 노력이 진행되고 있다. 이러한 노력은 주로 연구데이터를 모아서 분야 및 기관별로 모으고 이를 국가 연구데이터 플랫폼인 DataON과 연계하여 검색 및 활용하는 것에 초점을 맞추고 있다. 그러나 선진국에서는 이러한 연구데이터 뿐만 아니라, IaaS, PaaS, SaaS, MLaaS 등 다양한 형태의 연구개발 관련 컴퓨팅 리소스를 공유하고 활용할 수 있는 체제를 구축하고 있다. EOSC(European Open Science Cloud), ARDC(Australian Research Data Commons), CSTCloud(China S&T Cloud) 등이 대표적인 사례라고 할 수 있고 국내에서는 이러한 컴퓨팅 리소스의 공유를 수월하게 수행할 수 있도록, KRDC(Korea Research Data Commons)를 설계하고, 핵심 프레임워크를 개발하고 있다. 본 연구에서는 KRDC의 필요성, 개념, 구성, 향후 계획을 소개한다.

  • PDF

A Scalable Data Integrity Mechanism Based on Provable Data Possession and JARs

  • Zafar, Faheem;Khan, Abid;Ahmed, Mansoor;Khan, Majid Iqbal;Jabeen, Farhana;Hamid, Zara;Ahmed, Naveed;Bashir, Faisal
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권6호
    • /
    • pp.2851-2873
    • /
    • 2016
  • Cloud storage as a service provides high scalability and availability as per need of user, without large investment on infrastructure. However, data security risks, such as confidentiality, privacy, and integrity of the outsourced data are associated with the cloud-computing model. Over the year's techniques such as, remote data checking (RDC), data integrity protection (DIP), provable data possession (PDP), proof of storage (POS), and proof of retrievability (POR) have been devised to frequently and securely check the integrity of outsourced data. In this paper, we improve the efficiency of PDP scheme, in terms of computation, storage, and communication cost for large data archives. By utilizing the capabilities of JAR and ZIP technology, the cost of searching the metadata in proof generation process is reduced from O(n) to O(1). Moreover, due to direct access to metadata, disk I/O cost is reduced and resulting in 50 to 60 time faster proof generation for large datasets. Furthermore, our proposed scheme achieved 50% reduction in storage size of data and respective metadata that result in providing storage and communication efficiency.

고교학점제 수강 고등학생을 위한 데이터과학교육 프로그램 개발 (Development of a Data Science Education Program for High School Students Taking the High School Credit System)

  • 김세민;우성희
    • 실천공학교육논문지
    • /
    • 제14권3호
    • /
    • pp.471-477
    • /
    • 2022
  • 본 연구에서는 고교학점제에서 데이터과학 과목을 신청한 학생들을 위하여 교육 프로그램을 개발하였다. 이에 데이터과학교육에 대하여 기존 연구와 요구사항을 분석하고 학습 계획을 설계하였으며, 단계별 교육 프로그램에 따라 교육 프로그램을 개발하였다. 또한 기존 연구에서 고교학점제를 위한 데이터과학교육에 대한 연구가 활발하지 않았으므로 기존의 학교 현장에서 연구되었던 데이터 과학 교육에 대한 연구를 참고하여 문제 정의, 데이터 수집, 데이터 전처리, 데이터 분석, 데이터 시각화, 모의 분석의 단계로 연구를 진행하였다. 본 연구를 통하여 고교학점제에서 데이터과학교육에 대한 연구가 더욱 활발해질 것으로 기대한다.

A Big Data-Driven Business Data Analysis System: Applications of Artificial Intelligence Techniques in Problem Solving

  • Donggeun Kim;Sangjin Kim;Juyong Ko;Jai Woo Lee
    • 한국빅데이터학회지
    • /
    • 제8권1호
    • /
    • pp.35-47
    • /
    • 2023
  • It is crucial to develop effective and efficient big data analytics methods for problem-solving in the field of business in order to improve the performance of data analytics and reduce costs and risks in the analysis of customer data. In this study, a big data-driven data analysis system using artificial intelligence techniques is designed to increase the accuracy of big data analytics along with the rapid growth of the field of data science. We present a key direction for big data analysis systems through missing value imputation, outlier detection, feature extraction, utilization of explainable artificial intelligence techniques, and exploratory data analysis. Our objective is not only to develop big data analysis techniques with complex structures of business data but also to bridge the gap between the theoretical ideas in artificial intelligence methods and the analysis of real-world data in the field of business.

과학 빅데이터를 위한 엔디엔 테스트베드 분석: 현황, 응용, 특징, 그리고 이슈 (Analysis on NDN Testbeds for Large-scale Scientific Data: Status, Applications, Features, and Issues)

  • 임헌국;신광천
    • 한국정보통신학회논문지
    • /
    • 제24권7호
    • /
    • pp.904-913
    • /
    • 2020
  • 데이터 볼륨과 복잡도가 빠르게 증가함에 따라 과학 빅데이터를 다루는 데이터 집적 과학은 네트워크를 통해 보다 효과적인 데이터 저장 및 분배를 위한 새로운 기술을 발견하는 것을 필요로 한다. 최근 네임드 데이터 네트워킹 커뮤니티와 데이터 집적 과학 커뮤니티는 함께 과학 실험 빅데이터의 분배 및 관리에 있어서 혁신적인 변화를 꾀하였다. 본 논문 에서는 기후과학 및 고에너지물리 데이터 등과 같은 과학 빅데이터를 위한 현존하는 엔디엔 테스트베드들에 대한 분석이 처음으로 이루어진다. 과학 빅데이터를 위한 엔디엔 테스트베드들을 현황, 엔디엔 기반 응용, 특징 측면에서 묘사하고 토의한다. 마지막으로 과학 빅데이터를 위한 엔디엔 테스트베드 네트워크를 확립함에 있어서, 함정에 빠질 수 있는 다양한 이슈들을 엔디엔 테스트베드들에 대한 묘사 그리고 특징들로 부터 도출하여, 분석 제시한다.

대학도서관 연구데이터 관리 서비스 현황 및 제안 - 과학기술특성화 대학을 중심으로 - (Current Status and Proposal of University Library Research Data Management Service: Focused on Science and Technology Specialized Universities)

  • 김주섭 ;김선태
    • 한국문헌정보학회지
    • /
    • 제57권3호
    • /
    • pp.279-301
    • /
    • 2023
  • 데이터 중심의 연구환경으로 빠르게 변화하고 있다. 이에 따라 국내 대학도서관에서도 대학의 연구자를 지원하기 위한 연구데이터 관리 서비스 구축 및 운영을 준비하고 있다. 본 연구는 과학기술특성화 대학도서관에서 연구자를 지원하기 위한 연구데이터 관리 서비스를 제안하고자 설계되었다. 해당 서비스를 제안하기 위하여 해외 및 국내 과학기술특성화 대학 중 11곳을 선택하여 해당 기관의 연구데이터 관리 서비스를 분석하였다. 분석 결과, 연구데이터 관리, 전자 연구노트 그리고 RDM 교육으로 핵심 카테고리를 도출하였으며 특히, '연구데이터 관리' 카테고리는 DMP, 데이터 수집, 데이터 관리, 데이터 보존, 데이터 공유 및 출판, 데이터 재사용, 인프라 및 도구 그리고 RDM 가이드 및 정책으로 구성하였다. 본 연구 결과는 과학기술특성화 대학도서관에서 연구데이터 관리 서비스를 도입하고 운영하는데 도움이 될 것이다.

Functional Requirements for Research Data Repositories

  • Kim, Suntae
    • International Journal of Knowledge Content Development & Technology
    • /
    • 제8권1호
    • /
    • pp.25-36
    • /
    • 2018
  • Research data must be testable. Science is all about verification and testing. To make data testable, tools used to produce, collect, and examine data during the research must be available. Quite often, however, these data become inaccessible once the work is over and the results being published. Hence, information and the related context must be provided on how research data are preserved and how they can be reproduced. Open Science is the international movement for making scientific research data properly accessible for research community. One of its major goals is building data repositories to foster wide dissemination of open data. The objectives of this research are to examine the features of research data, common repository platforms, and community requests for the purpose of designing functional requirements for research data repositories. To analyze the features of the research data, we use data curation profiles available from the Data Curation Center of the Purdue University, USA. For common repository platforms we examine Fedora Commons, iRODS, DataONE, Dataverse, Open Science Data Cloud (OSDC), and Figshare. We also analyze the requests from research community. To design a technical solution that would meet public needs for data accessibility and sharing, we take the requirements of RDA Repository Interest Group and the requests for the DataNest Community Platform developed by the Korea Institute of Science and Technology Information (KISTI). As a result, we particularize 75 requirement items grouped into 13 categories (metadata; identifiers; authentication and permission management; data access, policy support; publication; submission/ingest/management, data configuration, location; integration, preservation and sustainability, user interface; data and product quality). We hope that functional requirements set down in this study will be of help to organizations that consider deploying or designing data repositories.

How to retrieve the encrypted data on the blockchain

  • Li, Huige;Zhang, Fangguo;Luo, Peiran;Tian, Haibo;He, Jiejie
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권11호
    • /
    • pp.5560-5579
    • /
    • 2019
  • Searchable symmetric encryption (SSE) scheme can perform search on encrypted data directly without revealing the plain data and keywords. At present, many constructive SSE schemes were proposed. However, they cannot really resist the malicious adversary, because it (i.e., the cloud server) may delete some important data. As a result, it is very likely that the returned search results are incorrect. In order to better guarantee the integrity of outsourcing data, and ensure the correction of returned search results at the same time, in this paper, we combine SSE with blockchain (BC), and propose a SSE-on-BC framework model. We then construct two concrete schemes based on the size of the data, which can better provide privacy protection and integrity verification for data. Lastly, we present their security and performance analyses, which show that they are secure and feasible.

Data Firewall: A TPM-based Security Framework for Protecting Data in Thick Client Mobile Environment

  • Park, Woo-Ram;Park, Chan-Ik
    • Journal of Computing Science and Engineering
    • /
    • 제5권4호
    • /
    • pp.331-337
    • /
    • 2011
  • Recently, Virtual Desktop Infrastructure (VDI) has been widely adopted to ensure secure protection of enterprise data and provide users with a centrally managed execution environment. However, user experiences may be restricted due to the limited functionalities of thin clients in VDI. If thick client devices like laptops are used, then data leakage may be possible due to malicious software installed in thick client mobile devices. In this paper, we present Data Firewall, a security framework to manage and protect security-sensitive data in thick client mobile devices. Data Firewall consists of three components: Virtual Machine (VM) image management, client VM integrity attestation, and key management for Protected Storage. There are two types of execution VMs managed by Data Firewall: Normal VM and Secure VM. In Normal VM, a user can execute any applications installed in the laptop in the same manner as before. A user can access security-sensitive data only in the Secure VM, for which the integrity should be checked prior to access being granted. All the security-sensitive data are stored in the space called Protected Storage for which the access keys are managed by Data Firewall. Key management and exchange between client and server are handled via Trusted Platform Module (TPM) in the framework. We have analyzed the security characteristics and built a prototype to show the performance overhead of the proposed framework.