• 제목/요약/키워드: Data Collection

검색결과 6,213건 처리시간 0.11초

하둡 분산 환경 기반의 데이터 수집 기법 연구 (A Study on the Data Collection Methods based Hadoop Distributed Environment)

  • 진고환
    • 한국융합학회논문지
    • /
    • 제7권5호
    • /
    • pp.1-6
    • /
    • 2016
  • 최근 빅데이터 활용과 분석기술의 발전을 위하여 많은 연구가 이루어지고 있고, 빅데이터를 분석하기 위하여 처리 플랫폼인 하둡을 도입하는 정부기관 및 기업이 점차 늘어가고 있는 추세이다. 이러한 빅데이터의 처리와 분석에 대한 관심이 고조되면서 그와 병행하여 데이터의 수집 기술이 주요한 이슈가 되고 있으나, 데이터 분석 기법의 연구에 비하여 수집 기술에 대한 연구는 미미한 상황이다. 이에 본 논문에서는 빅데이터 분석 플랫폼인 하둡을 클러스터로 구축하고 아파치 스쿱을 통하여 관계형 데이터베이스로부터 정형화된 데이터를 수집하고, 아파치 플룸을 통하여 센서 및 웹 애플리케이션의 데이터 파일, 로그 파일과 같은 비정형 데이터를 스트림 기반으로 수집하는 시스템을 제안한다. 이러한 융합을 통한 데이터 수집으로 빅데이터 분석의 기초적인 자료로 활용할 수 있을 것이다.

과학기술분야 출연연구기관 연구데이터 관리 및 공유 사례 분석 연구 (A Study on the analysis of Research Data Management and Sharing of Science & Technology Government-funded Research Institutes)

  • 박미영;안인자;남승주
    • 한국비블리아학회지
    • /
    • 제29권4호
    • /
    • pp.319-344
    • /
    • 2018
  • 본 연구에서는 오픈사이언스 정책의 일환으로 학문분야별 연구데이터 공유 활용에 관한 인식을 비교분석하였다. 이를 기반으로 과학기술분야 정부출연연구기관 27개 기관 데이터 업무담당자를 대상으로 반구조화된 질문을 통하여 심층인터뷰를 실시하였다. 그 중 데이터 관리 면에서 우수기관 9개 기관을 선정하여 연구데이터 수집 및 관리현황 사례를 구체적으로 제시하였다. 결과 현재 출연연구기관의 연구데이터 수집 관리는 전반적으로 시범사업 단계이며, 데이터의 수집 구축 수준 또한 기관별로 상이하다. 기관별로 살펴보면 수집을 시작하는 단계(KIOM), 수집 관리가 고도화되고 있는 단계(KIST), 공유 활용을 시작하는 단계(KRIBB, KRICT) 등으로 구분된다.

Comprehensive Knowledge Archive Network harvester improvement for efficient open-data collection and management

  • Kim, Dasol;Gil, Myeong-Seon;Nguyen, Minh Chau;Won, Heesun;Moon, Yang-Sae
    • ETRI Journal
    • /
    • 제43권5호
    • /
    • pp.835-855
    • /
    • 2021
  • With the recent increase in data disclosure, the Comprehensive Knowledge Archive Network (CKAN), which is an open-source data distribution platform, is drawing much attention. CKAN is used together with additional extensions, such as Datastore and Datapusher for data management and Harvest and DCAT for data collection. This study derives the problems of CKAN itself and Harvest Extension. First, CKAN causes two problems of data inconsistency and storage space waste for data deletion. Second, Harvest Extension causes three additional problems, namely source deletion that deletes only sources without deleting data themselves, job stop that cannot delete job during data collection, and service interruption that cannot provide service, even if data exist. Based on these observations, we propose herein an improved CKAN that provides a new deletion function solving data inconsistency and storage space waste problems. In addition, we present an improved Harvest Extension solving three problems of the legacy Harvest Extension. We verify the correctness and the usefulness of the improved CKAN and Harvest Extension functions through actual implementation and extensive experiments.

영유아 체온 데이터 기반 빅데이터 분석 및 학습을 위한 데이터 수집 시스템 구현 (Implementation of a data collection system for big data analysis and learning based on infant body temperature data)

  • 이현섭;허경용
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.577-578
    • /
    • 2021
  • 최근 다양한 분야에서 인공지능 시스템이 활용되고 있다. 인공지능의 결정 알고리즘의 정확도는 학습량과 학습데이터의 정확도에 기인한다. 학습량의 경우 인공지능 성능에 결정적인 영향을 미치기 때문에 많은 양의 데이터가 필요하다. 학습데이터의 정확도는 여러 정제 단계를 거치면서 보정할 수 있으나 분석 이외의 자원 소모를 추가로 가져온다. 본 논문에서는 영유아의 체온 데이터를 기반으로 향후 나타날 수 있는 병증 및 유아의 상태 변화를 분석하는 시스템 구축을 위한 데이터 수집 시스템에 대하여 제안한다. 제안된 시스템은 기존 빅데이터 분석 및 학습 데이터 구축에서 서버 시스템의 자원 소모를 최소화할 수 있을 것으로 사료 된다.

  • PDF

Landsat 8 OLI/TIRS Science Product를 활용한 지표면 온도 유용성 평가 (Availability of Land Surface Temperature Using Landsat 8 OLI/TIRS Science Products)

  • 박성욱;김민식
    • 대한원격탐사학회지
    • /
    • 제37권3호
    • /
    • pp.463-473
    • /
    • 2021
  • 본 연구에서는 최근 USGS에서 공개한 Landsat 8 Collection 2 Level 2 Science Product (L2SP) 위성 영상을 이용하여 국내 지표면 온도를 산출하였고, 기존 Landsat 8 Collection 1 Level 1 Terrain Precision (L1TP) 위성 영상을 활용하여 산출한 국내 지표면 온도와의 비교와 기상청 종관기상관측자료(Automated Synoptic Observing System, ASOS)와의 검증을 통해 L2SP 기반 지표면 온도 자료의 국내 영역에 대한 적합성을 평가하고자 하였다. L2SP는 연구 및 분석에 용이하도록 Landsat 8 Collection 2 Level 1 데이터를 기반으로 만든 Level 2 자료로, 기존의 계산식을 통해 산출해야 하는 지표면 반사도 자료와 지표면 온도 자료를 계산 처리 없이 바로 사용할 수 있다는 장점이 있다. 2018년부터 2020년까지 3년간의 Landsat 8 지표면 온도 산출물과 관측소 지점 8개소 주변 3×3 격자 영역과의 비교한 결과, 8개 관측소 기준 L2SP 지표면 온도와 L1TP 지표면 온도의 평균 피어슨 상관계수(Pearson correlation coefficient)는 각각 0.971, 0.964로 두 자료 모두 상당히 강한 양의 상관관계를 보여주었으며, RMSE (Root Mean Square Error)의 경우 각각 4.029℃, 5.247℃로 L2SP 지표면 온도 자료가 더 낮은 RMSE를 보여주는 것을 확인 하였다. 이는 관측소 위치별로 값에 차이가 생길 수 있지만 평균적인 지표 결과를 보았을 때, L2SP 지표면 온도 자료가 L1TP를 통해 산출되는 지표면 온도 자료와 비교했을 때 준수하거나 그 이상의 정확도를 보여주어 국내 지표면 온도 산출 연구에 적합하다고 판단된다. 따라서 향후 계절적 요인과 고도에 따른 온도 차이 등의 환경 및 지형적인 요인도 고려를 하거나, 본 연구 과정에서 발생한 Science Product의 고정적인 영상 품질 문제 등이 개선된다면 보다 더 안정적이고 정확도 높은 지표면 온도 참조 자료로써의 유용성이 클 것이라 판단된다.

공공도서관 개관장서 구축 방안 연구 (A Study on the Development of the Founding Collection in Public Libraries)

  • 장덕현
    • 한국도서관정보학회지
    • /
    • 제48권4호
    • /
    • pp.303-320
    • /
    • 2017
  • 이 연구는 공공도서관을 건립하고 개관하는 과정에서 새롭게 구축되는 개관장서 구성의 방법론에 대하여 논하고 있다. 최근 지역자치단체 등이 공공도서관을 지속적으로 설립하고 있는 것은 매우 고무적이다. 반면, 도서관의 가장 중요한 요소인 장서구성에 대한 방법론이 정립되어 있지 않아 일선에서는 혼선의 여지가 있다, 이에 따라 이 연구에서는 최근 개관한 10개 공공도서관의 개관장서 구축 사례를 검토하여 장서개발정책 수립, 장서구성기본계획 수립, 개관장서 규모 도출, 그리고 향토자료 구축 방안 등의 측면에서 표준적인 공공도서관 개관장서 구축방안을 모색하고자 하였다.

Global Patterns of Pigment Concentration, Cloud Cover, and Sun Glint: Application to the OSMI Data Collection Planning

  • Kim, Yong-Seung;Kang, Chi-Ho;Lim, Hyo-Suk
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 1998년도 Proceedings of International Symposium on Remote Sensing
    • /
    • pp.387-392
    • /
    • 1998
  • To establish a monthly data collection planning for the Ocean Scanning Multispectral Imager (OSMI), we have examined the global patterns of three impacting factors: pigment concentration, cloud cover, and sun glint. Other than satellite mission constraints (e.g., duty cycle), these three factors are considered critical for the OSMI data collection. The Nimbus-7 Coastal Zone Color Scanner (CZCS) monthly mean products and the International Satellite Cloud Climatology Project (ISCCP) monthly mean products (C2) were used for the analysis of pigment concentration and cloud cover distributions, respectively. And the monthly simulated patterns of sun glint were produced by performing the OSMI orbit prediction and the calculation of sun glint radiances at the top-of-atmosphere (TOA). Using monthly statistics (mean and/or standard deviation) of each factor in the above for a given 10$^{\circ}$ latitude by 10$^{\circ}$ longitude grid, we generated the priority map for each month. The priority maps of three factors for each month were subsequently superimposed to visualize the impact of three factors in all. The initial results illustrated that a large part of oceans in the summer hemisphere was classified into the low priority regions because of seasonal changes of clouds and sun illumination. Sensitivity tests were performed to see how cloud cover and sun glint affect the priority determined by pigment concentration distributions, and consequently to minimize their seasonal effects upon the data collection planning.

  • PDF

부모.자녀건강학회지 논문분석 (창간호-2009) (Analysis of Research Papers Published in the Korean Parent-Child Health Journal (1998-2009))

  • 박혜숙;오진아
    • 부모자녀건강학회지
    • /
    • 제14권1호
    • /
    • pp.1-8
    • /
    • 2011
  • Purpose: This study was aimed to classify the major subjects and theme and to analyze the data collection and analysis method in research papers published in the Korean Parent-Child Health Journal of the Academic Society of Parent-Child Health since 1998. Methods: A total 152 studies published from the first edition to volume 12, number 2 were reviewed using structured analysis criteria developed by researchers; research type, research design, research subjects, research theme, data collection and analysis method. Research theme was founded 4 nursing domains. Data collection and analysis method of papers were limited to quantitative and qualitative researches. Results: One hundred papers conducted quantitative research; 79.0% used survey design. Most of the data collection and analysis method in quantitative research were self-reported questionnaire (69.4%) and parametric statistics respectively. The research subjects of sixty three papers were parent with well or child. The common domain studies was human related concepts such as raring. Conclusion: The findings of this study suggest that published studies have been improved and diversified, however, detailed and clear evaluation tool that assess study process and method should be developed as a way to further improve the quality of published papers in the Korean Parent-Child Health Journal.

  • PDF

Practical Issues of Earned Value Management Systems (EVMS) for Nuclear Power Plant (NPP) Construction

  • Jung, Youngsoo;Kim, Sungrae;Moon, Byeong-Suk
    • 국제학술발표논문집
    • /
    • The 6th International Conference on Construction Engineering and Project Management
    • /
    • pp.696-697
    • /
    • 2015
  • Cost, schedule, and quality are the three major performance indicators for any construction project. Under the globalized competition in the nuclear industry, researchers and practitioners have also explored a systemized and integrated management system for cost, schedule, and quality. In order to address this issue, the concept of earned value management system (EVMS) has been often utilized. However, implementing EVMS for a mega-project of nuclear power plant (NPP) construction requires extensive overhead efforts. Though previous studies proposed structures and methods for effective NPP EVMS, there has been no legitimate study for data collection strategy for practical implementation. In this context, the purpose of this paper is to develop an effective data collection strategy for NPP EVMS. Firstly, the barriers to practical NPP EVMS were identified based on literature review and expert interviews. Strategies for data collection were then developed based on different phases of project life cycle. This study focuses on the 'life-cycle integrated progress management system' for NPP construction from an owner's perspective Therefore, results of this study can be used as a guide for preparing request for proposals (RFP) of an NPP owner organization.

  • PDF

A study on Fusion image Expressed in Hair collections - Focusing on Juno Hair's 2013-2022 collection

  • Jin Hyun Park;Hye Rroon Jang
    • International Journal of Advanced Culture Technology
    • /
    • 제11권4호
    • /
    • pp.202-209
    • /
    • 2023
  • In the 21st century, the dualistic worldview of the Cold War era collapsed and we entered an era of new creation and fusion. The fusion of different designs between East and West, the design activities of traditional clothing from the past, the use of new materials that are continuously being developed, and the mixing of unique items are being conducted in various fields. However, research is being conducted by combining fusion characteristics with hair. In addition, the period is short and the amount of research is small. Therefore, this study analyzed hairstyles of fusion images shown in hair collection using data of Juno Hair collection from 2013 to 2022 as analysis data and examined types of fusion images shown in the work of folk images, mixed images, and future images. Oriented images were divided into three categories and analyzed. In this study, we added Results of such research can be used not only as data for predicting future fashion trends, but also as basic data for exploring new design developments. In future research, it is expected that convergent research will be conducted, such as analyzing fusion images from an integrated perspective.