• 제목/요약/키워드: Big data collection

검색결과 340건 처리시간 0.03초

도서관 빅데이터 플랫폼을 활용한 공공도서관 빅데이터 분석 연구: 대전한밭도서관을 중심으로 (Big Data Analysis for Public Libraries Utilizing Big Data Platform: A Case Study of Daejeon Hanbat Library)

  • 온정미;박성희
    • 정보관리학회지
    • /
    • 제37권3호
    • /
    • pp.25-50
    • /
    • 2020
  • 2016년 1월 1일부터 공공도서관 빅데이터 플랫폼이 서비스되기 시작하여 도서관 빅데이터가 공공도서관 업무 개선에 활용되고 있다. 본 논문은 도서관 빅데이터 플랫폼 활용사례들을 살펴보고 도서관 빅데이터 플랫폼의 활용효과를 높일 수 있는 개선방안을 도출하고자 한다. 이를 위해 먼저, 도서관 빅데이터 플랫폼을 활용한 사례들에서 활용한 빅데이터와 활용유형분석 및 도출된 서비스/시행정책을 살펴본다. 다음으로, 현재 공공도서관에서 사용하는 통합도서관리시스템(ILUS)과 도서관 빅데이터 플랫폼 각각의 자료분석 방식을 비교함으로써 도서관 빅데이터 플랫폼의 한계점과 이점을 살펴본다. 사례분석 결과, 프로그램 기획 및 수행, 장서, 수서, 기타의 유형으로 빅데이터를 활용하였고 서비스/시행정책은 이용자 맞춤형 테마서가 및 독서진흥프로그램 진행, 장서활용도 증대, 특화주제에 기반한 수서 및 대출현황 데이터 공개로 요약되었다. 비교분석결과, ILUS는 자관의 자료실현황분석에 특화되어 있으며, 빅데이터 플랫폼은 다양한 속성(연령, 성별, 지역, 대출시기 등)에 따른 선택적 분석이 가능하여 분석시간단축과 유연한 분석이 가능하다. 마지막으로 사례분석과 비교분석에서 밝혀진 특징 및 한계점을 정리하고 개선방안을 제시한다.

A Strategy Study on Sensitive Information Filtering for Personal Information Protect in Big Data Analyze

  • Koo, Gun-Seo
    • 한국컴퓨터정보학회논문지
    • /
    • 제22권12호
    • /
    • pp.101-108
    • /
    • 2017
  • The study proposed a system that filters the data that is entered when analyzing big data such as SNS and BLOG. Personal information includes impersonal personal information, but there is also personal information that distinguishes it from personal information, such as religious institution, personal feelings, thoughts, or beliefs. Define these personally identifiable information as sensitive information. In order to prevent this, Article 23 of the Privacy Act has clauses on the collection and utilization of the information. The proposed system structure is divided into two stages, including Big Data Processing Processes and Sensitive Information Filtering Processes, and Big Data processing is analyzed and applied in Big Data collection in four stages. Big Data Processing Processes include data collection and storage, vocabulary analysis and parsing and semantics. Sensitive Information Filtering Processes includes sensitive information questionnaires, establishing sensitive information DB, qualifying information, filtering sensitive information, and reliability analysis. As a result, the number of Big Data performed in the experiment was carried out at 84.13%, until 7553 of 8978 was produced to create the Ontology Generation. There is considerable significan ce to the point that Performing a sensitive information cut phase was carried out by 98%.

방대한 IoT 장치 기반 환경에서 효율적인 빅데이터 수집 기법 설계 (Design of Efficient Big Data Collection Method based on Mass IoT devices)

  • 최종석;신용태
    • 한국정보전자통신기술학회논문지
    • /
    • 제14권4호
    • /
    • pp.300-306
    • /
    • 2021
  • IT기술의 발달로 인해 최근 IoT 장비에 적용되는 하드웨어 기술이 저비용, 고성능 RF 및 연산장치를 사용한 스마트 시스템들로 변화되고 있다. 그러나 방대한 양의 IoT 장비들이 설치된 인프라 환경에서 빅데이터 수집은 전송되는 데이터간 병목현상으로 인해 수집 서버의 부하가 발생한다. 이로인해 데이터수집 서버로 전송되는 데이터는 패킷 손실 및 데이터 처리율 감소 현상이 발생한다. 따라서 방대한 양의 IoT 장비들이 설치된 인프라 환경에서 효율적인 빅데이터 수집 기법이 필요하다. 이에 본 논문에서는 방대한 양의 IoT 장비들이 설치된 인프라 환경에서 효율적인 빅데이터 수집 기법을 제안한다. 성능평가 결과, 제안하는 기법의 패킷 손실 및 데이터 처리율은 전송되는 파일의 손실없이 전송이 완료된다. 향후 본 설계를 기반으로 시스템이 구현이 필요하다.

A Study on Design of Real-time Big Data Collection and Analysis System based on OPC-UA for Smart Manufacturing of Machine Working

  • Kim, Jaepyo;Kim, Youngjoo;Kim, Seungcheon
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제13권4호
    • /
    • pp.121-128
    • /
    • 2021
  • In order to design a real time big data collection and analysis system of manufacturing data in a smart factory, it is important to establish an appropriate wired/wireless communication system and protocol. This paper introduces the latest communication protocol, OPC-UA (Open Platform Communication Unified Architecture) based client/server function, applied user interface technology to configure a network for real-time data collection through IoT Integration. Then, Database is designed in MES (Manufacturing Execution System) based on the analysis table that reflects the user's requirements among the data extracted from the new cutting process automation process, bush inner diameter indentation measurement system and tool monitoring/inspection system. In summary, big data analysis system introduced in this paper performs SPC (statistical Process Control) analysis and visualization analysis with interface of OPC-UA-based wired/wireless communication. Through AI learning modeling with XGBoost (eXtream Gradient Boosting) and LR (Linear Regression) algorithm, quality and visualization analysis is carried out the storage and connection to the cloud.

하둡 분산 환경 기반의 데이터 수집 기법 연구 (A Study on the Data Collection Methods based Hadoop Distributed Environment)

  • 진고환
    • 한국융합학회논문지
    • /
    • 제7권5호
    • /
    • pp.1-6
    • /
    • 2016
  • 최근 빅데이터 활용과 분석기술의 발전을 위하여 많은 연구가 이루어지고 있고, 빅데이터를 분석하기 위하여 처리 플랫폼인 하둡을 도입하는 정부기관 및 기업이 점차 늘어가고 있는 추세이다. 이러한 빅데이터의 처리와 분석에 대한 관심이 고조되면서 그와 병행하여 데이터의 수집 기술이 주요한 이슈가 되고 있으나, 데이터 분석 기법의 연구에 비하여 수집 기술에 대한 연구는 미미한 상황이다. 이에 본 논문에서는 빅데이터 분석 플랫폼인 하둡을 클러스터로 구축하고 아파치 스쿱을 통하여 관계형 데이터베이스로부터 정형화된 데이터를 수집하고, 아파치 플룸을 통하여 센서 및 웹 애플리케이션의 데이터 파일, 로그 파일과 같은 비정형 데이터를 스트림 기반으로 수집하는 시스템을 제안한다. 이러한 융합을 통한 데이터 수집으로 빅데이터 분석의 기초적인 자료로 활용할 수 있을 것이다.

국방분야 빅데이터 분석의 활용가능성에 대한 고찰 (A Study on a Way to Utilize Big Data Analytics in the Defense Area)

  • 김성우;김각규;윤봉규
    • 한국경영과학회지
    • /
    • 제39권2호
    • /
    • pp.1-19
    • /
    • 2014
  • Recently, one of the core keywords in information technology (IT) as well as areas such as business management is big data. Big data is a term that includes technology, personnel, and organization required to gather/manage/analyze collection of data sets so large and complex that it becomes difficult to manage and analyze using traditional tools. The military has been accumulating data for a long period due to the organization's characteristic in placing emphasis on reporting and records. Considering such characteristic of the military, this study verifies the possibility of improving the performance of the military organization through use of big data and furthermore, create scientific development of operation, strategy, and support environment. For this purpose, the study organizes general status and case studies related to big data, traces back examples of data utilization by Korean's national defense sector through US military data collection and case studies, and proposes the possibility of using and applying big data in the national defense sector.

도로 침수영역의 탐색을 위한 빅데이터 분석 시스템 연구 (A Study on the Big Data Analysis System for Searching of the Flooded Road Areas)

  • 송영미;김창수
    • 한국멀티미디어학회논문지
    • /
    • 제18권8호
    • /
    • pp.925-934
    • /
    • 2015
  • The frequency of natural disasters because of global warming is gradually increasing, risks of flooding due to typhoon and torrential rain have also increased. Among these causes, the roads are flooded by suddenly torrential rain, and then vehicle and personal injury are happening. In this respect, because of the possibility that immersion of a road may occur in a second, it is necessary to study the rapid data collection and quick response system. Our research proposes a big data analysis system based on the collected information and a variety of system information collection methods for searching flooded road areas by torrential rains. The data related flooded roads are utilized the SNS data, meteorological data and the road link data, etc. And the big data analysis system is implemented the distributed processing system based on the Hadoop platform.

보행행태조사방법론의 변화와 모바일 빅데이터의 가능성 진단 연구 - 보행환경 분석연구 최근 사례를 중심으로 - (Changes in Measuring Methods of Walking Behavior and the Potentials of Mobile Big Data in Recent Walkability Researches)

  • 김현주;박소현;이선재
    • 대한건축학회논문집:계획계
    • /
    • 제35권1호
    • /
    • pp.19-28
    • /
    • 2019
  • The purpose of this study is to evaluate the walking behavior analysis methodology used in the previous studies, paying attention to the demand for empirical data collecting for urban and neighborhood planning. The preceding researches are divided into (1)Recording, (2) Surveys, (3)Statistical data, (4)Global positioning system (GPS) devices, and (5)Mobile Big Data analysis. Next, we analyze the precedent research and identify the changes of the walkability research. (1)being required empirical data on the actual walking and moving patterns of people, (2)beginning to be measured micro-walking behaviors such as actual route, walking facilities, detour, walking area. In addition, according to the trend of research, it is analyzed that the use of GPS device and the mobile big data are newly emerged. Finally, we analyze pedestrian data based on mobile big data in terms of 'application' and distinguishing it from existing survey methodology. We present the possibility of mobile big data. (1)Improvement of human, temporal and spatial constraints of data collection, (2)Improvement of inaccuracy of collected data, (3)Improvement of subjective intervention in data collection and preprocessing, (4)Expandability of walking environment research.

제조 빅데이터 시스템을 위한 효과적인 시각화 기법 (Effective visualization methods for a manufacturing big data system)

  • 류관희
    • Journal of the Korean Data and Information Science Society
    • /
    • 제28권6호
    • /
    • pp.1301-1311
    • /
    • 2017
  • 제조 빅데이터 시스템은 제조 전 공정에서 관련된 4M 데이터의 수집, 저장, 관리, 예측적 분석을 통해 선제적 제조 활동 개선이 가능한 의사결정을 지원하고 있다. 이러한 시스템에서 데이터의 효율적인 관리와 운영을 위해 데이터를 효과적으로 시각화하는 것이 무엇보다도 중요하다. 본 논문에서는 제조 빅데이터 시스템에서 데이터 수집, 분석 및 예측 결과를 효과적으로 보여 주기 위해 사용가능한 시각화 기법을 제시한다. 본 논문에서 제시된 시각화 기법을 통해 제조 현장에서 발생하는 문제를 보다 손쉽게 파악할 수 있었을 뿐만 아니라 이들 문제를 효과적으로 대응할 수 있어 매우 유용하게 사용될 수 있음을 확인하였다.

빅데이터 처리 프로세스에 따른 빅데이터 위험요인 분석 (The Analyzing Risk Factor of Big Data : Big Data Processing Perspective)

  • 이지은;김창재;이남용
    • 한국IT서비스학회지
    • /
    • 제13권2호
    • /
    • pp.185-194
    • /
    • 2014
  • Recently, as value for practical use of big data is evaluated, companies and organizations that create benefit and profit are gradually increasing with application of big data. But specifical and theoretical study about possible risk factors as introduction of big data is not being conducted. Accordingly, the study extracts the possible risk factors as introduction of big data based on literature reviews and classifies according to big data processing, data collection, data storage, data analysis, analysis data visualization and application. Also, the risk factors have order of priority according to the degree of risk from the survey of experts. This study will make a chance that can avoid risks by bid data processing and preparation for risks in order of dangerous grades of risk.