• 제목/요약/키워드: Big data management

검색결과 1,731건 처리시간 0.027초

Development of the design methodology for large-scale database based on MongoDB

  • Lee, Jun-Ho;Joo, Kyung-Soo
    • 한국컴퓨터정보학회논문지
    • /
    • 제22권11호
    • /
    • pp.57-63
    • /
    • 2017
  • The recent sudden increase of big data has characteristics such as continuous generation of data, large amount, and unstructured format. The existing relational database technologies are inadequate to handle such big data due to the limited processing speed and the significant storage expansion cost. Thus, big data processing technologies, which are normally based on distributed file systems, distributed database management, and parallel processing technologies, have arisen as a core technology to implement big data repositories. In this paper, we propose a design methodology for large-scale database based on MongoDB by extending the information engineering methodology based on E-R data model.

빅 데이터를 이용한 소셜 미디어 분석 기법의 활용 (Utilization of Social Media Analysis using Big Data)

  • 이병엽;임종태;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제13권2호
    • /
    • pp.211-219
    • /
    • 2013
  • 빅 데이터를 활용한 분석 방법은 빅 데이터를 처리 할 수 있는 기술 기반으로 발전되어 오고 있다. 많은 IT 리서치 기관들이 빅 데이터를 통한 새로운 분석의 패러다임을 예견하고 있고, 또한 IT 벤더들을 중심으로 빅 데이터 처리를 위한 표준 기술들을 제시하고 있다. 빅 데이터는 IT 기기 및 환경의 발달과도 상호연관적이고 소셜 미디어를 주측으로 기존에 예측하지 못하는 비정형화된 데이터들을 정형화 하여, 이에 따른 다양한 분석, 예측 및 최적화에 초점이 맞추어 발달 하고 있다. 과거의 분석 기법은 정형화된 데이터를 기반으로 데이터 마이닝, OLAP, 통계 분석등을 통한 의사결정 도구로서 사용되어 왔다. 하지만 최근 빅데이터를 이용한 새로운 분석의 패러다임을 통해 분석기법의 다양화, 비정형 데이터 분석 등 새로운 형태의 기반 기술발전과 다양한 형태의 데이터를 통한 새로운 분석을 통해 통찰력을 높일 수 있다. 더욱이 고성능의 컴퓨팅 환경들의 발달과 표준화된 대용량 데이터 처리 기술 발달이 향후 조금 더 다양한 형태의 분석패턴을 만들어 갈 것이다. 따라서 본 논문은 빅 데이터를 통해 분석 가능한 다양한 기법을 알아보고, 기존의 데이터 마이닝 분석 기법을 통한 소셜 미디어의 분석 형태에 대한 활용 및 분석방안을 제시 하였다.

자전거도로 개선 방안에 관한 연구 (A Study on Improving Comparative Analysis on Bicycle Roads Analysis)

  • 김동우;박성택;강태구
    • 산업융합연구
    • /
    • 제14권2호
    • /
    • pp.25-31
    • /
    • 2016
  • As the importance of big data begins to be recognized, the government, local self-governing bodies, and corporations have taken interest in big data. However, unlike the past, there is various typical and atypical data, and some fields make use of big data planning and analytical technique, which is opening a way to capture new opportunities. The present study analyzes an improvement plan for bicycle roads by using the public data of Seoul and proposes its implications.

  • PDF

Development of big data based Skin Care Information System SCIS for skin condition diagnosis and management

  • Kim, Hyung-Hoon;Cho, Jeong-Ran
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권3호
    • /
    • pp.137-147
    • /
    • 2022
  • 피부상태의 진단과 관리는 뷰티산업종사자와 화장품산업종사자에게 그 역할을 수행함에 있어서 매우 기초적이며 중요한 기능이다. 정확한 피부상태 진단과 관리를 위해서는 고객의 피부상태와 요구사항을 잘 파악하는 것이 필요하다. 본 논문에서는 피부상태 진단 및 관리를 위해 소셜미디어의 빅데이터를 사용하여 피부상태 진단 및 관리를 지원하는 빅데이터기반 피부관리정보시스템 SCIS를 개발하였다. 개발된 시스템을 사용하여 텍스트 정보 중심의 피부상태 진단과 관리를 위한 핵심 정보를 분석하고 추출할 수 있다. 본 논문에서 개발된 피부관리정보시스템 SCIS는 빅데이터 수집단계, 텍스트전처리단계, 이미지전처리단계, 텍스트단어분석단계로 구성되어 있다. SCIS는 피부진단 및 관리에 필요한 빅데이터를 수집하고, 텍스트 정보를 대상으로 핵심단어의 단순빈도분석, 상대빈도분석, 동시출현분석, 상관성분석을 통해 핵심단어 및 주제를 추출하였다. 또한 추출된 핵심단어 및 정보를 분석하고 산포도, NetworkX, t-SNE 및 클러스터링 등의 다양한 시각화 처리를 함으로써 피부상태 진단 및 관리에 있어 이를 효율적으로 사용할 수 있도록 하였다.

빅데이터 분석 적용을 통한 공정 최적화 사례연구: LCD 공정 품질분석을 중심으로 (A Case Study on Product Production Process Optimization using Big Data Analysis: Focusing on the Quality Management of LCD Production)

  • 박종태;이상곤
    • 한국IT서비스학회지
    • /
    • 제21권2호
    • /
    • pp.97-107
    • /
    • 2022
  • Recently, interest in smart factories is increasing. Investments to improve intelligence/automation are also being made continuously in manufacturing plants. Facility automation based on sensor data collection is now essential. In addition, we are operating our factories based on data generated in all areas of production, including production management, facility operation, and quality management, and an integrated standard information system. When producing LCD polarizer products, it is most important to link trace information between data generated by individual production processes. All systems involved in production must ensure that there is no data loss and data integrity is ensured. The large-capacity data collected from individual systems is composed of key values linked to each other. A real-time quality analysis processing system based on connected integrated system data is required. In this study, large-capacity data collection, storage, integration and loss prevention methods were presented for optimization of LCD polarizer production. The identification Risk model of inspection products can be added, and the applicable product model is designed to be continuously expanded. A quality inspection and analysis system that maximizes the yield rate was designed by using the final inspection image of the product using big data technology. In the case of products that are predefined as analysable products, it is designed to be verified with the big data knn analysis model, and individual analysis results are continuously applied to the actual production site to operate in a virtuous cycle structure. Production Optimization was performed by applying it to the currently produced LCD polarizer production line.

스마트카드 빅데이터를 이용한 서울시 지역별 대중교통 이동 편의성 분석 (Analysis of Regional Transit Convenience in Seoul Public Transportation Networks Using Smart Card Big Data)

  • 문현구;오규협;김상국;정재윤
    • 대한산업공학회지
    • /
    • 제42권4호
    • /
    • pp.296-303
    • /
    • 2016
  • In public transportation, smart cards have been introduced for the purpose of convenient payment systems. The smart card transaction data can be utilized not only for the exact and convenient payment but also for civil planning based on travel tracking of citizens. This paper focuses on the analysis of the transportation convenience using the smart card big data. To this end, a new index is developed to measure the transit convenience of each region by considering how passengers actually experience the transportation network in their travels. The movement data such as movement distance, time and amount between regions are utilized to access the public transportation convenience of each region. A smart card data of five working days in March is used to evaluate the transit convenience of each region in Seoul city. The contribution of this study is that a new transit convenience measure was developed based on the reality data. It is expected that this measure can be used as a means of quantitative analysis in civil planning such as a traffic policy or local policy.

빅데이터 관리를 위한 문서형 DB 기반 로그관리 시스템 설계 (Design of Log Management System based on Document Database for Big Data Management)

  • 류창주;한명호;한승조
    • 한국정보통신학회논문지
    • /
    • 제19권11호
    • /
    • pp.2629-2636
    • /
    • 2015
  • 최근 IT 분야에서 빅데이터 관리에 대한 관심이 급증하고 있으며, 빅데이터의 실시간 처리 문제를 해결하기 위해 많은 연구가 진행되고 있다. 네트워크상에서 주고받는 데이터를 실시간으로 저장하는 기능으로 인해 리소스가 많이 필요한 반면, 높은 비용적 측면 때문에 분석 시스템 도입에 문제가 야기 되고 있으며 이러한 문제점 해결을 위해 저비용 고효율성을 만족하는 시스템 재설계의 필요성이 증가되고 있다. 본 논문에서는 빅 데이터 관리를 위한 문서형 DB기반 로그관리 시스템을 설계하기 위해서 문서형 데이터베이스인 MongoDB를 사용하였으며, 제안하는 로그관리 시스템을 통해 고효율의 로그 수집 및 처리와 위,변조에 안전한 로그 데이터 저장을 확인한다.

Implementing a Sustainable Decision-Making Environment - Cases for GIS, BIM, and Big Data Utilization -

  • Kim, Hwan-Yong
    • 한국BIM학회 논문집
    • /
    • 제6권3호
    • /
    • pp.24-33
    • /
    • 2016
  • Planning occurs from day-to-day, small-scale decisions to large-scale infrastructure investment decisions. For that reason, various attempts have been made to appropriately assist decision-making process and its optimization. Lately, initiation of a large amount of data, also known as big data has received great attention from diverse disciplines because of versatility and adoptability in its use and possibility to generate new information. Accordingly, implementation of big data and other information management systems, such as geographic information systems (GIS) and building information modeling (BIM) have received enough attention to establish each of its own profession and other associated activities. In this extent, this study illustrates a series of big data implementation cases that can provide a lesson to urban planning domain. In specific, case studies analyze how data was used to extract the most optimized solution and what aspects could be helpful in relation to planning decisions. Also, important notions about GIS and its application in various urban cases are examined.

빅데이터와 블록체인을 활용한 조직내 RDM 구축방안 (A Study on the Construction of RDM in an Organization Using Big Data and Block Chain)

  • 이경희;최영진;조완섭
    • 한국빅데이터학회지
    • /
    • 제4권2호
    • /
    • pp.127-139
    • /
    • 2019
  • 연구 데이터 관리(Research Data Management: RDM)는 연구데이터를 생산, 수집, 이용, 보전하는데 있어 방향을 제시하고 지원하는 인력, 정책, 자원 및 기술을 포괄하는 시스템이다. RDM은 연구비 신청시 작성하는 DMP(Data Management Plan)의 작성지원, 데이터 컬렉션과 리파지토리 구축, 연구 데이터의 디지털 보전과 유통 등을 포함하는 광범위한 활동들로 구성된다. 선진국의 경우 각 기관들이 RDM을 위한 시스템과 관련 조직을 구성하여 운영하고 있으나 우리나라의 경우에는 연구 데이터에 관한 인식수준이 낮아 미흡한 실정이다. 본 논문에서는 각 조직의 현실에 적합한 연구데이터 관리체계 구축방안을 제안한다. 특히, 최근들어 각 분야마다, 조직마다 빅데이터의 생성과 관리를 위한 빅데이터 플랫폼 구축이 급증하고 있어 이를 조직내 RDM 구축에 반영할 필요가 있다. 또한 블록체인 기술을 활용하여 연구자의 데이터 주권 확보를 지원하고, 데이터 프로비넌스 보장과 P2P 방식의 분산 RDM 구축 방안도 제안한다.

  • PDF

전파 빅데이터 활용을 위한 플랫폼 구축방안 연구 (A Study on Construction of Platform Using Spectrum Big Data)

  • 김형주;나종회;전웅렬;김판구
    • 스마트미디어저널
    • /
    • 제9권2호
    • /
    • pp.99-109
    • /
    • 2020
  • 본 논문은 전파 빅데이터 활용을 위한 플랫폼 구축 방안을 제시하는 것으로 전파 분야의 빅데이터를 수집 및 분석하고 연계방안을 수립하고, 전파 및 공공분야 빅데이터를 연계 및 활용하는 지원체계 방안을 제시하여, 전파 공공분야 연계 빅데이터 플랫폼 구축 방안을 제시하였다. 전파 분야 빅데이터의 체계적 분석과 활용을 위한 지원체계가 부족한 상황에서 전파 관련 산업체의 빅데이터 활용을 위한 플랫폼 구축방안을 마련함으로써 4차 산업혁명 구현을 위한 선제적 대응과 국내 전파 분야의 위상과 국가의 혁신성장 동력을 확보하고 전파산업의 공정경쟁과 서비스 품질 증진에 기여하여 전파 및 공공분야 빅데이터 플랫폼 이용자의 편의 증진에 기여하고자 한다. 또한, 전파관리 데이터 활용가치에 대한 사회적 인식 제고 및 플랫폼 공동 활용을 통한 전파 빅데이터 활용 협업 체계 마련에 기여하고자 한다.