• 제목/요약/키워드: Big Data Structure

검색결과 383건 처리시간 0.03초

생태계 관점에서의 빅데이터 활성화를 위한 구조 연구 (An Analysis of Big Data Structure Based on the Ecological Perspective)

  • 조지연;김예진;박건철;이봉규
    • 한국IT서비스학회지
    • /
    • 제11권4호
    • /
    • pp.277-294
    • /
    • 2012
  • The purpose of this research is to analyze big data structure and various objects in big data industry based on ecological perspective. Big data is rapidly emerging as a highly valuable resource to secure competitiveness of enterprise and government. Accordingly, the main issues in big data are to find ways of creating economic value and solving various problems. However big data is not systematically organized, and hard to utilize as it constantly expands to related industry such as telecommunications, finance and manufacturing. Under this circumstance, it is crucial to understand range of big data industry and to which stakeholders are related. The ecological approach is useful to understand comprehensive industry structure. Therefore this study aims at confirming big data structure and finding issues from interaction among objects. Results of this study show main framework of big data ecosystem including relationship among object elements composing of the ecosystem. This study has significance as an initial study on big data ecosystem. The results of the study can be useful guidelines to the government for making systemized big data ecosystem and the entrepreneur who is considering launching big data business.

Big data-based piping material analysis framework in offshore structure for contract design

  • Oh, Min-Jae;Roh, Myung-Il;Park, Sung-Woo;Chun, Do-Hyun;Myung, Sehyun
    • Ocean Systems Engineering
    • /
    • 제9권1호
    • /
    • pp.79-95
    • /
    • 2019
  • The material analysis of an offshore structure is generally conducted in the contract design phase for the price quotation of a new offshore project. This analysis is conducted manually by an engineer, which is time-consuming and can lead to inaccurate results, because the data size from previous projects is too large, and there are so many materials to consider. In this study, the piping materials in an offshore structure are analyzed for contract design using a big data framework. The big data technologies used include HDFS (Hadoop Distributed File System) for data saving, Hive and HBase for the database to handle the saved data, Spark and Kylin for data processing, and Zeppelin for user interface and visualization. The analyzed results show that the proposed big data framework can reduce the efforts put toward contract design in the estimation of the piping material cost.

빅데이터 분석을 이용한 해양 구조물 배관 자재의 소요량 예측 (Estimation of Material Requirement of Piping Materials in an Offshore Structure using Big Data Analysis)

  • 오민재;노명일;박성우;김성훈
    • 대한조선학회논문집
    • /
    • 제55권3호
    • /
    • pp.243-251
    • /
    • 2018
  • In the shipyard, a lot of data is generated, stored, and managed during design, construction, and operation phases to build ships and offshore structures. However, it is difficult to handle such big data efficiently using existing data-handling technologies. As the big data technology is developed, the ship and offshore industries start to focus on the existing big data to find valuable information from it. In this paper, the material requirement estimation method of offshore structure piping materials using big data analysis is proposed. A big data platform for the data analysis in the shipyard is introduced and it is applied to the analysis of material requirement estimation to solve the problems in piping design by a designer. The regression model is developed from the big data of piping materials and verified using the existing data. This analysis can help a piping designer to estimate the exact amount of material requirement and schedule the purchase time.

Big Data Key Challenges

  • Alotaibi, Sultan
    • International Journal of Computer Science & Network Security
    • /
    • 제22권4호
    • /
    • pp.340-350
    • /
    • 2022
  • The big data term refers to the great volume of data and complicated data structure with difficulties in collecting, storing, processing, and analyzing these data. Big data analytics refers to the operation of disclosing hidden patterns through big data. This information and data set cloud to be useful and provide advanced services. However, analyzing and processing this information could cause revealing and disclosing some sensitive and personal information when the information is contained in applications that are correlated to users such as location-based services, but concerns are diminished if the applications are correlated to general information such as scientific results. In this work, a survey has been done over security and privacy challenges and approaches in big data. The challenges included here are in each of the following areas: privacy, access control, encryption, and authentication in big data. Likewise, the approaches presented here are privacy-preserving approaches in big data, access control approaches in big data, encryption approaches in big data, and authentication approaches in big data.

4차 산업혁명 시대에 적합한 빅데이터 대학 교육과정 연구 (Research on big data curriculum in university suitable for the era of the 4th industrial revolution)

  • Choi, Hun;Kim, Gimun
    • 한국정보통신학회논문지
    • /
    • 제24권11호
    • /
    • pp.1562-1565
    • /
    • 2020
  • With the development of digital technology, the industrial structure is becoming digitalize. The government selected big data as the key technology of the 4th industrial revolution. Among them, big data is widely used to create new values and services by utilizing vast amounts of information. In order to cultivate professional manpower for the use of big data, various education programs are provided at universities. We intend to develop a curriculum for systematic training of talented people who can acquire knowledge about the three stages of collection, analysis, and application of big data. To this end, subjects are classified into basic competency, technical competency, analysis competency, and business competency based on the big data competency model proposed by the Korea Internet & Security Agency.

빅데이터 연구영역의 지식창출 구조 (Knowledge Creation Structure of Big Data Research Domain)

  • 남수현
    • 디지털융복합연구
    • /
    • 제13권9호
    • /
    • pp.129-136
    • /
    • 2015
  • 본 논문은 학제간 연구의 대표적인 사례인 빅데이터 연구가 어떤 주제로 구성되어 있는지를 상향식 접근법을 이용하여 분석한다. 분석을 위해서 연구재단에서 제공하는 학술지 인용색인시스템을 이용하였다. 영문 키워드 "big data"로 모든 등재지와 등재후보지를 대상으로 검색을 하여 이것을 원천 데이터로 하였다. 논문 저자가 직접 제공하는 키워드를 본 연구에서 사용하기 위해서 정제작업을 거친 후, 주요 키워드 분포, 참여 저널의 성격 분포, 참여저자 수의 분포, 연도별 키워드 분포 등을 이용하여 빅데이터 연구주제의 구조를 설명하였다. 식별된 주요 키워드들은 사회네트워크 분석, 하둡, 맵리듀스, 개인정보/보호, 클라우드 컴퓨팅, 시각화, 데이터마이닝 등이다. 또한 빅데이터가 지속가능하고 융복합적인 경영혁신 도구로 사용되기 위해 향후 추가적으로 보완되어야 할 연구 키워드들을 제안한다.

빅데이터 분석은 사회과학 연구에서 방법론적 혁신인가? (Is Big Data Analysis to Be a Methodological Innovation? : The cases of social science)

  • 이상기
    • 문화기술의 융합
    • /
    • 제9권3호
    • /
    • pp.655-662
    • /
    • 2023
  • 사회과학 분야에서 빅데이터 연구는 기존의 사회과학 연구방법을 보완하는 역할을 하고 있다. 사회과학자들이 선호하는 서베이 및 실험 방법이 주로 회상 기억에 의존하여 다소 부정확하다면 빅데이터는 실시간 기록이라 보다 정확하다. 기존의 사회과학 연구가 시간과 비용 등의 이유로 연구대상을 전수 조사하기보다 표집에 의한 표본 조사를 주로 하는 것과 달리 빅데이터 연구는 전수에 가까운 데이터를 분석한다. 그렇지만 시간의 흐름에 따라 사회 분위기가 변할 수 있고, 연구대상도 동일하지 않아 연구의 반복 및 재현은 둘 다 쉽지 않다. 무엇보다 기존의 사회과학 연구가 '이론-방법-데이터'의 삼각구조가 튼튼한 데 반해 빅데이터를 활용한 분석은 이론의 빈약함을 보이고 있어 심각한 문제다. 과학적 설명논리로서의 이론이 없으면 연구결과를 얻고서도 제대로 해석하지 못하거나 온전히 활용 할 수 없기 때문이다. 그러므로 빅데이터 연구가 진정한 방법론적 혁신이 되기 위해서는 새로운 이론(블랙박스)을 창출하기 위한 연구자들의 노력과 함께 빅 씽킹(big thinking)이 필요함을 제안했다.

XML구조를 이용한 공공 빅데이터의 선별 저장 및 시각화 방법 (A Method for Selective Storing and Visualization of Public Big Data Using XML Structure)

  • 백봉현;하일규
    • 한국정보통신학회논문지
    • /
    • 제21권12호
    • /
    • pp.2305-2311
    • /
    • 2017
  • 최근들어 공공 정보화와 함께 정부기관, 지자체 및 다양한 정부산하기관에서 보유하고 있는 데이터를 공개하고 있는 추세이다. 즉, 공공기관이 업무수행의 결과물로 생성 및 수집한 다양한 전자화된 형태의 데이터를 공공데이터 포털사이트에서 개방하고 있다. 하지만 이를 사용하는 사용자는 데이터 형식의 이해와 데이터 처리 지식의 부족, 데이터에 대한 접근과 관리의 어려움, 수집 및 저장한 데이터의 이해를 위한 시각화 기술의 부족 등으로 빅데이터의 활용에 제한을 받고 있다. 따라서 본 연구에서는 다양한 공공 사이트에서 제공하는 빅데이터를 데이터셋의 URL 및 API를 사용하여 데이터 포맷에 관계없이 데이터를 수집하며, 수집된 데이터를 XML 구조를 이용하여 재가공하여 데이터베이스화하며, 데이터 융합을 통한 시각화가 가능하도록 하는 공공 빅데이터 수집, 선별 저장 및 시각화 플랫폼을 제안한다.

A Strategy Study on Sensitive Information Filtering for Personal Information Protect in Big Data Analyze

  • Koo, Gun-Seo
    • 한국컴퓨터정보학회논문지
    • /
    • 제22권12호
    • /
    • pp.101-108
    • /
    • 2017
  • The study proposed a system that filters the data that is entered when analyzing big data such as SNS and BLOG. Personal information includes impersonal personal information, but there is also personal information that distinguishes it from personal information, such as religious institution, personal feelings, thoughts, or beliefs. Define these personally identifiable information as sensitive information. In order to prevent this, Article 23 of the Privacy Act has clauses on the collection and utilization of the information. The proposed system structure is divided into two stages, including Big Data Processing Processes and Sensitive Information Filtering Processes, and Big Data processing is analyzed and applied in Big Data collection in four stages. Big Data Processing Processes include data collection and storage, vocabulary analysis and parsing and semantics. Sensitive Information Filtering Processes includes sensitive information questionnaires, establishing sensitive information DB, qualifying information, filtering sensitive information, and reliability analysis. As a result, the number of Big Data performed in the experiment was carried out at 84.13%, until 7553 of 8978 was produced to create the Ontology Generation. There is considerable significan ce to the point that Performing a sensitive information cut phase was carried out by 98%.

SNS 빅데이터 분석을 통한 재생에너지 동향 및 관계구조 (Renewable energy trends and relationship structure by SNS big data analysis)

  • 김종민
    • 융합보안논문지
    • /
    • 제22권1호
    • /
    • pp.55-60
    • /
    • 2022
  • 본 연구는 재생에너지와 관련된 에너지 분야의 동향과 관계구조를 분석하는 것이다. 이를 위해 본 연구에서는 SNS Data를 포한한 Big Data를 중점으로 분석하였다. SNS는 Instragram 플랫폼을 활용하여 재생에너지 해시태그들을 수집하였으며, 빅데이터 분석, 소셜네트워크 분석을 위한 워드임베딩 방법으로 사용하였고, 본 연구에서 도출된 결과를 토대로 재생에너지 산업의 발전에 활용할 수 있을 것으로 기대된다.