• 제목/요약/키워드: Engineering Big Data

검색결과 1,839건 처리시간 0.028초

사회 위기관리를 위한 전자정부의 빅데이터 활용 방안 (e-Gov's Big Data utilization plan for social crisis management)

  • 정영철;최익수;배용근
    • 한국정보통신학회논문지
    • /
    • 제21권2호
    • /
    • pp.435-442
    • /
    • 2017
  • 근래에 불가측성을 지닌 재난의 빈도가 증가함에 따라 우리는 각종 재난으로 인한 사회 불안 심리가 심화되는 추세이다. 이에 따라 사회 위기 현상으로 최근 우리 사회에 일어난 굵직한 재난에 대비하여 미래 사회의 안전한 대비책을 미리 마련하지 않으면 안 된다. 그러므로 우리는 사회 위기 관리 상황에 항상 대비하기 위해서 ICT 강국으로서 정부의 역할과 빅데이터 활용성 가치의 중요성을 인식하여야 한다. 이에 본 논문에서는 열거한 각종 재난 사례로 인간불안 심리를 분석하고, 이런 불안한 심리를 해소하는 방안으로의 사회 위기 관리 처방을 위해 우리 전자정부는 빅데이터를 공적으로 잘 활용할 수 있는 새로운 방안을 찾을 필요성을 가지고 사회 현안 측면의 빅데이터 주요 이슈 중요성과 시급성을 상대적 계열 분석으로 가시화 하였다. 또한 빅데이터 공공부문의 국내외 활용 동향과 함께 빅데이터 가치에 대한 새로운 실증적 접근 방향을 제시 하였다. 그리고 전자정부의 빅데이터 활용 방안으로 전자정부 역할의 중요성을 역설하고, 재난 대응의 사례 분석을 통해 불가측성을 지닌 여러 재난에 있어 사회 위기 관리를 위한 정부의 빅데이터 활용 방안으로서 함의를 지닌 정책을 제언 하였다.

비정형 대용량 데이터 입력 및 출력 시스템 설계 및 구현 (Design and Implementation of Input and Output System for Unstructured Big Data)

  • 김창수;심규철;강병준;김경환;정회경
    • 한국정보통신학회논문지
    • /
    • 제18권2호
    • /
    • pp.387-393
    • /
    • 2014
  • 컴퓨터의 보급에 따라 비정형 대용량 데이터가 범람하고 이를 효율적으로 처리하기 노력이 요구되고 있다. 이에 본 논문에서는 오피스(office) 파일(아래한글, MS-Office 등)에 입력된 데이터를 바로 XML로 변환하고, 사용자가 XML 매핑 파일을 만들어서 워드프로세서에 입력 된 데이터를 바로 추출하여 데이터베이스에 저장하는 시스템을 제안하였다. 또한, 본 시스템은 워드프로세스에 양식을 미리 작성하여 필요한 데이터를 데이터베이스에서 조회하여 워드프로세서 문서를 응용프로그램에서 오피스 파일을 생성 할 수 있다. 이는 대용량의 비정형 데이터를 활용가능하게 할 것이다.

Development of the Unified Database Design Methodology for Big Data Applications - based on MongoDB -

  • Lee, Junho;Joo, Kyungsoo
    • 한국컴퓨터정보학회논문지
    • /
    • 제23권3호
    • /
    • pp.41-48
    • /
    • 2018
  • The recent sudden increase of big data has characteristics such as continuous generation of data, large amount, and unstructured format. The existing relational database technologies are inadequate to handle such big data due to the limited processing speed and the significant storage expansion cost. Current implemented solutions are mainly based on relational database that are no longer adapted to these data volume. NoSQL solutions allow us to consider new approaches for data warehousing, especially from the multidimensional data management point of view. In this paper, we develop and propose the integrated design methodology based on MongoDB for big data applications. The proposed methodology is more scalable than the existing methodology, so it is easy to handle big data.

빅데이터 기반의 건설기술용역분야 정책 및 산업이슈 분석 기초연구 (Basic research to analyze construction policy and industrial issues based on Big Data)

  • 한재구;이교선
    • 한국건축시공학회:학술대회논문집
    • /
    • 한국건축시공학회 2018년도 춘계 학술논문 발표대회
    • /
    • pp.290-291
    • /
    • 2018
  • The purpose of this study is to analyze the trends and changes in the environment of construction technology and industry through big data analysis and to draw out implications. Based on this research, this study will be used as a basic research for the vision of industrial competitiveness in the field of construction engineering technology and the policy task.

  • PDF

빅데이터 분석을 위한 인프라 설계 (Design of Infrastructure to Analyze Big Data)

  • 박승범;이상원;안현섭;정인환
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2013년도 추계학술대회
    • /
    • pp.202-204
    • /
    • 2013
  • 요즘에는 하드웨어의 발달 덕분에, 많은 기업들이 과거에 사용했던 데이터보다 훨씬 많은 양의 데이터를 조작하고 관리해야만 한다. 이런 이유에서, 기업들은 폭발적으로 증가하는 데이터를 수집하고 저장하고 다루기 위해서, 체계화된 도구, 플랫폼, 분석 방법론을 끊임없이 긴급하게 필요로 하고 있다. 본 논문에서는 우선 빅 데이터의 주요 요소를 이해하고, 둘째로 이러한 요소들을 활용한 빅 데이터 애플리케이션을 위한 주요 요소를 정의한다. 셋째로, 빅 데이터 분석을 위한 다양한 분석 기법에 대해 연구하고, 마지막으로 빅 데이터 분석을 위한 인프라를 제안한다.

  • PDF

A Study on Construction of Aids to Navigation Big Data Based on S-201

  • Kim, Yunjee;Oh, Se-woong;Jeon, Minsu
    • 한국항해항만학회지
    • /
    • 제46권5호
    • /
    • pp.409-417
    • /
    • 2022
  • The International Association of Lighthouse Authorities (IALA) utilizes a questionnaire to investigate the status of Aids to Navigation (AtoN) around the world. However, results of the IALA questionnaire have limited use because respondent understanding is inconsistent. In addition, there is uncertainty regarding the appropriateness of the questionnaire content. Furthermore, the overall response rate is low. Therefore, the status of AtoN is not clearly understood. AtoN data from around the world are generated hourly. Thus, big data solutions are required to effectively exploit the information. Digitization of analog data is an important component of building big data. Hence, the IALA has developed a Maritime Resource Name (MRN) scheme and an information exchange standard. Here, we used the AtoN information exchange standard and designed an S-201-based big data construction process that could collect and manage global AtoN information. In this study, construction of an IALA AtoN portal was proposed as the core of the construction of the AtoN big data. The process was divided into three stages. IALA AtoN portal is developed by IALA with the goal to provide various meaningful statistical analysis results based on AtoN data while managing AtoN information around the world based on S-201. If an AtoN portal capable of constructing S-201-based big data is developed, then a data collection and storage system that can gather basic S-201 AtoN data from the IALA and global AtoN management agencies could be achieved. Furthermore, insightful statistical analysis of AtoN status worldwide and changes in manufacturing technology will be possible.

특허분석을 위한 빅 데이터학습 (A Big Data Learning for Patent Analysis)

  • 전성해
    • 한국지능시스템학회논문지
    • /
    • 제23권5호
    • /
    • pp.406-411
    • /
    • 2013
  • 빅 데이터는 여러 분야에서 다양한 개념으로 사용된다. 예를 들어, 컴퓨터학과 사회학에서 빅 데이터에 대한 접근방법에 차이가 있지만, 데이터분석 관점에서는 공통적인 부분을 갖는다. 즉, 공학이든 사회과학이든 빅 데이터에 대한 분석은 반드시 필요하다. 통계학과 기계학습은 빅 데이터의 분석을 위한 대표적인 분석도구이다. 본 논문에서는 빅 데이터분석을 위한 학습도구에 대하여 알아보고 검색된 빅 데이터 원천에서부터 분석을 거쳐 최종적으로 분석결과를 사용하는 전체과정에 대하여 효율적인 빅 데이터학습 절차에 대하여 제안한다. 특히, 대표적인 빅 데이터 구조를 갖고 있는 특허문서에 대하여 빅데이터학습을 적용하여 특허분석을 수행하고 이 결과를 기술예측에 적용하는 방법에 대하여 연구한다. 제안방법에 대한 실제적용을 위하여 전 세계 특허청으로부터 빅 데이터 관련 특허문서를 검색하여 텍스트 마이닝의 전처리와 통계학의 다중선형회귀분석을 이용한 구체적인 빅 데이터학습에 대한 사례연구를 수행하였다.

Semantic Computing for Big Data: Approaches, Tools, and Emerging Directions (2011-2014)

  • Jeong, Seung Ryul;Ghani, Imran
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제8권6호
    • /
    • pp.2022-2042
    • /
    • 2014
  • The term "big data" has recently gained widespread attention in the field of information technology (IT). One of the key challenges in making use of big data lies in finding ways to uncover relevant and valuable information. The high volume, velocity, and variety of big data hinder the use of solutions that are available for smaller datasets, which involve the manual interpretation of data. Semantic computing technologies have been proposed as a means of dealing with these issues, and with the advent of linked data in recent years, have become central to mainstream semantic computing. This paper attempts to uncover the state-of-the-art semantics-based approaches and tools that can be leveraged to enrich and enhance today's big data. It presents research on the latest literature, including 61 studies from 2011 to 2014. In addition, it highlights the key challenges that semantic approaches need to address in the near future. For instance, this paper presents cutting-edge approaches to ontology engineering, ontology evolution, searching and filtering relevant information, extracting and reasoning, distributed (web-scale) reasoning, and representing big data. It also makes recommendations that may encourage researchers to more deeply explore the applications of semantic technology, which could improve the processing of big data. The findings of this study contribute to the existing body of basic knowledge on semantics and computational issues related to big data, and may trigger further research on the field. Our analysis shows that there is a need to put more effort into proposing new approaches, and that tools must be created that support researchers and practitioners in realizing the true power of semantic computing and solving the crucial issues of big data.

Dynamics-Based Location Prediction and Neural Network Fine-Tuning for Task Offloading in Vehicular Networks

  • Yuanguang Wu;Lusheng Wang;Caihong Kai;Min Peng
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권12호
    • /
    • pp.3416-3435
    • /
    • 2023
  • Task offloading in vehicular networks is hot topic in the development of autonomous driving. In these scenarios, due to the role of vehicles and pedestrians, task characteristics are changing constantly. The classical deep learning algorithm always uses a pre-trained neural network to optimize task offloading, which leads to system performance degradation. Therefore, this paper proposes a neural network fine-tuning task offloading algorithm, combining with location prediction for pedestrians and vehicles by the Payne model of fluid dynamics and the car-following model, respectively. After the locations are predicted, characteristics of tasks can be obtained and the neural network will be fine-tuned. Finally, the proposed algorithm continuously predicts task characteristics and fine-tunes a neural network to maintain high system performance and meet low delay requirements. From the simulation results, compared with other algorithms, the proposed algorithm still guarantees a lower task offloading delay, especially when congestion occurs.

빅데이터 유통 생태계에 기반한 단계별 빅데이터 유통 모델 개발에 관한 연구 (A Study on the Development of Phased Big Data Distribution Model Based on Big Data Distribution Ecology)

  • 김신곤;이석준;김정곤
    • 디지털융복합연구
    • /
    • 제14권5호
    • /
    • pp.95-106
    • /
    • 2016
  • 본 연구는 빅데이터 유통 생태계에 기반한 단계별 빅데이터 유통 모델 개발 방안을 제안한다. 제안하는 빅데이터 유통모델의 개발은 데이터 중개 및 거래 플랫폼 구축, 거래지원 시스템 구축, 데이터 유통 포털 및 빅데이터 거래소 연결망 구축과 같이 3단계로 구성된다. 데이터 중개 및 거래 플랫폼 구축 단계에서는 데이터 유통 및 거래 플랫폼이 구축되며, 총괄시스템과 등록 및 거래관리 시스템으로 구성되며, 거래지원 시스템 구축 단계에서는 원활한 데이터 거래를 위한 거래지원 시스템이 추가적으로 구축된다. 마지막 데이터 유통 포털 및 빅데이터 거래소 연결망 구축 단계에서는 여러 거래소들의 통합에 필요한 유통 관리 시스템이 구축된다. 새로운 기술, 프로세스, 데이터 과학 등을 이용하여 과거의 데이터 관리 시스템을 빠르게 대체해 나가고 있는 현대의 데이터 시장에서 데이터 유통시장 모델은 계속 진화하고 있으며, 비즈니스 업계에서 수용되고 있다. 따라서 제안하는 빅데이터 유통 모델은 멀지 않은 장래에 데이터를 관리하고 접근하기 위한 산업표준 확립 시 고려될 수 있다고 사료된다.