• 제목/요약/키워드: Big-Data Platform

검색결과 506건 처리시간 0.024초

빅데이터를 활용한 기후변화와 연계된 생태계서비스 연구 동향분석 (Analysis of Research Trends of Ecosystem Service Related to Climate Change Using Big-data)

  • 서자유;최요한;백지원;김수경;김호걸;송원경;주우영;박찬
    • 한국환경복원기술학회지
    • /
    • 제24권6호
    • /
    • pp.1-13
    • /
    • 2021
  • This study was performed to investigate the ecosystem service patterns in relation to climate change acceleration utilizing big data analysis. This study aimed to use big data analysis as one of the network of views to identify convergent thinking in two fields: climate change and ecosystem service. The keywords were analysed to ascertain if there were any differences in the perceiving problems, policy direction, climate change implications, and regional differences. In addition, we examined the research keywords of each continent, the centre of ecosystem service research, and the topics to be referred to in domestic research. The results of the analysis are as follows: First, the keyword centrality of climate change is similar to the detailed indicators of The Intergovernmental Science-Policy Platform on Biodiversity and Ecosystem Services (IPBES) regulations, content, and non-material ecosystem services. Second, the cross-analysis of terms in two journals showed a difference in value-oriented point; the Ecosystem Service Journal identified green infrastructure as having economic value, whereas the Climate Change Journal perceives water, forest, carbon, and biodiversity as management topics. The Climate Change Journal, but not the former, focuses on future predictions. Third, the analysis of the research topics according to continents showed that water and soil are closely related to the economy, and thus, play an important role in policy formulation. This disparity is due to differences in each continent's environmental characteristics, as well as economic and policy issues. This fact can be used to refer to the direction of research on ecosystem services in Korea. Consistent with the recent trend of expanding research regarding the impacts of climate change, it is necessary to study strategies to scientifically predict and respond to the negative effects of climate change.

Apache Kudu와 Impala를 활용한 Lambda Architecture 설계 (Lambda Architecture Used Apache Kudu and Impala)

  • 황윤영;이필원;신용태
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권9호
    • /
    • pp.207-212
    • /
    • 2020
  • 데이터의 양은 기술의 발전으로 크게 증가하였고 이를 처리하기 위해 다양한 빅데이터 처리 플랫폼이 등장하고 있다. 이 중 가장 널리 사용되고 있는 플랫폼이 Apache 소프트웨어 재단에서 개발한 하둡이며, 하둡은 IoT 분야에도 사용된다. 그러나 기존에 하둡 기반 IoT 센서 데이터 수집 분석 환경은 하둡의 코어 프로젝트인 HDFS의 Small File로 인한 네임노드의 과부하 문제와 임포트된 데이터의 업데이트나 삭제가 불가능하다는 문제가 있다. 본 논문에서는 Apache Kudu와 Impala를 활용해 Lambda Architecture를 설계한다. 제안하는 구조는 IoT 센서 데이터를 Cold-Data와 Hot-Data로 분류해 각 성격에 맞는 스토리지에 저장하고 배치를 통해 생성된 배치뷰와 Apache Kudu와 Impala를 통해 생성된 실시간뷰를 활용해 기존 하둡 기반 IoT 센서 데이터 수집 분석 환경의 문제를 해결하고 사용자가 분석된 데이터에 접근하는 시간을 단축한다.

디지털 농업을 위한 딥러닝 기반의 환경 인자 추천 기술 연구 (A Study on Environmental Factor Recommendation Technology based on Deep Learning for Digital Agriculture)

  • 조한진
    • 스마트미디어저널
    • /
    • 제12권5호
    • /
    • pp.65-72
    • /
    • 2023
  • 스마트팜은 농업과 ICT의 융복합을 통해 농업의 생산뿐만 아니라 유통과 소비를 포함한 농업과 관련된 다양한 분야로 새로운 가치를 창출하는 것을 의미한다. 국내에서도 스마트 농업 확산을 위한 임대형 스마트팜을 조성하고, 스마트팜 빅데이터 플랫폼을 구축하여 데이터 수집·활용 촉진. 스마트 APC 확대, 온라인거래소 운영 및 도매시장 거래정보 디지털화 등 산지에서 소비지까지 농산물 유통 디지털 전환을 추진하고 있다. 이처럼 농업 데이터는 다양한 출처에서 특성에 따라 정보가 생성되고 있지만, 통계 및 정형화된 데이터를 이용한 서비스로만 활용되고 있다. 이는 농업에서 생산·유통·소비까지 분산된 데이터 수집으로 인해 한계가 있으며 다양한 출처로부터의 다양한 형태의 데이터를 수집·처리하기 어렵기 때문이다. 그러므로 본 논문에서는 디지털 농업을 위한 국내 농업 데이터 수집·공유 현황을 분석하고 인공지능 서비스를 위한 데이터 수집·연계 방법을 제안한다. 그리고 제안하는 데이터를 이용하여 딥러닝 기반의 환경 인자를 추천하는 방법을 제안한다.

비정형 빅데이터 분석 및 디자인씽킹을 활용한 민원문제 해결에 대한 고찰 (Irregular Bigdata Analysis and Considerations for Civil Complaint Based on Design Thinking)

  • 김태형;박병재;서응교
    • 산경연구논집
    • /
    • 제9권8호
    • /
    • pp.51-60
    • /
    • 2018
  • Purpose - Civil affairs are increasing in various forms, but civil servants who are able to handle them want to reduce the complaints and provide keywords that will help in the future due to their lack of time. While various ideas are presented and implemented as policies in solving civil affairs, there are many cases that are not policies that people can sympathize with. Therefore, it is necessary to analyze the complaints accurately and to present correct solutions to the analyzed civil complaint data. Research design, data, and methodology - We analyzed the complaints data for the last three years and found out how to solve the problems of Yongin City and alleviate the burdens of civil servants. To do this, the Hadoop platform and Design Thinking process were reviewed, and proposed a new process to fuse it. The big data analysis stage focuses on civil complaints - Civil data extraction - Civil data analysis - Categorization of the year by keywords analyzing them and the needs of citizens were identified. In the forecast analysis for deriving insights, - The case of innovation case study - Idea derivation - Idea evaluation - Prototyping - Case analysis stage used. Results - Through this, a creative idea of providing free transportation cards to solve the major issues of construction, apartment, installation, and vehicle problems was discovered. There is a specific problem of how to provide these services to certain areas, but there is a pressing need for a policy that can contribute as much as it can to the citizens who are suffering from various problems at this moment. Conclusions - In the past, there were many cases in which free traffic cards were issued mainly to the elderly or disabled. In other countries, foreign residents of other area visit the areas for accommodation, and may give out free transportation cards as well. In this case, the local government will be able to set up a framework to present with a win-win scenario in various ways. It is necessary to reorganize the process in future studies so that the actual solution will be adopted, reduce civil complaints, help establish policies in the future, and be applied in other cities as well.

딥러닝을 사용하는 IoT빅데이터 인프라에 필요한 DNA 기술을 위한 분산 엣지 컴퓨팅기술 리뷰 (Distributed Edge Computing for DNA-Based Intelligent Services and Applications: A Review)

  • ;조위덕
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권12호
    • /
    • pp.291-306
    • /
    • 2020
  • 오늘날 데이터 네트워크 AI (DNA) 기반 지능형 서비스 및 애플리케이션은 비즈니스의 삶의 질과 생산성을 향상시키는 새로운 차원의 서비스를 제공하는 것이 현실이 되었다. 인공지능(AI)은 IoT 데이터(IoT 장치에서 수집한 데이터)의 가치를 높이며, 사물 인터넷(IoT)은 AI의 학습 및 지능 기능을 촉진한다. 딥러닝을 사용하여 대량의 IoT 데이터에서 실시간으로 인사이트를 추출하려면 데이터가 생성되는 IoT 단말 장치에서의 처리능력이 필요하다. 그러나 딥러닝에는 IoT 최종 장치에서 사용할 수 없는 상당 수의 컴퓨팅 리소스가 필요하다. 이러한 문제는 처리를 위해 IoT 최종 장치에서 클라우드 데이터 센터로 대량의 데이터를 전송함으로써 해결되었다. 그러나 IoT 빅 데이터를 클라우드로 전송하면 엄청나게 높은 전송 지연과 주요 관심사인 개인 정보 보호 문제가 발생한다. 분산 컴퓨팅 노드가 IoT 최종 장치 가까이에 배치되는 엣지 컴퓨팅은 높은 계산 및 짧은 지연 시간 요구 사항을 충족하고 사용자의 개인 정보를 보호하는 실행 가능한 솔루션이다. 본 논문에서는 엣지 컴퓨팅 내에서 딥러닝을 활용하여 IoT 최종 장치에서 생성된 IoT 빅 데이터의 잠재력을 발휘하는 현재 상태에 대한 포괄적인 검토를 제공한다. 우리는 이것이 DNA 기반 지능형 서비스 및 애플리케이션 개발에 기여할 것이라고 본다. 엣지 컴퓨팅 플랫폼의 여러 노드에서 딥러닝 모델의 다양한 분산 교육 및 추론 아키텍처를 설명하고 엣지 컴퓨팅 환경과 네트워크 엣지에서 딥러닝이 유용할 수 있는 다양한 애플리케이션 도메인에서 딥러닝의 다양한 개인 정보 보호 접근 방식을 제공한다. 마지막으로 엣지 컴퓨팅 내에서 딥러닝을 활용하는 열린 문제와 과제에 대해 설명한다.

High-performance computing for SARS-CoV-2 RNAs clustering: a data science-based genomics approach

  • Oujja, Anas;Abid, Mohamed Riduan;Boumhidi, Jaouad;Bourhnane, Safae;Mourhir, Asmaa;Merchant, Fatima;Benhaddou, Driss
    • Genomics & Informatics
    • /
    • 제19권4호
    • /
    • pp.49.1-49.11
    • /
    • 2021
  • Nowadays, Genomic data constitutes one of the fastest growing datasets in the world. As of 2025, it is supposed to become the fourth largest source of Big Data, and thus mandating adequate high-performance computing (HPC) platform for processing. With the latest unprecedented and unpredictable mutations in severe acute respiratory syndrome coronavirus 2 (SARS-CoV-2), the research community is in crucial need for ICT tools to process SARS-CoV-2 RNA data, e.g., by classifying it (i.e., clustering) and thus assisting in tracking virus mutations and predict future ones. In this paper, we are presenting an HPC-based SARS-CoV-2 RNAs clustering tool. We are adopting a data science approach, from data collection, through analysis, to visualization. In the analysis step, we present how our clustering approach leverages on HPC and the longest common subsequence (LCS) algorithm. The approach uses the Hadoop MapReduce programming paradigm and adapts the LCS algorithm in order to efficiently compute the length of the LCS for each pair of SARS-CoV-2 RNA sequences. The latter are extracted from the U.S. National Center for Biotechnology Information (NCBI) Virus repository. The computed LCS lengths are used to measure the dissimilarities between RNA sequences in order to work out existing clusters. In addition to that, we present a comparative study of the LCS algorithm performance based on variable workloads and different numbers of Hadoop worker nodes.

제4차산업혁명에 대응하는 공공관리의 변화와 향후 과제: 사회-기술시스템론적 접근을 중심으로 (The Challenges of Public Policy Management for the 4th Industrial Revolution)

  • 진상기;방민석
    • 디지털융복합연구
    • /
    • 제16권4호
    • /
    • pp.39-47
    • /
    • 2018
  • 본 연구는 우리나라 제4차 산업혁명 대응에 있어 사회-기술시스템론적 공공관리의 적용 가능성을 살펴보는데 목적이 있다. 이를 위해 제4차 산업혁명의 주요 개념과 논의점 검토와 함께 해외 선도국가들의 대응 전략을 국내외 문헌 연구를 통해 분석하였다. 이를 통해 본 연구는 기술 중심에서 벗어나 사회적 난제 해결과 인간중심의 사회 혁신을 위해 제4차 산업혁명을 이끄는 정부 정책기조의 변화 필요성을 강조하였다. 즉 제4차 산업혁명의 변화에 대응하여 사회적 난제를 해결하기 위해서는 기존의 수직적, 계층적, 분화적, 기계적 정부시스템을 과감히 탈피하고, 사회-기술시스템론적 공공관리 방식을 강조해야 한다고 보았다. 향후 정부의 정책 방향은 혁신을 확산할 수 있는 창발적이며 내재적인 모습을 보여야 하며, 정부조직과 정부운영방식의 재설계, 정부 정책영역의 재설정과 이를 입법적으로 뒷받침하는 입법행정의 공조 전략이 필요하다. 본 연구는 공공부문의 제4차 산업혁명 대응성 강화를 위한 정책연구의 첫 논의라는 점에 의미가 있으며 후속연구가 이러지기를 바란다.

메타버스 이용자의 심리 특성 탐색 연구 (An Exploratory Study of Psychological Characteristics of Metaverse Users)

  • 김현정;김현중;김범수;노환호
    • 지식경영연구
    • /
    • 제24권4호
    • /
    • pp.63-85
    • /
    • 2023
  • 본 연구는 코로나-19 시대를 거치며 증가한 메타버스 공간에 관한 관심을 바탕으로 주된 이용층을 확인하고 이를 예측하는 변인을 탐색하고자 했다. 온라인 활동을 예측하기 위해서는 이용자 이용 목적과 동기 및 관련된 인구통계적 요인을 확인해야 하므로 이를 예측 변인으로 모형 분석을 진행했다. 2022년 한국미디어패널조사 데이터를 바탕으로 메타버스 이용자를 예측하는 Heckman 2단계 표본선택모형 분석을 수행했다. 분석 결과 1단계 선택모형에서 메타버스 이용을 결정하는 주된 요인으로는 오프라인 활동, 개방성, OTT 이용 여부, 그리고 유료 콘텐츠 구입 여부가 확인되었다. 또한 2단계 결과모형에서는 개방성, 성별, 유료 콘텐츠 구입 여부가 메타버스 이용 시간을 높이는 주된 변인으로 확인되었다. 이 연구 결과는 코로나-19 시대 온라인 활동 증가와 함께 메타버스 서비스에 관한 관심이 높아지고 있는 상황에서, 메타버스 이용자를 이해하고 예측하는 데 기여할 수 있을 것이다. 또한 메타버스 플랫폼 관련 기업과 개발자에게 유용한 정보를 제공할 수 있을 것이다.

DEVS 형식론 기반의 재겨냥성 하둡 시뮬레이션 환경 개발 (Development of Retargetable Hadoop Simulation Environment Based on DEVS Formalism)

  • 김병수;강봉구;김탁곤;송해상
    • 한국시뮬레이션학회논문지
    • /
    • 제26권4호
    • /
    • pp.51-61
    • /
    • 2017
  • 최근 빅 데이터가 증가하는 추세에 따라 이를 분석 및 처리하고 활용하는 방안에 대한 관심도 증대되고 있다. 이러한 빅 데이터를 저장, 관리하기 위한 대표적인 플랫폼으로 분산 컴퓨팅 프레임워크인 맵리듀스와 분산 파일 시스템인 HDFS로 구성된 하둡 플랫폼이 있다. 하둡은 일반적으로 수백 수천 대 이상의 클러스터로 구축되는데, 이 때 실제 클러스터 구성이나 파라미터에 따라 하둡 플랫폼이 가지는 효과도를 분석하는 것이 중요하다. 하지만 수천 대 이상의 클러스터 구축하여 이를 분석하는 것이 실질적으로 어렵기 때문에 모델링 및 시뮬레이션 기법을 통해 분석하는 것이 필요하다. 본 논문은 계층적이고 모듈러한 모델링이 가능한 DEVS 형식론을 기반으로 하둡 시뮬레이션 환경을 제안한다. 제안하는 시뮬레이션 환경은 하둡 실행 결과를 이용한 입력 모델 설계를 통해 어플리케이션의 특성을 잘 반영할 수 있으며, 파라미터/알고리즘/모델들을 다양하게 변경하여 실험할 수 있는 재겨냥성 환경을 제공한다. 또한 사용자 편의성의 극대화를 위해 사용자 인터페이스, 실시간 모델 뷰어, 입력 시나리오 편집기를 제공한다. 본 논문에서는 어플리케이션 실행 결과와의 비교를 통해 하둡 시뮬레이터를 검증하고, 다양한 파라미터에 대한 실험을 진행한다.

사물인터넷과 AI가 가져올 산업구조의 변화 (Changes in the Industrial Structure caused by the IoT and AI)

  • 김장환
    • 융합보안논문지
    • /
    • 제17권5호
    • /
    • pp.93-99
    • /
    • 2017
  • 최근 국내외적으로 사물인터넷(IoT, Internet of Things) 서비스 산업은 매우 빠른 속도로 변화하고 성장해 나가고 있다. 본 논문은 IoT 서비스 산업의 변화와 함께 일어나고 있는 인류의 삶 속에서의 새로운 변화의 원동력이 무엇인가를 찾기 위해 노력하였다. 이렇게 시장 환경이 변화하는 가운데 경쟁도 글로벌 경쟁, 생태계 경쟁으로 그 양상이 확대되고 있으나, 글로벌 기업들의 플랫폼 선점과 고도의 생태계 발전 전략에 비해 국내 기업들의 생태계 구축 비전은 아직 뚜렷하지 않은 상황이다. 또한 IoT 서비스의 확산에 따른 모바일 네트워크에서의 IoT 서비스 연동이 요구되고 있다. IoT 보안 프로토콜은 무선과 유선을 연계하는 게이트웨이(Gateway)에서 전달되는 데이터의 모든 내용이 누출되는 보안상의 취약점이 있어 종단간 보안도 제공하지 못하는 단점이 있다. 이에 본 논문에서는 IoT와 인공지능(AI) 서비스 산업 생태계를 구성하고 있는 제반 요소의 현황을 살펴본 후, 이로부터 얻을 수 있는 보안 산업과 관련한 전략적 시사점을 제시해 보고자 한다.