• 제목/요약/키워드: Big-Data Platform

검색결과 503건 처리시간 0.023초

비정형 빅데이터 분석 및 디자인씽킹을 활용한 민원문제 해결에 대한 고찰 (Irregular Bigdata Analysis and Considerations for Civil Complaint Based on Design Thinking)

  • 김태형;박병재;서응교
    • 산경연구논집
    • /
    • 제9권8호
    • /
    • pp.51-60
    • /
    • 2018
  • Purpose - Civil affairs are increasing in various forms, but civil servants who are able to handle them want to reduce the complaints and provide keywords that will help in the future due to their lack of time. While various ideas are presented and implemented as policies in solving civil affairs, there are many cases that are not policies that people can sympathize with. Therefore, it is necessary to analyze the complaints accurately and to present correct solutions to the analyzed civil complaint data. Research design, data, and methodology - We analyzed the complaints data for the last three years and found out how to solve the problems of Yongin City and alleviate the burdens of civil servants. To do this, the Hadoop platform and Design Thinking process were reviewed, and proposed a new process to fuse it. The big data analysis stage focuses on civil complaints - Civil data extraction - Civil data analysis - Categorization of the year by keywords analyzing them and the needs of citizens were identified. In the forecast analysis for deriving insights, - The case of innovation case study - Idea derivation - Idea evaluation - Prototyping - Case analysis stage used. Results - Through this, a creative idea of providing free transportation cards to solve the major issues of construction, apartment, installation, and vehicle problems was discovered. There is a specific problem of how to provide these services to certain areas, but there is a pressing need for a policy that can contribute as much as it can to the citizens who are suffering from various problems at this moment. Conclusions - In the past, there were many cases in which free traffic cards were issued mainly to the elderly or disabled. In other countries, foreign residents of other area visit the areas for accommodation, and may give out free transportation cards as well. In this case, the local government will be able to set up a framework to present with a win-win scenario in various ways. It is necessary to reorganize the process in future studies so that the actual solution will be adopted, reduce civil complaints, help establish policies in the future, and be applied in other cities as well.

딥러닝을 사용하는 IoT빅데이터 인프라에 필요한 DNA 기술을 위한 분산 엣지 컴퓨팅기술 리뷰 (Distributed Edge Computing for DNA-Based Intelligent Services and Applications: A Review)

  • ;조위덕
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권12호
    • /
    • pp.291-306
    • /
    • 2020
  • 오늘날 데이터 네트워크 AI (DNA) 기반 지능형 서비스 및 애플리케이션은 비즈니스의 삶의 질과 생산성을 향상시키는 새로운 차원의 서비스를 제공하는 것이 현실이 되었다. 인공지능(AI)은 IoT 데이터(IoT 장치에서 수집한 데이터)의 가치를 높이며, 사물 인터넷(IoT)은 AI의 학습 및 지능 기능을 촉진한다. 딥러닝을 사용하여 대량의 IoT 데이터에서 실시간으로 인사이트를 추출하려면 데이터가 생성되는 IoT 단말 장치에서의 처리능력이 필요하다. 그러나 딥러닝에는 IoT 최종 장치에서 사용할 수 없는 상당 수의 컴퓨팅 리소스가 필요하다. 이러한 문제는 처리를 위해 IoT 최종 장치에서 클라우드 데이터 센터로 대량의 데이터를 전송함으로써 해결되었다. 그러나 IoT 빅 데이터를 클라우드로 전송하면 엄청나게 높은 전송 지연과 주요 관심사인 개인 정보 보호 문제가 발생한다. 분산 컴퓨팅 노드가 IoT 최종 장치 가까이에 배치되는 엣지 컴퓨팅은 높은 계산 및 짧은 지연 시간 요구 사항을 충족하고 사용자의 개인 정보를 보호하는 실행 가능한 솔루션이다. 본 논문에서는 엣지 컴퓨팅 내에서 딥러닝을 활용하여 IoT 최종 장치에서 생성된 IoT 빅 데이터의 잠재력을 발휘하는 현재 상태에 대한 포괄적인 검토를 제공한다. 우리는 이것이 DNA 기반 지능형 서비스 및 애플리케이션 개발에 기여할 것이라고 본다. 엣지 컴퓨팅 플랫폼의 여러 노드에서 딥러닝 모델의 다양한 분산 교육 및 추론 아키텍처를 설명하고 엣지 컴퓨팅 환경과 네트워크 엣지에서 딥러닝이 유용할 수 있는 다양한 애플리케이션 도메인에서 딥러닝의 다양한 개인 정보 보호 접근 방식을 제공한다. 마지막으로 엣지 컴퓨팅 내에서 딥러닝을 활용하는 열린 문제와 과제에 대해 설명한다.

High-performance computing for SARS-CoV-2 RNAs clustering: a data science-based genomics approach

  • Oujja, Anas;Abid, Mohamed Riduan;Boumhidi, Jaouad;Bourhnane, Safae;Mourhir, Asmaa;Merchant, Fatima;Benhaddou, Driss
    • Genomics & Informatics
    • /
    • 제19권4호
    • /
    • pp.49.1-49.11
    • /
    • 2021
  • Nowadays, Genomic data constitutes one of the fastest growing datasets in the world. As of 2025, it is supposed to become the fourth largest source of Big Data, and thus mandating adequate high-performance computing (HPC) platform for processing. With the latest unprecedented and unpredictable mutations in severe acute respiratory syndrome coronavirus 2 (SARS-CoV-2), the research community is in crucial need for ICT tools to process SARS-CoV-2 RNA data, e.g., by classifying it (i.e., clustering) and thus assisting in tracking virus mutations and predict future ones. In this paper, we are presenting an HPC-based SARS-CoV-2 RNAs clustering tool. We are adopting a data science approach, from data collection, through analysis, to visualization. In the analysis step, we present how our clustering approach leverages on HPC and the longest common subsequence (LCS) algorithm. The approach uses the Hadoop MapReduce programming paradigm and adapts the LCS algorithm in order to efficiently compute the length of the LCS for each pair of SARS-CoV-2 RNA sequences. The latter are extracted from the U.S. National Center for Biotechnology Information (NCBI) Virus repository. The computed LCS lengths are used to measure the dissimilarities between RNA sequences in order to work out existing clusters. In addition to that, we present a comparative study of the LCS algorithm performance based on variable workloads and different numbers of Hadoop worker nodes.

제4차산업혁명에 대응하는 공공관리의 변화와 향후 과제: 사회-기술시스템론적 접근을 중심으로 (The Challenges of Public Policy Management for the 4th Industrial Revolution)

  • 진상기;방민석
    • 디지털융복합연구
    • /
    • 제16권4호
    • /
    • pp.39-47
    • /
    • 2018
  • 본 연구는 우리나라 제4차 산업혁명 대응에 있어 사회-기술시스템론적 공공관리의 적용 가능성을 살펴보는데 목적이 있다. 이를 위해 제4차 산업혁명의 주요 개념과 논의점 검토와 함께 해외 선도국가들의 대응 전략을 국내외 문헌 연구를 통해 분석하였다. 이를 통해 본 연구는 기술 중심에서 벗어나 사회적 난제 해결과 인간중심의 사회 혁신을 위해 제4차 산업혁명을 이끄는 정부 정책기조의 변화 필요성을 강조하였다. 즉 제4차 산업혁명의 변화에 대응하여 사회적 난제를 해결하기 위해서는 기존의 수직적, 계층적, 분화적, 기계적 정부시스템을 과감히 탈피하고, 사회-기술시스템론적 공공관리 방식을 강조해야 한다고 보았다. 향후 정부의 정책 방향은 혁신을 확산할 수 있는 창발적이며 내재적인 모습을 보여야 하며, 정부조직과 정부운영방식의 재설계, 정부 정책영역의 재설정과 이를 입법적으로 뒷받침하는 입법행정의 공조 전략이 필요하다. 본 연구는 공공부문의 제4차 산업혁명 대응성 강화를 위한 정책연구의 첫 논의라는 점에 의미가 있으며 후속연구가 이러지기를 바란다.

메타버스 이용자의 심리 특성 탐색 연구 (An Exploratory Study of Psychological Characteristics of Metaverse Users)

  • 김현정;김현중;김범수;노환호
    • 지식경영연구
    • /
    • 제24권4호
    • /
    • pp.63-85
    • /
    • 2023
  • 본 연구는 코로나-19 시대를 거치며 증가한 메타버스 공간에 관한 관심을 바탕으로 주된 이용층을 확인하고 이를 예측하는 변인을 탐색하고자 했다. 온라인 활동을 예측하기 위해서는 이용자 이용 목적과 동기 및 관련된 인구통계적 요인을 확인해야 하므로 이를 예측 변인으로 모형 분석을 진행했다. 2022년 한국미디어패널조사 데이터를 바탕으로 메타버스 이용자를 예측하는 Heckman 2단계 표본선택모형 분석을 수행했다. 분석 결과 1단계 선택모형에서 메타버스 이용을 결정하는 주된 요인으로는 오프라인 활동, 개방성, OTT 이용 여부, 그리고 유료 콘텐츠 구입 여부가 확인되었다. 또한 2단계 결과모형에서는 개방성, 성별, 유료 콘텐츠 구입 여부가 메타버스 이용 시간을 높이는 주된 변인으로 확인되었다. 이 연구 결과는 코로나-19 시대 온라인 활동 증가와 함께 메타버스 서비스에 관한 관심이 높아지고 있는 상황에서, 메타버스 이용자를 이해하고 예측하는 데 기여할 수 있을 것이다. 또한 메타버스 플랫폼 관련 기업과 개발자에게 유용한 정보를 제공할 수 있을 것이다.

DEVS 형식론 기반의 재겨냥성 하둡 시뮬레이션 환경 개발 (Development of Retargetable Hadoop Simulation Environment Based on DEVS Formalism)

  • 김병수;강봉구;김탁곤;송해상
    • 한국시뮬레이션학회논문지
    • /
    • 제26권4호
    • /
    • pp.51-61
    • /
    • 2017
  • 최근 빅 데이터가 증가하는 추세에 따라 이를 분석 및 처리하고 활용하는 방안에 대한 관심도 증대되고 있다. 이러한 빅 데이터를 저장, 관리하기 위한 대표적인 플랫폼으로 분산 컴퓨팅 프레임워크인 맵리듀스와 분산 파일 시스템인 HDFS로 구성된 하둡 플랫폼이 있다. 하둡은 일반적으로 수백 수천 대 이상의 클러스터로 구축되는데, 이 때 실제 클러스터 구성이나 파라미터에 따라 하둡 플랫폼이 가지는 효과도를 분석하는 것이 중요하다. 하지만 수천 대 이상의 클러스터 구축하여 이를 분석하는 것이 실질적으로 어렵기 때문에 모델링 및 시뮬레이션 기법을 통해 분석하는 것이 필요하다. 본 논문은 계층적이고 모듈러한 모델링이 가능한 DEVS 형식론을 기반으로 하둡 시뮬레이션 환경을 제안한다. 제안하는 시뮬레이션 환경은 하둡 실행 결과를 이용한 입력 모델 설계를 통해 어플리케이션의 특성을 잘 반영할 수 있으며, 파라미터/알고리즘/모델들을 다양하게 변경하여 실험할 수 있는 재겨냥성 환경을 제공한다. 또한 사용자 편의성의 극대화를 위해 사용자 인터페이스, 실시간 모델 뷰어, 입력 시나리오 편집기를 제공한다. 본 논문에서는 어플리케이션 실행 결과와의 비교를 통해 하둡 시뮬레이터를 검증하고, 다양한 파라미터에 대한 실험을 진행한다.

사물인터넷과 AI가 가져올 산업구조의 변화 (Changes in the Industrial Structure caused by the IoT and AI)

  • 김장환
    • 융합보안논문지
    • /
    • 제17권5호
    • /
    • pp.93-99
    • /
    • 2017
  • 최근 국내외적으로 사물인터넷(IoT, Internet of Things) 서비스 산업은 매우 빠른 속도로 변화하고 성장해 나가고 있다. 본 논문은 IoT 서비스 산업의 변화와 함께 일어나고 있는 인류의 삶 속에서의 새로운 변화의 원동력이 무엇인가를 찾기 위해 노력하였다. 이렇게 시장 환경이 변화하는 가운데 경쟁도 글로벌 경쟁, 생태계 경쟁으로 그 양상이 확대되고 있으나, 글로벌 기업들의 플랫폼 선점과 고도의 생태계 발전 전략에 비해 국내 기업들의 생태계 구축 비전은 아직 뚜렷하지 않은 상황이다. 또한 IoT 서비스의 확산에 따른 모바일 네트워크에서의 IoT 서비스 연동이 요구되고 있다. IoT 보안 프로토콜은 무선과 유선을 연계하는 게이트웨이(Gateway)에서 전달되는 데이터의 모든 내용이 누출되는 보안상의 취약점이 있어 종단간 보안도 제공하지 못하는 단점이 있다. 이에 본 논문에서는 IoT와 인공지능(AI) 서비스 산업 생태계를 구성하고 있는 제반 요소의 현황을 살펴본 후, 이로부터 얻을 수 있는 보안 산업과 관련한 전략적 시사점을 제시해 보고자 한다.

실시간 양방향 소통을 통한 이러닝 학습 지원 플랫폼의 구축 (Development of e-learning support platform through real-time two-way communication)

  • 김은미;최종원
    • 한국산학기술학회논문지
    • /
    • 제20권7호
    • /
    • pp.249-254
    • /
    • 2019
  • 인공지능(AI), 사물인터넷(IoT), 빅데이터 등 4차 산업혁명에 따른 지능 정보기술의 발전과 함께 교육 분야도 이러닝(e-Learning)을 중심으로 빠르게 재편되며 '에듀테크' 개념이 확산되고 있다. 현재 선행업체들이 온라인 교육 서비스를 실시하고 있으나 실시간으로 이루어지는 양방향 커뮤니케이션이 어렵다. 또한, 오프라인 수업의 경우 학생의 수가 많고, 시간이 한정되어 있을 뿐 만 아니라 질문할 기회를 갖지 못하는 경우가 많다. 본 논문은 이러한 문제들을 해결하기 위해 오프라인이 가지는 즉문즉답의 효율성과 온라인에서의 개방성이라는 장점을 접목하여 온라인과 오프라인상에서의 질문을 자유롭게 할 수 있는 실시간 양방향 학습 질문 및 답변 운영 시스템을 개발한다. 개발된 시스템은 실시간 개인별 맞춤형 교육 시스템으로서 답변자가 질문자의 상황을 실시간으로 확인하고 질문자의 요청에 맞는 맞춤형 답변을 제공함으로써 한 번의 연결로 질문을 해결할 수 있다. 또한 시스템의 이용 시간을 초단위로 측정하여 관리함으로써 질문자와 답변자가 효율적으로 시스템을 활용하게 할 수 있다.

전기화재 예측 및 예방을 위한 IoT 플랫폼 시스템 (IoT Platform System for Electric Fire Prediction and Prevention)

  • 양승의;이성옥;정회경
    • 한국정보통신학회논문지
    • /
    • 제26권2호
    • /
    • pp.223-229
    • /
    • 2022
  • 매년 날씨가 추워지는 동절기에는 전기 사용량이 급증하는 특징을 보인다. 많은 전기를 사용하면서 인구 밀도가 높은 시장, 목욕탕, 아파트 등의 건물들의 전기 시설의 누전으로 인해 화재 발생이 늘어나고 있다. 이러한 누전화재의 원인은 대부분 전선의 노후화로 인해 사용량이 증가되어 과도하게 걸리는 부하를 견디지 못하고 전선피복이 녹아내려 주변의 발화물질로 인하여 발생하게 된다. 본 논문에서는 과부하센서, VoC센서, 과열센서로 구성된 복합 센서를 통해 전선에 발생하는 부하 및 과열을 측정하며, 이 때 발생된 유독가스를 검출하고 게이트웨이를 활용하여 서버에 로깅하는 시스템을 구현한다. 이를 바탕으로 빅데이터 분석을 진행하여 실시간으로 전기화재를 예측, 경보 및 차단이 가능한 플랫폼과 모의 화재발생 실험이 가능한 시뮬레이터를 개발한다.

하둡 기반 DW시스템 타조와 관계형 DBMS의 성능 비교 (Performance Comparison of DW System Tajo Based on Hadoop and Relational DBMS)

  • 유신;고정현;여정모
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권9호
    • /
    • pp.349-354
    • /
    • 2014
  • 빅데이터 처리 플랫폼인 하둡의 등장 이후 SQL을 이용하여 하둡상에서 데이터 분석을 할 수 있는 SQL-on-Hadoop 기술이 주목받고 있다. 그 중에서도 국내 개발자가 주축이 되어 개발하고 올해 4월 아파치 최상위 프로젝트로 선정된 타조(Tajo)가 많은 주목을 받고 있다. SQL-on-Hadoop 기술의 등장으로 DW시장의 변화가 포착되고 있지만 그 성능에 관한 연구는 미미한 실정이다. 그래서 본 연구에서는 타조를 이용하여 관계형 데이터베이스와의 데이터 분석성능 비교에 관한 실험을 진행하여 SQL-on-Hadoop 기반 DW 선택에 도움이 될 연구를 수행하였다. 하둡 기반기술인 타조를 올바른 사용전략을 세워 활용한다면 관계형 데이터베이스보다 우수한 성능을 보인다는 결과를 얻었으며 오픈 소스인 타조는 많은 개발자들의 참여로 인해 점차 기술의 완성도가 높아져 DW 및 데이터 분석분야에서 중요한 축을 담당할 수 있을 것으로 예상한다.