• 제목/요약/키워드: 빅데이터 분석 플랫폼

검색결과 344건 처리시간 0.024초

빅데이터 분석을 활용한 민식이법 제정과정에 대한 연구 (A Big Data Analysis on the Enactment Process of Min-Sik's Law)

  • 강애라;남태우
    • 정보화정책
    • /
    • 제30권4호
    • /
    • pp.89-112
    • /
    • 2023
  • 교통안전정책은 교통안전법을 기반으로 5년마다 수립되어 진행되고 있다. 장기적으로 계획이 수립되어 진행되는 정책 외에도 사회적으로 이슈가 되는 각종 사건, 사고의 재발을 방지하기 위해 수립되는 정책들도 있다. 시민의 행정참여는 최근 들어 관심이 매우 집중되고 있으며, 행정의 민주성을 실현할 수 있는 효율적인 수단이 되고 있다. 본 연구에서는 최근 어린이보호구역에 대한 법령강화라는 사회적 이슈를 몰고 온 '김민식 사건'이 '국민청원'이라는 '온라인 플랫폼'의 등장으로 인해 어떻게 행정의 민주성이 구현되고 있으며, 법제정에 기여하게 되었는지 빅데이터 분석을 기반으로 제시하고자 한다. 이슈의 주기에 따른 정책변동을 시계열적인 구분에 따라 나누고 각 구간에 어떠한 내용으로 구성되고 있는지 텍스트마이닝 분석을 통해 살펴보고자 한다. 본 연구의 결과는 정책문제 해결에 있어 실질적이고 현실적인 대안의 마련이 중요하다는 정책적 함의를 제시함으로써 연구자 및 정책입안자에게 유용한 이론적, 실무적 시사점을 제공할 것으로 기대한다.

Apache Kudu와 Impala를 활용한 Lambda Architecture 설계 (Lambda Architecture Used Apache Kudu and Impala)

  • 황윤영;이필원;신용태
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권9호
    • /
    • pp.207-212
    • /
    • 2020
  • 데이터의 양은 기술의 발전으로 크게 증가하였고 이를 처리하기 위해 다양한 빅데이터 처리 플랫폼이 등장하고 있다. 이 중 가장 널리 사용되고 있는 플랫폼이 Apache 소프트웨어 재단에서 개발한 하둡이며, 하둡은 IoT 분야에도 사용된다. 그러나 기존에 하둡 기반 IoT 센서 데이터 수집 분석 환경은 하둡의 코어 프로젝트인 HDFS의 Small File로 인한 네임노드의 과부하 문제와 임포트된 데이터의 업데이트나 삭제가 불가능하다는 문제가 있다. 본 논문에서는 Apache Kudu와 Impala를 활용해 Lambda Architecture를 설계한다. 제안하는 구조는 IoT 센서 데이터를 Cold-Data와 Hot-Data로 분류해 각 성격에 맞는 스토리지에 저장하고 배치를 통해 생성된 배치뷰와 Apache Kudu와 Impala를 통해 생성된 실시간뷰를 활용해 기존 하둡 기반 IoT 센서 데이터 수집 분석 환경의 문제를 해결하고 사용자가 분석된 데이터에 접근하는 시간을 단축한다.

실시간 SNS 데이터를 위한 Storm 기반 동적 태그 클라우드 (Storm-Based Dynamic Tag Cloud for Real-Time SNS Data)

  • 손시운;김다솔;이수정;길명선;문양세
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권6호
    • /
    • pp.309-314
    • /
    • 2017
  • 일반적으로 SNS (social network service) 데이터는 정형, 비정형 데이터가 섞여 빠르게 생성되는 빅데이터의 특성을 갖기 때문에 실시간 수집/저장/분석에 많은 어려움이 있다. 본 논문에서는 이러한 SNS 데이터의 분석에 활용할 수 있는 Apache Storm 기반 실시간 동적 데이터 시각화 기술을 제안한다. Storm은 대표적인 빅데이터 기술 중 하나로, 실시간으로 수집되는 데이터를 분산 환경에서 처리 및 분석하는 소프트웨어 플랫폼이다. 본 논문은 Storm을 사용하여 빠르게 발생하는 트위터(Twitter) 데이터를 수집 및 집계하고, 태그 클라우드를 통해 그 결과를 동적으로 표현하고자 한다. 이를 위해, 사용자가 요구하는 키워드를 입력받고 해당 키워드를 통한 시각화 결과를 실시간으로 확인할 수 있는 웹 인터페이스를 설계 및 구현한다. 또한, 각각의 태그 클라우드 결과를 비교하여 올바로 시각화되었는지 확인한다. 본 연구를 통해, 사용자는 관심있는 주제가 SNS에서 어떻게 변화하고 있는지 직관적으로 판단할 수 있게 되며, 시각화 결과는 주제별 트렌드 분석, 고객 니즈 파악 등 다른 서비스에도 활용이 가능하다.

소셜 빅데이터분석을 통한 외국인근로자에 관한 국민 인식 분석과 정책적 함의 (Analysis of Public Perception and Policy Implications of Foreign Workers through Social Big Data analysis)

  • 하재빈;이도은
    • 디지털융복합연구
    • /
    • 제19권11호
    • /
    • pp.1-10
    • /
    • 2021
  • 본 연구에서는 빅데이터 기법 중에 하나인 텍스트마이닝을 활용하여 소셜플랫폼에서 외국인근로자에 대한 인식을 알아보고 시사점을 도출하고자 하였다. 연구를 위해서 2020년 1월 1일부터 12월 31일까지를 기준으로 '외국인근로자' 검색 키워드를 수집하여 빈도분석, TF-IDF 분석, 연결중심성 분석으로 상위 키워드 100개를 도출하고 비교분석을 수행하였다. 또한 Ucinet6.0과 Netdraw를 이용해 의미연결망을 분석하였으며, CONCOR 분석을 통해 외국인정책 이슈, 지역사회 이슈, 사업주 관점 이슈, 고용 이슈, 근로환경 이슈, 법적 이슈, 출입국 이슈, 인권 이슈로 8개 클로스터로 군집화하였다. 이러한 분석 결과를 바탕으로 외국인근로자 국민적 인식, 주요 이슈를 파악하였으며, 향후 외국인근로자에 대한 정책 및 관련 연구에 필요한 기초자료를 제공하고자 한다.

ICT 기반의 스마트팜 설계 (ICT-based Smart Farm Design)

  • 신봉희;전혜경
    • 융합정보논문지
    • /
    • 제10권2호
    • /
    • pp.15-20
    • /
    • 2020
  • 본 논문에 ICT 기반의 스마트 팜 설계를 제안한다. 현재 전체 인구 감소에 따라 자연적으로 농촌인구의 감소도 필연적으로 도래하고 있다. 날로 올라가는 인건비 증가에 따른 각 농가의 경제적 부담은 점점 커져간다. 이에 대한 해결책으로 컴퓨팅 자원을 활용한 스마트팜 보급의 필요성이 대두되고 있다. 제안된 시스템은 4차 산업혁명에서 떠오르고 있는 ICT 기술을 활용한다. 방대한 양의 데이터 수집을 위해 빅데이터 분석을 활용하고 수집된 자료의 관리와 효율적인 서비스 제공을 위한 플랫폼을 제안한다. 제안한 플랫폼은 SOA 서비스 레이어, 미들웨어 레이어, 리소스 풀 레이어, 물리적 리소스 레이어로 구성된다. 각 레이어가 갖고 있는 하부 구성요소를 이용하여 ICT 기반의 스마트팜 서비스는 사용자 입장에서 필요한 기능만을 서비스로 제공하기 때문에 비용을 낮출 수 있고 설치 및 관리가 용이할 것으로 여겨진다.

오픈소스 모바일 클라우드 서비스: R 기반 공간영상정보 필터링 사례 (An Open Source Mobile Cloud Service: Geo-spatial Image Filtering Tools Using R)

  • 강상구;이기원
    • Spatial Information Research
    • /
    • 제22권5호
    • /
    • pp.1-8
    • /
    • 2014
  • 정보통신기술(ICT: Information Communication Technology) 분야의 시장을 주도하는 모바일, 클라우드 컴퓨팅, 빅데이터 등과 같은 트렌드 기술들은 공간정보 분야를 포함한 대부분의 응용분야에 지대한 영향을 미치고 있다. 이중에서 클라우드 컴퓨팅은 비록 우리나라에서는 초기 적용단계 수준이지만 다른 트렌드 기술들 간의 연계를 위한 플랫폼 역할을 담당한다. 특히 모바일과 클라우드 컴퓨팅이 결합된 형태인 모바일 클라우드는 모바일 단말 환경의 제한점들을 보완하고 기존의 모바일 앱에 비하여 더 많은 정보처리기능의 제공이 가능하다는 점에서 주목을 받고 있다. 이번 연구에서는 모바일 클라우드 환경을 OpenStack 및 다양한 오픈소스를 활용하여 구축하고, 이를 플랫폼으로 하여 공간영상정보 필터링 기능을 수행하는 시스템을 시험적으로 설계 및 구현하였다. 한편 공간영상정보 처리는 빅데이터 분석기술로 각광받고 있는 R 환경을 적용하여 필터링 처리를 수행하였다. 이러한 시도는 향후 R을 활용한 공간영상정보 분석서비스 개발과 다양한 공간정보와 연계되는 새로운 서비스 모델 개발에 적용될 것으로 기대한다.

빅데이터 분석을 이용한 패션 플랫폼과 패션 스마트 팩토리에 대한 인식 연구 (A Study on the Perception of Fashion Platforms and Fashion Smart Factories using Big Data Analysis)

  • 송은영
    • 한국의류산업학회지
    • /
    • 제23권6호
    • /
    • pp.799-809
    • /
    • 2021
  • This study aimed to grasp the perceptions and trends in fashion platforms and fashion smart factories using big data analysis. As a research method, big data analysis, fashion platform, and smart factory were identified through literature and prior studies, and text mining analysis and network analysis were performed after collecting text from the web environment between April 2019 and April 2021. After data purification with Textom, the words of fashion platform (1,0591 pieces) and fashion smart factory (9750 pieces) were used for analysis. Key words were derived, the frequency of appearance was calculated, and the results were visualized in word cloud and N-gram. The top 70 words by frequency of appearance were used to generate a matrix, structural equivalence analysis was performed, and the results were displayed using network visualization and dendrograms. The collected data revealed that smart factory had high social issues, but consumer interest and academic research were insufficient, and the amount and frequency of related words on the fashion platform were both high. As a result of structural equalization analysis, it was found that fashion platforms with strong connectivity between clusters are creating new competitiveness with service platforms that add sharing, manufacturing, and curation functions, and fashion smart factories can expect future value to grow together, according to digital technology innovation and platforms. This study can serve as a foundation for future research topics related to fashion platforms and smart factories.

스마트 통합플랫폼 보안위협과 대응방안 연구 (A Study on the Security Threat Response in Smart Integrated Platforms)

  • 유승재
    • 융합보안논문지
    • /
    • 제22권1호
    • /
    • pp.129-134
    • /
    • 2022
  • 스마트플랫폼이란 기존 플랫폼과 첨단 IT기술을 결합함으로써 물리 및 가상공간을 초연결 환경으로 구현한 진화된 플랫폼이라 정의된다. 초연결로 언급되는 정보와 정보, 인프라와 인프라, 인프라와 정보, 공간과 서비스가 연결은 사용자의 삶의 질과 환경을 획기적으로 변화시켜 주는 고품질의 서비스 구현 및 제공을 가능하게 한다. 특히 스마트 정부와 스마트 헬스케어 구현으로 사회안전망과 개인건강관리 수준을 획기적으로 개선시킨 효과를 모두에게 제공하고 있다. 이 과정에서 생산되고 소비되는 수많은 정보들은 그 자체로서 혹은 빅데이터 분석을 통해 공공 및 개인의 기본권을 위협하는 요인으로 작용할 수 있다. 특히 스마트시티의 생태계를 형성하는 핵심기능으로서의 스마트플랫폼은 자연스럽게 지속적으로 확장되어 가기 때문에 그에 따르는 데이터의 처리운용과 네트워크 운영 상 커다란 보안 부담에 직면하고 있다. 이 논문에서는 스마트시티의 핵심 기능으로서의 플랫폼 구성 요소와 그에 대한 적절한 보안위협 및 대응 방안을 연구한다.

빅데이터 융합 기반 NCS 홈페이지에 관한 탐색적 연구: 스플렁크 활용을 중심으로 (An Exploratory Study on the Big Data Convergence-based NCS Homepage : focusing on the Use of Splunk)

  • 박성택;이재덕;김태웅
    • 디지털융복합연구
    • /
    • 제16권7호
    • /
    • pp.107-116
    • /
    • 2018
  • NCS는 지식, 스킬, 태도 등과 같은 역량 구성요소들을 시스템함으로써 다양한 산업현장에서 다양한 레벨의 역량을 키우고 이에 부합하는 직무를 수행할 수 있도록 지원하는데 목적이 있다. NCS는 또한 교육훈련 프로그램 설계와 업무현장평가를 위한 스펙 개발을 위한 자료로 사용되기도 한다. 한국산업인력공단은 데이터를 기반으로 하는 NCS 관련 서비스 혁신을 위해 스플렁크라는 빅데이터분석시스템을 도입 운영 중이다. 스플렁크는 사용자가 손쉽게 폭넓은 데이터를 검색, 수집, 조직화 할 수 있는 플랫폼으로 기존의 노동집약적인 데이터베이스 운영체계와는 전혀 다른 서비스를 제공한다. 스플렁크의 데이터 시각화 및 분석기능을 활용하여 한국산업인력공단은 기존에는 불가능하였던 NCS 관련 서비스에 대한 새로운 관점과 운영적 인텔리젼스를 확보할 수 있게 되었다. 본 논문에서는 NCS 홈페이지를 분석하였다. 구체적으로는 스플렁크을 활용한 NCS 관련 서비스 및 축적 데이터에 대한 시각화 전략과 대시보드 설계 그리고 다양한 통계적 분석기능 및 구조에 대해 분석하고 이에 대한 소개를 하였으며, 이러한 사례 연구를 통한 실무적인 차원에서의 활용방안과 시사점을 제시하였다.

마이크로 서비스 아키텍처를 지원하는 데이터 프로파일링 소프트웨어의 개발 (Development of Data Profiling Software Supporting a Microservice Architecture)

  • 장재영;김지훈;지서우
    • 한국인터넷방송통신학회논문지
    • /
    • 제21권5호
    • /
    • pp.127-134
    • /
    • 2021
  • 최근 빅데이터 산업의 확대로 고품질의 데이터를 확보하는 것이 중요한 이슈로 떠오르고 있다. 고품질의 데이터를 확보하기 위해서는 데이터에 품질에 대한 정확한 평가가 선행되어야 한다. 데이터의 품질은 데이터에 대한 통계와 같은 메타정보를 통해 평가할 수 있는데 이러한 메타정보를 자동으로 추출하는 기능을 데이터 프로파일링이라고 하다. 지금까지 데이터 프로파일링 소프트웨어는 기존의 데이터 품질 또는 시각화 관련 소프트웨어의 부품이나 추가적인 서비스로 제공되는 것이 일반적이었다. 따라서 프로파일링이 요구되는 다양한 환경에서 직접적으로 사용하기에는 적합하지 않았다. 본 논문에서는 이를 해결하기 위해 마이크로 서비스 아키텍처를 적용하여 다양한 환경에서 서비스가 가능한 데이터 프로파일링 소프트웨어의 개발 결과를 제시한다. 개발된 데이터 프로파일러는 restful API를 통해 데이터의 메타정보에 대한 요청과 응답을 제공하여 사용하기 쉬운 서비스를 제공한다. 또한, 특정 환경에 종속되지 않고 다양한 빅데이터 플랫폼이나 데이터 분석 도구들과 원활한 연계가 가능하다는 장점이 있다.