• Title/Summary/Keyword: 빅데이터분석기사

Search Result 151, Processing Time 0.033 seconds

An Introduction and Trend Analysis in Questions of Engineer Big Data Analyst (빅데이터분석 기사 국가기술자격 개요 및 출제 경향 분석)

  • Jang, Hee-Seon;Song, Ji Young
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2022.01a
    • /
    • pp.393-394
    • /
    • 2022
  • 본 논문에서는 과학기술정보통신부와 통계청에서 주관하고 한국산업인력공단에서 시행(한국데이터산업진흥원 위탁)하는 「빅데이터분석기사」에 대한 필기 및 실기 시험의 내용을 설명하고 지금까지 2회에 걸쳐 시행된 시험에 대한 문제점과 이에 대한 해결방안을 제시하였다. 2021년 처음 시행된 국가기술자격으로써 기존 자격증과의 차별성, 난이도 조정, 수험생들의 각종 민원 발생 등의 문제를 해결하기 위한 체계적인 시스템 마련이 요구되며, 향후 데이터 과학자들에 대한 수요 급증에 대비하기 위해 빅데이터분석 실무 능력을 평가하기 위한 바람직한 제도와 정책이 병행되어야 한다.

  • PDF

Development of Automatic Robot for Writing Baseball Articles Based on BigData Analysis (빅데이터 분석 기반 자동 야구기사작성 로봇 개발)

  • Chae, Byeong-Ju;Park, Kyung-Chul;Kwon, Tae-Jeong;Kim, Sang-Hwan;Kim, Young-Ju;Lee, Dong-Gyu;Kim, Byung-Gyu
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.1622-1624
    • /
    • 2015
  • 세계적으로 자동기사 작성 시스템을 적용한 사례가 증가하는 가운데 미국의 LA 타임스가 2013년에 지진 속보 기사를 완성하면서 주목 받기도 했으며 국내에서도 비슷한 사례들의 개발이 지속적으로 진행되고 있다. 본 논문에서는 로봇저널리즘 시대에 맞춰 빅데이터 기반의 자동기사작성 로봇 개발방법을 제안하고, 데이터를 수집해 기사를 추출해내는 빅데이터 기반의 자동기사작성 로봇을 객관적인 데이터를 수집할 수 있는 스포츠분야에 적용하여 개발하였다. 본 기술로 인해 객관적인 내용을 표현할 수 있는 기사를 실시간으로 작성 및 온라인으로 배포 할 수 있으며, 확장을 통해 온라인 시청자들에게 다양한 실시간 정보제공이 가능할 수 있을 것으로 예상된다.

Presenting the possibility of using water pipe network data through R-based data mining analysis (R기반 데이터마이닝 분석을 통한 상수관망 자료 활용가능성 제시)

  • Hong, Sung Jin;Lee, Chan Wook;Yoo, Do Guen
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2020.06a
    • /
    • pp.236-236
    • /
    • 2020
  • 데이터마이닝은 빅데이터를 활용하는데 주로 활용되는 기술이다. 빅데이터 활용의 중요성이 증대됨에 따라 빅데이터를 기반으로 데이터마이닝을 활용한 생산, 금융, 통신 등의 성공적인 활용사례가 있지만 상수도 시설물에 적용한 사례는 드물다. 본 연구에서는 R프로그램을 기반으로 확보하기 어려운 데이터를 얻고자 관련 기사를 수집하고 데이터마이닝의 주요 기능인 분류, 군집(K-means)분석을 수행하였다. 예를들어, 상수관로의 정밀한 누수 분석을 위해서는 관경, 매설년도 등의 세분화된 자료가 필요하나 이러한 자료들은 쉽게 확보할 수 없다는 한계를 갖고 있다. 이러한 관점에서 상수관망 단수, 누수 등의 키워드를 통해 얻을 수 있는 기사를 기반으로 주요 키워드에 대한 군집분석을 수행하여 세분화된 상수관망 자료를 획득 및 분석하였다. 단수, 누수 키워드 기사에 의해 관경정보 등 파손된 관로의 정보를 확보할 수 있는 것으로 나타났으며 향후 확보하기 어려운 데이터를 보완할 수 있는 방법 중 하나로 활용될 수 있을것으로 기대된다. 그러나, 데이터의 양과 보다 정교한 군집분석을 위한 키워드설정 등의 추가연구가 필요할 것으로 판단된다.

  • PDF

News Article Big Data Analysis based on Machine Learning in Distributed Processing Environments (분산 처리 환경에서의 기계학습 기반의 뉴스 기사 빅 데이터 분석)

  • Oh, Hee-bin;Lee, Jeong-cheol;Kim, Kyungsup
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.11a
    • /
    • pp.59-62
    • /
    • 2017
  • 본 논문에서는 텍스트 형태의 빅 데이터를 분산처리 환경에서 기계학습을 이용하여 분석하고 유의미한 데이터를 만들어내는 시스템에 대해 다루었다. 빅 데이터의 한 종류인 뉴스 기사 빅 데이터를 분산 시스템 환경(Spark) 내에서 기계 학습(Word2Vec)을 이용하여 뉴스 기사의 키워드 간의 연관도를 분석하는 분산 처리 시스템을 설계 및 구현하였고, 사용자가 입력한 검색어와 연관된 키워드들을 한눈에 파악하기 쉽게 만드는 시각화 시스템을 설계하였다.

Study of Policy through Big data Analysis about Gambling News (사행산업 관련 뉴스의 빅데이터 분석을 통한 정책 연구)

  • Moon, HyeJung;Kim, SungKyung
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2016.11a
    • /
    • pp.190-193
    • /
    • 2016
  • 본 연구는 사행산업의 분야인 복권, 체육진흥투표권, 경마, 카지노에 대해 언론에서는 어떻게 다루어지고 있는지를 1990년부터 2015년까지의 뉴스데이터를 빅데이터 분석 방법 중 테스트의 의미연결망 분석을 통해 밝혀보고자 하는 연구이다. 이 논문은 의미망 분석을 통해 기사의 빈도와 연결성을 프레이밍과 시민관심 정도로 재조명 하여 기사에 대한 언론보도자의 의도와 시민의 인식차이를 밝혔고, 이를 통해 정책적 특성과 개혁과제를 탐색하였다. 분석결과 복권의 경우 당첨번호, 당첨금, 조작의혹 등 당첨에 대한 부분이 주제인 '사회문제' 형태였으며, 체육진흥투표권의 경우에는 사업입찰, 불법사이트, 발매대상 등 주로 사업추진과 불법사이트에 대한 '의무정보' 종류였고, 경마의 경우 사업장, 홍보, 기사 등으로 사업홍보나 광고 관련 뉴스이었고, 마지막으로 카지노의 경우에는 불법, 도박장, 외국인 등 '주요정보'에 해당하는 논문이었다. 시대에 따라 1990년대에는 카지노, 2000년대에는 복권, 2010년대에는 경마에 대한 기사보도가 많아졌으며, 이에 대한 시민의 반응도 사업비리, 당첨, 시민운동 등의 차이가 있었다. 마지막으로 기사의 빈도와 연결성이 나타내는 프레이밍 정도와 시민의 관심은 '1. 홍보광고, 2. 의무정보, 3. 사회이슈, 4. 주요정보' 네 가지로 구분되었으며 이 중 사고, 비리 등 주요기사로 구분되는 사회문제가 주요 공공의제로 형성되는 것을 확인할 수 있었다.

  • PDF

Correlation Analysis between News Articles and Music Charts using Big Data Technologies based on R (R 기반의 빅데이터 기술을 활용한 뉴스기사와 음원차트의 상관관계 분석)

  • Ha, Jung-chul;Kang, Dong-hoon;Park, Jae-mo;Gil, Joon-Min
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.636-639
    • /
    • 2016
  • 빅데이터의 일종인 뉴스기사 중에 아이돌 그룹관련 뉴스기사는 아이돌 그룹의 대중적 인기에 힘입어 전체 연예계 기사 중에 점점 큰 비중을 차지하고 있다. 아이돌 그룹의 소속사는 여러 홍보 방법 중 뉴스기사의 노출을 통해 비교적 저렴한 비용으로 홍보하여 음원차트 순위 향상을 위해 노력하고 있다. 본 논문에서는 뉴스기사와 음원차트 간의 상관관계를 분석하여 뉴스기사의 노출이 효율적 홍보 수단 인지를 알아보기 위해 먼저 감성분석을 통해 긍정기사와 부정기사가 음원차트 순위에 미치는 영향을 분석하고, 뉴스기사의 수가 많을수록 음원차트 순위가 상승하는지에 대해 알아보고자 한다. 이를 위해 본 논문에서는 R 언어를 이용하여 데이터 수집을 위한 웹 크롤러 설계, 회귀분석을 이용한 감성사전 구축 및 감성분석, 마지막으로 피어스만 상관계수를 이용한 상관관계 분석을 수행한다.

Data value extraction through comparison of online big data analysis results and water supply statistics (온라인 빅 데이터 분석 결과와 상수도 통계 비교를 통한 데이터 가치 추출)

  • Hong, Sungjin;Yoo, Do Guen
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.431-431
    • /
    • 2021
  • 4차 산업혁명의 도래로 사회기반시설물의 계획 및 운영관리에 있어 데이터 분석을 통한 가치추출에 대한 관심은 매우 높은 상황이다. 데이터의 가용성과 접근성, 정부 지원 등을 평가하는 공공데이터 개방지수에서 한국은 1점 만점에 0.93점을 획득하여 경제협력개발기구 회원국 중 1위(2019년 기준)를 할 정도로 매우 높은 수준(평균 0.60점)이다. 그러나 공식적으로 발표 및 배포되는 사회기반시설물 관련 정보와 심도 있는 연구 분석이 필요한 정보는 접근이 여전히 제한적이라 할 수 있다. 특히 대표적인 사회기반시설물인 상수도시스템은 대부분 국가중요시설로 지정되어 있어 다양한 정보를 획득하고 분석하는데 제약이 존재하며, 관련 국가통계인 상수도통계에서는 누수사고 등과 같은 비정상적 상황에 대한 사고지점, 원인 등과 같은 세부정보는 제공하고 있지 않다. 본 연구에서는 웹크롤링 및 빅데이터 분석기술을 활용하여 과거 일정기간 발생한 지자체의 상수도 누수사고 관련 뉴스를 전수조사하고 도출된 사고건수를 국가 공인 정보인 상수도통계자료와 비교·분석하였다. 독립적인 누수사고 기사를 추출하기 위해서 중복기사의 제거, 누수 관련 키워드 정립, 상수도분야 이외의 관련기사 제거 등의 절차가 필요하며, 이와 같은 기법은 R프로그래밍을 통해 구현되었다. 추가적으로 뉴스기사의 자연어 처리기반 정보추출기법을 통해 누수사고 건수 뿐만 아니라 사고발생일, 위치, 원인, 피해정도, 그리고 대상 관로의 크기 등을 획득하여 상수도 통계에서 제시하고 있는 정보보다 많은 가치를 추출하여 연계할 수 있는 방안을 제시하였다. 제시된 방법론을 국내 A광역시에 적용하여 누수사고 건수를 비교한 결과 상수도통계에서 제시하고 있는 누수발생건수와 유사한 규모의 사고건수를 뉴스기사분석을 통해 도출할 수 있었다. 제안된 방법론은 추가적인 정보의 추출이 가능하다는 점에서 향후 활용성이 높을 것으로 기대된다.

  • PDF

Topic Analysis Using Big Data Related to 'Blockchain usage': Focused on Newspaper Articles ('블록체인 활용' 관련 빅데이터를 활용한 토픽 분석: 신문기사를 중심으로)

  • Kim, Sungae;Jun, Soojin
    • Journal of Industrial Convergence
    • /
    • v.18 no.1
    • /
    • pp.73-78
    • /
    • 2020
  • To analyze the main topics related to the use of blockchain technology, the Topic Modeling Technique was applied to the 'Blockchain Technology Utilization' big data shown in newspaper articles. To this end, from 2013 to 2019, when newspaper articles on the use of blockchain technology first appeared, the topics were extracted from 21 newspapers and analyzed by time to 15,537 articles. As a result of the analysis, articles related to the utilization of blockchain technology have increased exponentially since 2015 and focused on IT_science and economics. Key words related to cryptocurrency, bitcoin and virtual currency were weighted high, although they differed depending on time. Blockchain technology, which had focused on financial transactions, gradually expanded to big data, Internet of Things and artificial intelligence. As a result, changes in corporate topics were also made together to expand into various fields at banks for financial transactions, focusing on large and global companies. The study showed how these topics were changing, along with the main topics in newspaper articles related to the use of blockchain technology.

『Superintendent's Direct Election System』 shown in Media News Big Data (언론사 뉴스 빅데이터를 통해 살펴본 『교육감 직선제』)

  • Kwon, Choong-Hoon
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2022.07a
    • /
    • pp.351-354
    • /
    • 2022
  • 본 연구는 최근 2022년 6월 1일에 실시된 전국 시도교육청 교육감 선거를 계기로 진행된 연구이다. 본 연구의 목적은 2010년 1월 1일부터 2022년 6월 10일까지 '교육감 직선제'를 다룬 언론사 기사들을 분석하여 그 결과를 객관적으로 제시하는 것이다. 분석 대상은 2010년 1월 1일부터 2022년 6월 10일까지 기간을 설정한 후, '교육감'과 '직선제' 2개의 용어가 모두 포함된 국내 54개 주요 언론사 뉴스 기사들(5,610건)이다. 본 연구에서는 뉴스 빅데이터 분석시스템인 빅카인즈(BIGKinds) 서비스를 적극적으로 이용하여 뉴스 트렌드 분석, 네트워크(관계도) 분석, 연관어 분석 등을 진행하였다. 본 연구자료는 관련 학문 연구자와 교육 현장 종사자들에게 시사점을 줄 수 객관적인 자료로 활용될 것이다. 본 연구는 향후 지방교육자치와 교육감 선거의 발전적 모델 탐색을 위한 다양한 연구 과정으로 확대 전개하고자 한다.

  • PDF

Methodology of Local Government Policy Issues Through Big Data Analysis (빅데이터 분석을 통한 지방자치단체 정책이슈 도출 방법론)

  • Kim, Yong-Jin;Kim, Do-Young
    • The Journal of the Korea Contents Association
    • /
    • v.18 no.10
    • /
    • pp.229-235
    • /
    • 2018
  • The purpose of this study is to propose a method to utilize Big Data Analysis to find policy issues of local governments in the reality that utilization of big data becomes increasingly important in efficient and effective policy making process. For this purpose, this study analyzed the 180,000 articles of Suwon city for the past three years and identified policy issues and evaluated policy priorities through IPA analysis. The results of this study showed that the analysis of semi-formal big data through newspaper articles is effective in deriving the differentiated policy issues of different local autonomous bodies from the main issues in the nation, In this way, the methodology of finding policy issues through the analysis of big data suggested in this study means that local governments can effectively identify policy issues and effectively identify the people. In addition, the methodology proposed in this study is expected to be applicable to the policy issues through the analysis of various semi - formal and informal big data such as online civil complaint data of the local government, resident SNS.