• 제목/요약/키워드: 비정형데이터

검색결과 588건 처리시간 0.033초

빅 데이터 분석을 활용한 창조경제 키워드에 대한 패턴 (A Pattern on Keyword of the Creative Economy through Utilizing Big Data Analysis)

  • 진찬용;남수태
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 춘계학술대회
    • /
    • pp.143-144
    • /
    • 2016
  • 빅 데이터 분석은 기존 데이터베이스 관리 도구로부터 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 말한다. 또한, 대량의 정형 또는 비정형 데이터 집합으로부터 가치를 추출하고 결과를 분석하는 기술을 의미한다. 대부분의 빅 데이터 분석 기술 방법들은 기존 통계학과 전산학에서 사용되던 데이터 마이닝, 기계 학습, 자연 언어 처리, 패턴 인식 등이 해당된다. 글로벌 리서치 기관들은 빅 데이터를 2011년 이래로 최근 가장 주목받는 신기술로 지목해오고 있다. 따라서 대부분의 산업에서 기업들은 빅 데이터의 적용을 통해 가치 창출을 위한 노력을 기하고 있다. 본 연구에서는 다음 커뮤니케이션의 빅 데이터 분석도구인 소셜 매트릭스를 활용하여 키워드 분석을 통해 창조경제 키워드 의미를 분석하고자 한다. 또한, 분석결과를 바탕으로 이론적 실무적 시사점을 제시하고자 한다.

  • PDF

텍스트 마이닝을 활용한 대선 관련 SNS 분석 (SNS Analysis Related to Presidential Election Using Text Mining)

  • 권영우;정덕길
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 춘계학술대회
    • /
    • pp.361-363
    • /
    • 2017
  • 최근 소셜 미디어의 이용률이 폭발적으로 증가함에 따라, 방대한 데이터가 네트워크로 쏟아져 나오고 있다. 이들 데이터는 기존의 정형 데이터뿐만 아니라 이미지, 동영상 등의 비정형 데이터가 있으며, 이들을 포괄하여 빅데이터라고 불린다. 이러한 빅데이터는 오피니언 마이닝, 테스트 마이닝 등의 기술적인 분석 기법과 빅데이터 요약 및 효과적인 표현방법에 대한 시각화 기법에 대하여 활발한 연구가 이루어지고 있다. 이 논문은 인기 있는 사회연결망 서비스인 Twitter의 트윗을 수집하고, 빅데이터 분석 기법인 텍스트 마이닝을 활용하여 2017년 대선에 대하여 분석하였다. 또한 분석된 자료의 효과적인 전달을 위해 워드 클라우드 진행하였다. 이 논문을 위하여 인기 있는 SNS인 Twitter의 최근 7일간 트윗(tweet)을 수집하고 분석하였다.

  • PDF

빅데이터 분석을 활용한 콜라겐 키워드에 대한 패턴 (A Pattern Study on Keyword of the Collagen through Utilizing Big Data Analysis)

  • 유옥경;진찬용;남수태
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 추계학술대회
    • /
    • pp.124-125
    • /
    • 2016
  • 빅데이터 분석은 기존 데이터베이스 관리 도구로부터 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 말한다. 또한 대량의 정형 또는 비정형 데이터 집합으로부터 가치를 추출하고 결과를 분석하는 기술을 의미한다. 대부분의 빅데이터 분석 기술 방법들은 기존 통계학과 전산학에서 사용되던 데이터 마이닝, 기계 학습, 자연 언어 처리, 패턴 인식 등이 해당된다. 글로벌 리서치 기관들은 빅데이터를 2011년 이래로 최근 가장 주목받는 신기술로 지목해오고 있다. 따라서 대부분의 산업에서 기업들은 빅데이터의 적용을 통해 가치 창출을 위한 노력을 기울이고 있다. 본 연구에서는 다음 커뮤니케이션의 빅데이터 분석도구인 소셜 매트릭스를 활용하여 키워드 분석을 통해 콜라겐 키워드에 대한 의미를 분석하고자 한다. 또한 분석결과를 바탕으로 실무적 시사점을 제시하고자 한다.

  • PDF

비정형데이터를 활용한 건축현장 품질성과 평가 모델 개발 (Crafting a Quality Performance Evaluation Model Leveraging Unstructured Data)

  • 이기석;송태근;유위성
    • 한국건축시공학회지
    • /
    • 제24권1호
    • /
    • pp.157-168
    • /
    • 2024
  • 최근 국내 건축현장에서 붕괴사고가 계속해서 발생하고 있어 시공 및 자재 품질 점검과 관리에 대한 공사감리의 중요성이 증가하고 있다. 현행 제도 및 기준에 의하면, 공사감리 업무는 주요 책임이 있는 감리자가 건축현장에서 진행되고 있는 시공 품질, 자재 품질, 재시공 이력 등이 상세하게 기술하여 공사감리보고서를 작성한다. 이러한 문서는 대표적인 비정형데이터로 건축현장에서 생성되고 있는 데이터의 80%의 비중을 차지하고 있으며, 건축현장의 품질정보가 상세하게 기록되어있다. 본 연구에 건축현장에서 발생하고 있는 공사감리보고서를 텍스트마이닝으로 전처리 후 감성사전을 구축하여 품질성과 수준을 평가하고 계량화할 수 있는 SL-QPA 모델을 제안하였다. 모델에서 산정된 성과 점수와 법적 기준에 의한 지표와의 피어슨 상관관계 분석하고, 상관계수에 대한 일원분산분석 결과는 통계적으로 유의미하였다. 제안된 SL-QPA 모델은 현행 건축현장 품질성과 진단에 상호 보완적으로 활용될 수 있고, 공사단계에서 연속적으로 생성되는 비정형데이터를 활용하여 점검 및 관리 활동의 적시성을 향상시킬 것으로 기대된다.

Machine Learning을 이용한 무기 체계(or 구성품) 고장 유형 식별 (Identify the Failure Mode of Weapon System (or equipment) using Machine Learning)

  • 박연경;이혜원;김상문
    • 한국산학기술학회논문지
    • /
    • 제19권8호
    • /
    • pp.64-70
    • /
    • 2018
  • 무기 체계(or 구성품) 개발은 한정된 개발기간과 비용 등의 제한으로 시험 횟수가 많지 않아, 고장관련 축적된 데이터의 규모도 적다. 그러나 운용 중 발생한 고장 및 정비내역은 많은 부분 전산 데이터로 관리하고 있기 때문에 이를 활용한 무기 체계(or 구성품)의 고장원인 분석은 가능하다. 다만 다양한 무기체계의 고장 및 정비내역 작성 규격이 각 군 별, 업체별 상이하고, 고장 원인의 구체적 내역은 비정형 텍스트 데이터로 기술되어 있기 때문에 이를 분석하는데 어려움이 있었다. 그러나 오늘날 빅데이터 처리 기술과 기계학습(Machine Learning) 알고리즘의 발전, HW연산 능력의 개선과 맞물려, 상기와 같은 비정형 데이터를 처리 할 수 있는 여러 가지 방법들이 시도 되고 있으며, 주요한 연구 분야로 활발히 연구되고 있다. 본 논문에서는 국방 무기 체계(or 구성품)의 고장/정비 관련 비정형 데이터를 기계학습 기법 중 하나인 doc2vec을 적용하여 고장사례 분석 방안에 대하여 제시한다.

텍스트 마이닝을 이용한 비대면 소프트웨어 교양과목의 요구사항 분석 (An Analysis for the Student's Needs of non-face-to-face based Software Lecture in General Education using Text Mining)

  • 정화영
    • 한국콘텐츠학회논문지
    • /
    • 제22권3호
    • /
    • pp.105-111
    • /
    • 2022
  • 온라인 수업에 대한 학생들의 니즈 분석은 객관식 설문조사 유형이 주로 수행되어왔다. 그러나 학생들의 정확한 니즈를 분석하기 위해서는 주관식 답변에 의한 비정형 데이터 분석이 요구된다. 빅데이터는 비정형 데이터 분석이 가능하여 다양한 분야에서 활용되고 있다. 본 연구에서는 비대면 온라인 수업방식을 진행되는 교양 소프트웨어 과목에서 학생들이 원하는 과목이나 주제가 무엇인지 조사 및 분석하였다. 실험방법은 학생들에게 주관식 설문조사를 시행하여 얻은 비정형 데이터를 기반으로 빅데이터의 키워드 분석, 연관 분석등을 수행하였다. 이를 통해 학생들이 교양 소프트웨어 과목에서 원하는 키워드가 무엇인지 알 수 있었으며, 이러한 연구 결과는 학생들이 배우고자하는 주제를 파악할 수 있어서 향후 교양 소프트웨어 과목의 기획 및 설계시 중요한 자료가 될 것이다.

도심지 홍수 모니터링 향상을 위한 멀티센싱 기기의 현장실증을 통해 수집된 데이터의 활용방안 마련 (Prepare a plan to utilize data collected through field demonstration of multi-sensing devices to improve urban flood monitoring)

  • 정승권;유성종;이수원
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.19-19
    • /
    • 2023
  • 최근 기후변화에 의해 단기간에 많은 양의 집중호우가 발생하여 도시지역의 침수 피해가 증가하고 있다. 이에 도시지역의 홍수 피해 해결을 위해 도심지 홍수 발생 시 홍수정도 및 상황을 파악할 수 있는 장비가 개발되었으나, 실용화 단계까지는 진행이 미흡한 상황이다. 또한 기존 도시지역 홍수 현상 및 원인을 분석하기 위해 수치모형을 활용하고 있으나, 우수관망의 노후화 및 초기 강우패턴 적용에 대한 정확한 해석결과의 어려워 활용성이 낮다. 또한 홍수정도와 발생상황 인지를 위한 계측 장비의 개발 연구는 지속적으로 진행되고 있으나, 계측 장비의 높은 가격으로 전국적으로 설치 할 수 없는 상황으로 이를 대응하기 위한 별도의 방안 마련이 필요한 실정이다. 이를 위해 본 과제에서는 고성능·저비용 계측센서를 개발하여 실용화 가능성을 높이고, 전국에 산재되어있는 CCTV(교통상황, 방법용 등)의 영상을 활용한 침수상황 인지 기술 개발, 계측 데이터와 모니터링 데이터의 활용을 위한 빅데이터 개방 플랫폼을 구축하여, 상습 침수지역에 대해 실시간 감시가 가능한 계측 시스템의 정형 데이터와 CCTV 및 영상 등 모니터링 장비의 비정형 데이터의 분석 기술을 결합한 새로운 도심지 홍수 감시 기술의 개발을 목표로 한다. 이를 위해 본 연구 1차년도에 지표면 침수심 계측센서와 우수관망 월류심 계측센서를 개발하였으며, 2차년도에는개발된 계측센서의 현장실증을 통해 데이터를 수집한다. 수집된 계측센서 데이터와 비정형(CCTV 영상) 데이터의 AI학습을 통해 분석된 침수심, 침수범위, 침수면적 데이터는 도심지 홍수 정보 프로그램을 통해 표출되며, 최종적으로는 현장 상황을 쉽게 파악 가능한 3D 레이어의 형식으로 표출하고자 한다. 추후 도심지 홍수 정보 프로그램을 통해 표출되는 3D 레이어는 환경부가 추진하는 DT(Digital Twin) 연계 인공지능(AI) 홍수예보 사업과의 연계 시 도심지 홍수 지도 구축을 위한 자료로 활용될 수 있을 것으로 판단된다.

  • PDF

정형 및 비정형 빅데이터를 이용한 양파 소비 예측 (Prediction of Onion Purchase Using Structured and Unstructured Big Data)

  • 나형철;오은화;유도일;조완섭;아지즈 나스리디노프;박성호;조용빈;류관희
    • 한국콘텐츠학회논문지
    • /
    • 제18권11호
    • /
    • pp.30-37
    • /
    • 2018
  • 인터넷 시대를 살아가는 현대인의 식품 소비는 다양한 대충 매체 및 소셜 미디어를 통해 신속하고 방대한 정보 전달에 영향을 받는 것으로 알려져 있다. 2018년 4월 국내 언론 보도에 따르면, 양파 재배 면적이 증가하고 양파 생산량이 증가할 것으로 예상되며, 이후에 양파 가격은 폭락할 것으로 예상되었다. 이러한 상황을 고려하여 SNS, 인터넷 정보 검색, 방송 프로그램에서 언급된 양파 관련 정보를 분석하여, 실제 가격폭락이 발생하기 전에, 양파 소비를 촉진할 수 있는 요인을 파악할 필요가 있다. 2018년 양파 생산량 증가에 따른 양파 가격 폭락이 예상되는 상황에, 가장 최근 양파 생산량 증가에 따라 가격 폭락을 경험하였던 2014년의 방송 프로그램 및 SNS가 양파 소비와 연계되었는지 파악하고자, 양파 소비 촉진과 관련된 정형 및 비정형 빅데이터를 수집하여, 양파 소비 촉진과 관련된 변수를 찾아 양파 가격 하락이 예상되는 2018년에 소비 촉진에 활용하고자 본 연구를 수행하였다. 연구 결과, 방송 뉴스의 양파 언급 기사 수(3~6주), 양파와 건강을 언급하는 방송 프로그램 수(11주), 양파의 효능을 언급하는 블로그의 댓글 빈도(5주)가 양파 구매금액 증가에 시차를 두고 양의 상관관계를 갖는 것을 확인한 본 연구 결과를 근거로, 양파 생산량 증가에 따른 양파 가격 폭락 시, 양파 소비 촉진을 위한 홍보에, 뉴스, 먹방, 쿡방 등의 방송 프로그램 및 블로그 등의 매체를 활용하는 소비촉진에 기여할 것으로 여겨진다.

빅데이터와 사물 인터넷의 연계 플랫폼 및 기술에 관한 연구 (A Study on Linked Platform and Techonology of Big Data and IoT)

  • 박경엽;박종혁
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.350-353
    • /
    • 2017
  • 사물 인터넷(Internet of Things, IoT)이란 사물 인터넷으로서 사물을 서로 연결 및 통신하여 정보를 주고 받을 수 있게 하는 기술이다. 사물 인터넷의 급속한 성장으로 인해 수많은 데이터가 발생하게 되었고, 이러한 이유로 인해 빅데이터(big-data) 기술이 대두되었다. 빅데이터는 정형 데이터 뿐만 아니라 사진, 동영상 등의 비정형 데이터 또한 분석하고 활용하는 기술이기 때문에 사물 인터넷과 빅데이터 기술은 서로 보완적인 관계에 있다. 이러한 두 가지 기술의 특성에 기초하여, 본 논문에서는 빅데이터와 사물 인터넷에 대한 정의와 동향에 대하여 알아보고 이러한 두 가지 기술을 연계해 활용한 실제 플랫폼과 스마트 시티 등에 대한 실생활에 쓰이는 실제 사례 및 기술들에 대해 연구하였다.

빅데이터를 활용한 재난전조감지 방안 (The Plan of Sensing of Disaster Signs Analyzing Big Data)

  • 최선화;최승용
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2012년도 학술발표회
    • /
    • pp.801-801
    • /
    • 2012
  • 최근 과학 IT 패러다임은 기존 하드웨어, 소프트웨어 중심에서 폭발적으로 증가하는 데이터를 활용하여 정치 사회 경제 등 제반 이슈와 연계된 분석 예측으로 진화하고 있으며, 모바일 인터넷과 소셜 미디어 등장으로 데이터가 경제적 자산이 되는 빅데이터 시대가 도래하였다. 급속히 변화하고 복잡해진 사회구조와 재난환경으로 인해 인력에만 의존한 재난관리의 사각지대가 대형재난으로 이어질 우려가 크므로 다양한 재난전조(前兆)를 체계적으로 관리하여 선제적으로 예방하는 체계가 필요하다. 본 연구는 인터넷에 존재하는 재난관련 언론보도, 민원, 제보, 소셜 미디어 등의 비정형 데이터와 재난관련 정형 데이터(DB)를 융합 분석하여 재난전조를 사전에 감지하고 위험요소를 신속히 제거하는 빅데이터 기반 재난전조감지 체계를 제안한다. 최근 피해가 급증하고 있는 도시내수침수 피해 위험 예방을 위해 제안한 재난전조감지 체계를 적용하여 피해발생 위험요소 및 전조, 긴급 이슈 등을 감지하는데 활용하는 방안을 제안한다. 이는 전조를 감지하고 사전 침수 피해를 예측하여 피해 최소화 및 복구비용 절감, 저감능력 강화의 효과뿐만 아니라 위험요인 사전 차단 및 확산방지가 가능할 것으로 기대된다.

  • PDF