• 제목/요약/키워드: 빅데이터 기반 모델링

검색결과 103건 처리시간 0.023초

빅데이터 처리 기술을 활용한 비정형데이터 분석 모델링 구축 (Building Modeling for Unstructured Data Analysis Using Big Data Processing Technology)

  • 김정훈;김성진;권기열;주다혜;오재용;이준동
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
    • /
    • pp.253-255
    • /
    • 2020
  • 기업 및 기관 데이터는 워드프로세서, 프레젠테이션, 이메일, open api, 엑셀, XML, JSON 등과 같은 텍스트 기반의 비정형 데이터로 구성되어 있습니다. 텍스트 마이닝(Textmining)을 통해서 자연어 처리 및 기계학습 등의 기술을 이용하여 정보의 추출부터 요약·분류·군집·연관도 분석 등의 과정을 수행울 진행한다. 다양한 시각화 데이터를 보여줄 수 있는 다양한 모델 구축을 진행한 후 민원 신청 내용을 분석 및 변환 작업을 진행한다. 본 논문은 AI 기술과 빅데이터를 활용하여 민원을 분석을 하여 알맞은 부서에 민원을 자동으로 할당해 주는 기술을 다룬다.

  • PDF

외부 해킹 탐지를 위한 사이버 공격 모델링 (Hacking Detection Mechanism of Cyber Attacks Modeling)

  • 천양하
    • 한국전자통신학회논문지
    • /
    • 제8권9호
    • /
    • pp.1313-1318
    • /
    • 2013
  • 사이버 침해에 실시간적이고 능동적으로 대응하기 위해 침해탐지시스템(IDS), 침입방지시스템(IPS), 방화벽(Firewall) 등 단위 정보보호시스템 뿐만 아니라 보안장비의 로그, 시스템 로그, 애플리케이션 로그 등 기종이벤트를 연관, 분석하여 해킹시도를 탐지하는 통합보안관제시스템(ESM)을 사용하고 있다. 하지만 공격이 정교화되고 고도화됨에 따라 기존의 시그너처 기반 탐지 방식의 한계점이 도출되고 있으며, 이를 극복하기 위해 빅데이터 처리 기술을 이용한 공격 모델링에 기반으로 한 징후탐지 기술이 연구되고 있다. 징후탐지 기술의 효과는 공경을 대표하는 특징 점을 정확하게 추출하고, 추출된 특징 정보를 조합하여 실효성 있는 공격 모델링을 수행하는 것이 핵심이다. 본 논문에서는 이와 같은 모델링의 기반이 되는 공격 특징을 추출하고, 시나리오 기반 모델링을 수행하여 지능적 위협을 탐지할 수 있는 방법을 제안한다.

빅데이터 분석을 활용한 실험계획법 기반의 코팅제 배합비율 최적화 모형 (Optimization Model for the Mixing Ratio of Coatings Based on the Design of Experiments Using Big Data Analysis)

  • 노성여;김영진
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제3권10호
    • /
    • pp.383-392
    • /
    • 2014
  • 코팅제에 대한 연구는 고분자 산업에서 가장 보편화되고 활발하게 연구되고 있는 내용의 하나이다. 코팅제는 전자산업, 의료, 광학 분야 등에서 중요성이 더욱 커지고 있으며, 특히 자동차 및 전자부품의 첨단화에 힘입어 코팅제에 대한 성능과 정밀도 등 기술적인 요구사항이 증가하고 있는 추세이다. 또한 방대한 환경 정보와 상황 정보를 기반으로 한 사물 인터넷과 빅데이터 분석 기술의 도입을 통해 산업 현장에서는 더욱 지능화되고 자동화된 시스템과 처리 기술의 필요성이 높아지고 있다. 이에 본 논문에서는 사물 인터넷 기술과 빅데이터 분석을 활용한 실험계획법 기반의 코팅제 배합 데이터에 대한 최적화 모형을 제안한다. 본 논문에서는 실제 생산현장에서 사용하는 코팅제 배합 기준 데이터와 발생한 오차에 대하여 작업자가 수정한 보정 결과 데이터를 실험계획법을 기반으로 분석하여 최적의 코팅제 배합 기준 데이터를 계산하였다. 또한 빅데이터 분석 기술과 사물 인터넷 기술을 활용하여 기존의 코팅제 배합 기준 데이터만을 적용한 공정이 아니라 제조 환경 정보와 상황 정보를 이용하여 색상과 품질 유지에 가장 중요한 인자를 검색하고 기준값을 보정하는 최적화 모형을 도출하였다. 실험 및 분석을 통해 확보된 기준 데이터는 제조 공정에 적용할 경우 배합의 정확도 향상과 LOT별 작업시간 단축을 가능하게 해주고, 건당 처리시간의 감소로 인한 생산 납품시간 단축, 불량률 감소 등에 따른 원가 절감에 기여할 수 있다. 또한, 다양한 모델링에 대한 제조 공정에서의 표준 데이터를 획득할 수 있다.

건설기계 조립라인의 동영상 기반 시뮬레이션 입력 모델링 절차 연구 (A Study of a Video-based Simulation Input Modeling Procedure in a Construction Equipment Assembly Line)

  • 김호영;이태훈;강봉권;이주호;홍순도
    • 한국빅데이터학회지
    • /
    • 제7권1호
    • /
    • pp.99-111
    • /
    • 2022
  • 불확실성과 복잡성이 존재하는 제조시스템의 생산성 분석과 의사결정을 위하여 시뮬레이션 기법이 활용될 수 있다. 이러한 시스템의 시뮬레이션을 위해 대상의 특성을 반영하는 입력 모델링 과정이 필요하다. 하지만 건설기계 조립라인과 같은 수작업 중심과 긴 리드타임을 가지는 복잡한 환경에서는 시뮬레이션에 활용할 데이터의 수집이 제한된다. 본 연구는 입력 데이터의 수집이 어려운 환경에서 동영상 데이터를 이용한 시뮬레이션 입력 모델링 절차를 제안한다. 동영상 데이터 기반 작업분석을 통해 측정시간을 정미시간과 표준시간으로 산정하고, 시뮬레이션의 입력 분포로 활용할 수 있다. 제안하는 절차로 산정된 확률분포를 시뮬레이션에 이용하여 대상 시스템의 주요 생산성 지표를 분석하였다. 본 연구에서 제안하는 절차는 데이터가 적은 상황에서 시뮬레이션을 활용한 생산성 분석으로 의사결정 보조에 도움을 줄 것으로 기대된다.

텍스트마이닝을 활용한 정보보호 키워드 기반 소셜미디어 빅데이터 분석 (Social Media Bigdata Analysis Based on Information Security Keyword Using Text Mining)

  • 정진명;박영호
    • 한국산업정보학회논문지
    • /
    • 제27권5호
    • /
    • pp.37-48
    • /
    • 2022
  • 디지털 기술의 발전으로 사회적 이슈들이 SNS와 같은 디지털 기반 플랫폼을 통해서 소통되고 여론을 형성하기도 한다. 본 연구에서는 소셜미디어를 통해서 공유되고 있는 정보보호 이슈관련 여론을 살펴보기 위하여 대표적인 단문 소셜네트워크서비스인 트위터 빅데이터 분석을 진행하였다. 2021년 1년간 14개 정보보호 관련 키워드를 중심으로 데이터를 수집한 후, 데이터마이닝 기술을 활용하여 용어 빈도(TF)분석과 피어슨 계수를 활용한 상관분석을 통해 키워드간의 상관관계를 밝혔다. 또한 잠재적 확률기반 LDA 토픽모델링을 실시하여 정보보호분야에 많은 관심을 받았던 6개의 주요 토픽을 도출하였다. 이러한 결과는 관련 산업의 전략수립이나, 정부 정책수립 시 주요 키워드를 도출하는 기초데이터로 활용될 수 있을 것으로 기대된다.

텍스트 마이닝을 활용한 데이터 거버넌스 연구 동향 분석: 2009년~2021년 국내 학술지 논문을 중심으로 (The Study on Data Governance Research Trends Based on Text Mining: Based on the publication of Korean academic journals from 2009 to 2021)

  • 정선경
    • 디지털융복합연구
    • /
    • 제20권4호
    • /
    • pp.133-145
    • /
    • 2022
  • 연구 목적은 데이터 거버넌스의 연구 동향을 파악하고자 하였다. 연구 대상은 데이터 거버넌스 개념과 전략이 제시되기 시작한 2009년부터 2021년까지의 논문 158편을 대상으로 하였다. 주요 연구방법은 텍스트 마이닝을 활용하였고, 주요 방법은 빈도분석, 워트클라우드, 네트워크 분석 및 토픽 모델링 기법을 사용하여 분석하였다. 연구 결과 최빈 키워드는 정보, 빅데이터, 관리, 정책, 정부, 법률, 스마트가 확인되었다. 또한 네트워크 분석 결과 데이터 산업 정책, 데이터 거버넌스 성과, 국방, 거버넌스, 데이터 공공 등의 주제로 연관된 연구 수행이 이루어지고 있었다. 토픽 모델링을 통해 도출된 4개 토픽은 "데이터 거버넌스 정책", "데이터 거버넌스 플랫폼", "데이터 거버넌스 관련 법률", "데이터 거버넌스 구현"이며, 이중 "데이터 거버넌스 플랫폼" 관련 연구는 증가 추세를 보였고, "데이터 거버넌스 구현"은 축소되고 있는 경향이었다. 본 연구는 데이터 거버넌스 관련 연구를 종합적으로 정리하였다. 데이터 거버넌스는 조직 차원의 데이터 경영 및 데이터 통합 정책, 관련 기술 등 관련 분야와 다양한 시각에서 연구영역 확대가 필요하다. 향후 해외데이터 거버넌스들을 대상으로 한 분석 대상을 확대하고 4차산업혁명, 인공지능, 메타버스 등 데이터 기반 미래 산업이 요구되는 산업 분야에서의 연구 방향과 정책 방향 수립 관련 후속 연구를 기대할 수 있다.

Web of Science 빅데이터를 활용한 텍스트 마이닝 기반의 정보윤리 이슈 탐색 (Exploring Information Ethics Issues based on Text Mining using Big Data from Web of Science)

  • 김한성
    • 컴퓨터교육학회논문지
    • /
    • 제22권3호
    • /
    • pp.67-78
    • /
    • 2019
  • 본 연구의 목적은 Web of Science(WoS)에서 제공하는 학술 빅데이터를 활용하여 정보윤리 이슈를 탐색하고 향후 정보과 정보윤리 교육을 위한 시사점을 제공하는 것에 있다. 이를 위해 WoS에서 제공하는 학술논문 중 정보윤리와 관련해 출판된 318편의 논문을 텍스트 마이닝 하였다. 구체적으로는 R을 활용해 주요키워드에 대한 빈도 분석(TF, DF, TF-IDF), 토픽 모델링 기반의 정보윤리 이슈 분석, 그리고 각 이슈에 대한 연도별 출연 빈도를 분석하여 정보윤리 연구의 경향성을 탐색하였다. 주요 결과를 살펴보면 다음과 같다. 첫째, TF-IDF를 통해 'digital', 'student', 'software', 'privacy' 등의 단어가 주요 키워드임을 확인하였다. 둘째, 토픽 모델링 분석 결과, 'Professional value', 'Cyber-bullying', 'AI and Social Impact' 등을 포함한 총 8개 이슈로 분석되었고, 그 중, 'Professional value'와 'Cyber-bullying' 이슈가 상대적으로 높은 비율을 차지하고 있었다. 본 연구는 이러한 분석 결과를 기초로 우리나라 정보윤리 교육을 시사점을 논의하였다.

빅데이터 분석에 기반한 평화교육과 통일교육의 토픽 모델링 및 네트워크 분석 (Topic Modeling and Network Analysis of Peace Education and Unification Education Based on Big Data Analysis)

  • 김병만
    • 융합정보논문지
    • /
    • 제12권3호
    • /
    • pp.25-37
    • /
    • 2022
  • 본 연구에서는 빅데이터 분석에 기반한 평화교육과 통일교육의 주제적 특징을 도출하여 정책과 담론, 교육방향과 내용, 사회적 쟁점 등의 동향을 총체적으로 점검하는데 그 목적이 있다. 본 연구의 결과를 요약해 보면, 첫째, 평화교육과 통일교육에서 '평화', '통일', '교육', '연구', '학생', '학교', '교사', '대상', '한반도' 등은 공통적으로 중요한 키워드로 나타났다. 둘째, 평화교육의 상위토픽은 '평화교육과 시민교육', 통일교육의 상위토픽은 '통일교육의 공감과 참여'로 나타났다. 셋째, 평화교육에서 정부별로 상승추세를 나타내는 토픽으로는 '세계평화와 인권', '평화교육의 대상과 방향', 통일교육에서 정부별로 상승추세를 나타내는 토픽으로는 '통일교육의 주체'로 나타났다. 넷째, 평화교육에서 '평화', '교육', '학생', '학교', '평화교육' 등의 중심성이 높았고, 통일교육에서는 '통일교육, '통일', '교육', '통일부', '학교', '교사'의 중심성이 높았다. 본 연구를 통해 평화교육과 통일교육에 대한 이해의 지평을 확장할 수 있었고, 관련 정책 수립 및 후속 연구 수행에 의미 있는 시사점을 제공하였다.

대용량 그래프에서의 유사 매칭을 위한 그래픽 사용자 인터페이스 기반 서브 그래프 생성 도구에 대한 연구 (A Study on GUI based Subgraph Generation Tool for Similar Matching in Large Capacity Graphs)

  • 송재오;홍승민;이상문
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2018년도 제58차 하계학술대회논문집 26권2호
    • /
    • pp.349-350
    • /
    • 2018
  • 최근 빅데이터를 비롯한 각종 실험 장비의 발전에 따라 첨단 분야에서의 과학데이터가 급격히 증가하고 있는 가운데, 그래프 매칭은 컴퓨터 네트워크 모니터링, 소셜 네트워크의 진화 분석, 생물학 네트워크에서 모티프(motif) 탐지 등 네트워크 분석 및 데이터 마이닝 분야에서 널리 활용되고 있다. 이와 같이, 폭발적으로 증가하는 데이터에 대한 네트워크 모델링 및 유사 그래프 매칭 분석을 수행하기 위한 연구 및 기반 기술 개발은 필수적인 실정이다. 본 논문에서는 이미 확보된 대용량 그래프에서 유사한 형태의 서브 그래프를 매칭할 수 있는 GUI(Graphic User Interface)기반의 생성 도구를 제안한다.

  • PDF

토픽 모델링을 활용한 '수돗물 유충' 뉴스 빅데이터 분석 (News Big Data Analysis of 'Tap Water Larvae' Using Topic Modeling Analysis)

  • 이수연;김태종
    • 한국콘텐츠학회논문지
    • /
    • 제20권11호
    • /
    • pp.28-37
    • /
    • 2020
  • 본 연구는 '수돗물 유충' 사태의 뉴스 빅데이터를 분석함으로써, '수돗물 유충'과 관련된 주요 키워드와 토픽을 파악하여, 환경문제에 대한 위기 대응력 제고방안을 제안하기 위해 수행되었다. 2020년 7월 13일부터 8월 31일까지 보도된 1,975건의 '수돗물 유충' 뉴스를 토픽 모델링 기법으로 분석하였다. 그 결과 언론에서 나타난 '수돗물 유충' 사태가 발생기, 확산기, 수습기로 구분되며, 각 5개의 토픽을 선정하여, 환경문제의 발생과 추진 과정을 확인할 수 있었다. 분석 결과를 바탕으로 환경문제에 대한 위기 대응 방안을 다음과 같이 제언하였다. 첫째, '수돗물 유충' 사건을 중심으로 얽혀있는 다양한 맥락을 탐구하고 통합적인 안목을 형성하는 교육으로 환경문제에 대한 대응력을 기를 수 있도록 해야 한다. 둘째, 인터넷 커뮤니티를 활용한 시민참여의 환경정보 공유와 환경감시 역할 부여가 필요하다. 셋째, 신속하고 정확한 환경정보 제공과 소통을 담당하는 환경 커뮤니케이터의 양성 및 배치가 필요하다. 본 연구는 '수돗물 유충' 관련 뉴스 빅데이터를 기반으로 국내에서 처음으로 토픽 모델링 분석기법을 활용하여 분석한 연구로서, 비정형 데이터로 나타나는 환경 관련 이슈를 실증적이고 체계적으로 분석했다는 학술적 의의와 환경교육 및 커뮤니케이션 개선 방안을 제시했다는 정책적 의의를 지닌다.