• 제목/요약/키워드: Big Data Pattern Analysis

검색결과 171건 처리시간 0.025초

공공 데이터의 빅데이터 분석을 통한 사회 안전망 시스템 (Social Safety Systems through Big Data Analysis of Public Data)

  • 이선의;정준희;차경현;손기준;김상지;김진영
    • 한국위성정보통신학회논문지
    • /
    • 제10권4호
    • /
    • pp.77-82
    • /
    • 2015
  • 본 논문은 빅 데이터 분석을 이용하여 산악 안전사고를 예방하기 위하여 사고 예측 모델을 제시하였다. 산악 안전사고의 축적된 데이터를 파악하기 쉽게 그래프로 나타내었다. 사고가 발생하는 패턴을 알기 위하여 산악 안전사고 발생 건수의 연도별 분석, 연간 월별 사고 발생 건수, 요일별, 시간대별 분석을 수행하였다. 나타낸 그래프를 이용하여 산악 안전사고의 영향을 미치는 변수들을 가중치 모델링을 통하여 사고 예측 모델을 구성하였다. 산악 지역의 사고 다발 구역에 제시한 모델을 적용하여 예측 모델의 성능을 검정하였다.

텍스트 마이닝을 활용한 건설안전사고 빅데이터 분석 (Big Data Analytics of Construction Safety Incidents Using Text Mining)

  • 서정욱;송지훈
    • 한국산업융합학회 논문집
    • /
    • 제27권3호
    • /
    • pp.581-590
    • /
    • 2024
  • This study aims to extract key topics through text mining of incident records (incident history, post-incident measures, preventive measures) from construction safety accident case data available on the public data portal. It also seeks to provide fundamental insights contributing to the establishment of manuals for disaster prevention by identifying correlations between these topics. After pre-processing the input data, we used the LDA-based topic modeling technique to derive the main topics. Consequently, we obtained five topics related to incident history, and four topics each related to post-incident measures and preventive measures. Although no dominant patterns emerged from the topic pattern analysis, the study holds significance as it provides quantitative information on the follow-up actions related to the incident history, thereby suggesting practical implications for the establishment of a preventive decision-making system through the linkage between accident history and subsequent measures for reccurrence prevention.

빅데이터 분석 도구 R 언어를 이용한 논문 데이터 시각화 (Visualizing Article Material using a Big Data Analytical Tool R Language)

  • 남수태;신성윤;진찬용
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.326-327
    • /
    • 2021
  • 최근 빅데이터 활용은 매우 다양한 산업 분야에서 광범위하게 관심을 가지고 있다. 빅데이터 분석은 데이터 저장소에 저장된 대용량 데이터 속에서 의미 있는 새로운 상관관계, 패턴, 추세를 발견하여 새로운 가치를 창출하는 과정이다. 또한 대부분의 빅데이터 분석 기술 방법들은 기존 통계학과 전산학에서 사용되던 데이터 마이닝, 기계 학습, 자연 언어 처리, 패턴 인식 등이 이에 해당된다. 그리고 빅데이터 분석 도구인 R언어를 이용하여 전-처리된 텍스트 데이터를 이용하여 다양한 시각화 함수를 통해 분석결과를 표현할 수 있다. 본 연구에서 사용된 데이터는 특정 학회지 논문 중에서 29편을 대상으로 분석을 하였다. 최종 분석결과는 가장 많이 언급된 키워드는 "연구"가 743회로 1위를 차지하였다. 따라서 이러한 분석결과를 바탕으로 연구의 한계와 이론적 실무적 시사점을 제시하고자 한다.

  • PDF

이상 패턴 분석을 통한 정책의 적합성 분석 연구 : S 시의 아동 급식 전자 카드 사례를 중심으로 (Analyzing the Relevancy of Policy by Abnormal Pattern Analysis : Focused on the Case of S-City's e-Card for Child Meal Support)

  • 전종식;권오병
    • 한국IT서비스학회지
    • /
    • 제17권1호
    • /
    • pp.135-153
    • /
    • 2018
  • E-Card Service for Child Nutrition Program is one of the main public policy services nowadays. In case of inconvenience during the use of the e-cards, it is recommended to cooperate with related organizations in order to promptly handle and provide guidance, and thoroughly manage child feeding service such as hygiene, nutrition and kindness etc. To do so, it is very important to provide food service that meets local actual conditions and children's needs in a cost effective manner for the underage who are worried about the poorly-fed by understanding the pattern of child feeding e-card service. Hence. this paper aims to investigate how child feeding e-card service efficiently provides meals according to the local situation and children's needs through big data analysis and to propose a method of identifying welfare conditions according to the purpose of service with actual application examples. The results suggest that, first of all, this study is able to judge appropriateness of public institution's policy in a timely and repetitive manner through non-standard data analysis such as Naver News and transaction data. Secondly, this paper proposes a multi-layered analysis framework, which performs online open data analysis to detect policy issues, visualizes retrieval and preprocessing of real data, and performs abnormal pattern recognition. These will be worthy of reference to other similar projects.

사물인터넷 환경에서 제품 불량 예측을 위한 기계 학습 모델에 관한 연구 (A Study on the Machine Learning Model for Product Faulty Prediction in Internet of Things Environment)

  • 구진희
    • 융합정보논문지
    • /
    • 제7권1호
    • /
    • pp.55-60
    • /
    • 2017
  • 사물인터넷 환경에서 인간의 개입 없는 지능화된 서비스를 위해서는 IoT 디바이스에서 생성되는 빅데이터로 부터 정상 패턴을 학습하고 이를 기반으로 불량, 오작동과 같은 이상 징후에 대해 예측하는 과정이 요구된다. 본 연구의 목적은 제품 공정의 다양한 기기에서 발생되는 빅데이터를 분석함으로써 제품 불량을 예측할 수 있는 기계 학습모델을 구현하는 것이다. 기계 학습 모델은 어느 정도 볼륨을 가진 기존 데이터를 기반으로 분석을 해야 하므로 빅데이터 분석도구 R을 사용하였으며, 제품 공정에서 수집된 데이터에는 제품에 대한 불량 여부가 포함되어 있으므로 지도 학습 모델을 활용하였다. 연구의 결과, 제품 불량에 영향을 주는 변수 및 변수 조건을 분류하였고, 의사결정 트리를 기반으로 제품의 불량 여부에 대한 예측 모델을 제시하였다. 또한, ROC Curve를 이용한 모델의 적합성 및 성능평가 분석에서 모델의 예측력은 상당히 높게 나타났다.

주성분분석을 이용한 기종점 데이터의 압축 및 주요 패턴 도출에 관한 연구 (A Study on the Compression and Major Pattern Extraction Method of Origin-Destination Data with Principal Component Analysis)

  • 김정윤;탁세현;윤진원;여화수
    • 한국ITS학회 논문지
    • /
    • 제19권4호
    • /
    • pp.81-99
    • /
    • 2020
  • 기종점 데이터는 수요 분석 및 서비스 설계를 위해서 대중교통, 도로운영 등 다양한 분야에서 저장 및 활용되고 있다. 최근 빅데이터의 활용성이 증대되면서 기종점 데이터의 분석 및 활용에 대한 수요도 함께 증가하고 있다. 기존의 일반적인 교통 정보 데이터가 수집장비 수(n)에 비례하여 데이터양이 증가(α·n)하는 것과는 다르게, 기종점 데이터는 수집지점 수(n)의 증가에 따라 수집 데이터의 양이 기하급수적으로 증가(α·n2)하는 경향이 있다. 이로 인하여 기종점 데이터를 원시 데이터의 형태로 장기간 저장하고 빅데이터 분석에 활용하는 것은 대용량의 저장 공간이 필요하다는 것을 고려할 때 실용적 대안으로 여겨지지 않고 있다. 이와 함께 기종점 데이터는 0~10 사이의 작은 수요 부분에 패턴화된 형태와 무작위 적인 형태의 데이터가 섞여있어 작은 수요가 그룹화되어 발생하는 주요 패턴을 추출하기에 어려움이 있다. 이러한 기종점 데이터의 저장용량의 한계와 패턴화 분석의 한계를 극복하고자 본 연구에서는 주성분 분석을 활용한 대중교통 기종점 데이터의 압축 및 분석 방법을 제안하였다. 본 연구에서는 서울시와 세종시의 대중교통 이용 데이터를 활용하여 모빌리티 데이터를 분석하고, 모빌리티 기종점 데이터에 포함된 무작위 성향이 높은 데이터를 제거하기 위해 주성분분석 기반의 데이터 압축 및 복원에 관한 연구를 수행하였다. 주성분분석으로 분해된 기종점 데이터와 원데이터를 비교하여 주요한 수요 패턴을 찾고 이를 통해 압축률과 복원율을 높일 수 있는 주성분 범위를 제안하였다. 본 연구에서 분석한 결과, 서울시 기준 1~80, 세종시 기준 1~60까지의 주성분을 사용할 경우 주요 이동 데이터의 손실 없이 기종점 데이터에 포함되어있는 노이즈를 제거하고 데이터를 압축 및 복원이 가능하였다.

타임라인데이터를 이용한 트위터 사용자의 거주 지역 유추방법 (Location Inference of Twitter Users using Timeline Data)

  • 강애띠;강영옥
    • Spatial Information Research
    • /
    • 제23권2호
    • /
    • pp.69-81
    • /
    • 2015
  • SNS사용자의 거주 지역을 유추하여 그들이 생성한 데이터에 거주위치를 부여하는 것은 위치희박(location sparsity)과 생태학적 오류문제로 인해 연구결과의 신뢰성이 떨어진다는 평가를 받아온 공간빅데이터 연구에 대안이 될 수 있다. 본 연구에서는 Tweet 사용자의 거주 지역을 유추하는 방법으로 사용자 타임라인데이터 속에서 찾아낸 일상생활활동패턴을 이용하는 방법을 고안하였다. 트윗 사용자의 일상생활활동패턴은 이동궤적과 사용자의 언어(text)에서 확인할 수 있었으며 전자를 활용한 모델을 일상이동패턴모델, 후자를 활용한 모델을 일상 활동장 모델이라 명명하고 각각 모델에 입력될 변수를 선정하였다. 자신의 거주 지역에서 가장 높은 빈도의 트윗 발생 여부와 가장 높은 빈도의 거주행정구역 표현 단어를 사용하는지 아닌지를 종속변수로 한 판별분석을 실시하여 모델을 작성하였으며 설명력은 일상 이동패턴모델, 일상 활동장 모델 각각 67.5%, 57.5%였다. 이 모델을 스트레스 관련 트윗을 작성한 사용자의 타임라인데이터로 구성된 테스트데이터에 입력해본 결과 전체 사용자 48,235명 중 5,301명의 거주 지역을 유추하였고 이를 활용하여 위치 부여된 스트레스 관련 트윗 9,606개를 확보하였다. 본 연구의 유추기법을 통해 기존 SNS데이터 분석연구에서 사용하는 데이터 수집 방법보다 44배 많은 위치 부여 트윗을 확보할 수 있었다. 본 연구방법론은 SNS데이터를 이용한 연구에서 위치 부여된 데이터를 확보하는데 활용 가능할 것으로 판단되며, 각종 지역통계와 상관관계파악을 통해 지역적 현상 분석에도 SNS데이터를 이용할 수 있는 가능성을 높일 것으로 판단된다.

빅 데이터를 활용한 의정부 지역 관광 분석 연구 (A Study on the Analysis of Regional Tourism in Uijeongbu Using Big Data)

  • 이종용;정계동;류기환;박세영
    • 문화기술의 융합
    • /
    • 제6권1호
    • /
    • pp.413-418
    • /
    • 2020
  • 관광코스 개발을 위한 관광객의 이동패턴을 통신사의 빅데이터를 바탕으로 관광객 정보를 수집 분석하여 관광코스의 질적 향상을 도모하고자 하며, 특히, 분석된 데이터를 통해 관광객의 관광 유입 효과를 추정할 수 있는 실증적인 데이터를 도출하고, 이를 바탕으로 관광코스의 특성과 향후 새로운 관광코스 개발에 필요한 기초자료로 활용하고자 한다. 지역 관광 코스 개발을 위한 관광객의 이동패턴을 통신사, 카드사, 기타의 수집 빅데이터를 바탕으로 관광객의 이동경로 및 체류시간 정보를 수집 분석하여 관광코스 개발의 질적 향상을 도모하기 위함이며, 특히 분석된 데이터를 통해 관광객의 관광유입 효과를 추정할 수 있는 실증적인 데이터를 도출하고, 이를 바탕으로 관광코스의 특성과 향후 새로운 관광코스 개발에 필요한 기초자료로 활용하고자 한다.

빅데이터, 프라이버시와 사회적 가치의 조화방안 (Big data, how to balance privacy and social values)

  • 황주성
    • 디지털융복합연구
    • /
    • 제11권11호
    • /
    • pp.143-153
    • /
    • 2013
  • 빅데이터는 막대한 경제적 기회뿐만 아니라 공적 가치를 낳을 것으로 예상된다. 하지만 공공기관은 물론 민간기업의 빅데이터 사용은 프라이버시 침해에 대한 우려를 지속적으로 제기하고 있다. 행위패턴의 프라이버시 등 기존에는 없었던 새로운 위험을 유발함으로써 빅데이터는 프라이버시에 대한 기존 논의의 틀을 와해시킬 우려가 크다는 것이다. 반면, 빅데이터는 쿠키 등 행위추적에 근거한 개인정보의 부작용을 불식시키는 대안으로 인식되기도 한다. 본 논문은 빅데이터가 행위정보를 기반으로 하는 개인정보와는 어떻게 다른지를 밝히는데 초점을 둔다. 나아가, 개인정보로부터 파행되는 기존의 프라이버시 문제를 해결하기 위해 빅데이터에 대한 정책이 어떠한 대안을 가질 수 있는지도 제시할 것이다.

빅데이터 분석 도구 R 언어를 이용한 비정형 데이터 시각화 (Visualizing Unstructured Data using a Big Data Analytical Tool R Language)

  • 남수태;진금회;신성윤;진찬용
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.151-154
    • /
    • 2021
  • 빅데이터 분석은 데이터 저장소에 저장된 대용량 데이터 속에서 의미 있는 새로운 상관관계, 패턴, 추세를 발견하여 새로운 가치를 창출하는 과정이다. 또한 대부분의 빅데이터 분석 기술 방법들은 기존 통계학과 전산학에서 사용되던 데이터 마이닝, 기계 학습, 자연 언어 처리, 패턴 인식 등이 이에 해당된다. 그리고 빅데이터 분석 도구인 R언어를 이용하여 전-처리된 텍스트 데이터를 이용하여 다양한 시각화 함수를 통해 분석결과를 표현할 수 있다. 본 연구에서 사용된 데이터는 한국정보통신학회 학회지 논문 중에서 2021년 3월호 논문 21편을 대상으로 분석을 하였다. 최종 분석결과는 가장 많이 언급된 키워드는 "데이터"가 305회로 1위를 차지하였다. 따라서 이러한 분석결과를 바탕으로 연구의 한계와 이론적 실무적 시사점을 제시하고자 한다.

  • PDF