• 제목/요약/키워드: Big Data Based Modeling

검색결과 181건 처리시간 0.023초

텍스트 마이닝을 활용한 건설안전사고 빅데이터 분석 (Big Data Analytics of Construction Safety Incidents Using Text Mining)

  • 서정욱;송지훈
    • 한국산업융합학회 논문집
    • /
    • 제27권3호
    • /
    • pp.581-590
    • /
    • 2024
  • This study aims to extract key topics through text mining of incident records (incident history, post-incident measures, preventive measures) from construction safety accident case data available on the public data portal. It also seeks to provide fundamental insights contributing to the establishment of manuals for disaster prevention by identifying correlations between these topics. After pre-processing the input data, we used the LDA-based topic modeling technique to derive the main topics. Consequently, we obtained five topics related to incident history, and four topics each related to post-incident measures and preventive measures. Although no dominant patterns emerged from the topic pattern analysis, the study holds significance as it provides quantitative information on the follow-up actions related to the incident history, thereby suggesting practical implications for the establishment of a preventive decision-making system through the linkage between accident history and subsequent measures for reccurrence prevention.

빅데이터 기반의 정성 정보를 활용한 부도 예측 모형 구축 (Bankruptcy Prediction Modeling Using Qualitative Information Based on Big Data Analytics)

  • 조남옥;신경식
    • 지능정보연구
    • /
    • 제22권2호
    • /
    • pp.33-56
    • /
    • 2016
  • 대부분의 부도 예측에 관한 연구는 재무 변수를 중심으로 통계적 방법 또는 인공지능 기법을 적용하여 부도 예측 모형을 구축하였다. 그러나 재무비율과 같은 회계 정보를 이용한 부도 예측 모형은 재무 제표 결산 시점과 신용평가 시점 간 시차를 고려하지 않을 뿐만 아니라 해당 산업의 경제적 상황과 같은 외부 환경적인 요소를 반영하기 어렵다는 한계점이 존재하였다. 기업의 부도 여부를 예측하기 위해 정량 정보인 재무 변수만을 이용하는 것에 한계가 있음에도 불구하고 정성 정보를 부도 예측 모형에 반영한 연구는 아직 미흡한 실정이다. 본 연구에서는 재무 변수를 이용하는 기존 부도 예측 모형의 성과를 개선하기 위해 빅데이터 기반의 정성 정보를 추가적인 입력 변수로 활용하는 부도 예측 모형을 제안하였다. 제안 모형의 성과 향상은 정성 정보를 예측 모형에 통합시키기에 적합한 형태로 정보의 유형을 변환시킬 수 있는가에 따라 달려있다. 이에 본 연구에서는 정성 정보 처리를 위한 방법으로 빅데이터 분석 기법 중 하나인 텍스트 마이닝(Text Mining)을 활용하였다. 해당 산업과 관련된 경제 뉴스 데이터로부터 경제 상황에 대한 감성 정보를 추출하기 위해 도메인 중심의 감성 어휘 사전을 구축하고, 구축된 어휘 사전을 기반으로 감성 분석(Sentiment Analysis)을 수행하였다. 형태소 분석 등을 포함한 텍스트 전처리 과정을 거쳐 감성 어휘를 추출하고, 각 어휘에 대한 극성 및 감성 점수를 부여하였다. 분석 결과, 전통적 부도 예측 모형에 경제 뉴스 데이터에서 도출한 정성 정보를 반영하는 것은 모형의 성과를 개선하는 것으로 나타났다. 특히, 경제 상황에 대한 부정적 감정이 기업의 부도 여부를 예측하는 데 더욱 효과적임을 알 수 있었다.

도시 빅데이터를 활용한 스마트시티의 교통 예측 모델 - 환경 데이터와의 상관관계 기계 학습을 통한 예측 모델의 구축 및 검증 - (Big Data Based Urban Transportation Analysis for Smart Cities - Machine Learning Based Traffic Prediction by Using Urban Environment Data -)

  • 장선영;신동윤
    • 한국BIM학회 논문집
    • /
    • 제8권3호
    • /
    • pp.12-19
    • /
    • 2018
  • The research aims to find implications of machine learning and urban big data as a way to construct the flexible transportation network system of smart city by responding the urban context changes. This research deals with a problem that existing a bus headway model is difficult to respond urban situations in real-time. Therefore, utilizing the urban big data and machine learning prototyping tool in weathers, traffics, and bus statues, this research presents a flexible headway model to predict bus delay and analyze the result. The prototyping model is composed by real-time data of buses. The data is gathered through public data portals and real time Application Program Interface (API) by the government. These data are fundamental resources to organize interval pattern models of bus operations as traffic environment factors (road speeds, station conditions, weathers, and bus information of operating in real-time). The prototyping model is implemented by the machine learning tool (RapidMiner Studio) and conducted several tests for bus delays prediction according to specific circumstances. As a result, possibilities of transportation system are discussed for promoting the urban efficiency and the citizens' convenience by responding to urban conditions.

대용량 학습 데이터를 갖는 태양광 발전 시스템의 확률론적 모델링 (Probabilistic Modeling of Photovoltaic Power Systems with Big Learning Data Sets)

  • 조현철;정영진
    • 한국지능시스템학회논문지
    • /
    • 제23권5호
    • /
    • pp.412-417
    • /
    • 2013
  • 태양광 발전 시스템의 해석적 모델링은 시스템의 동특성을 예측하거나 고장검출 및 진단 등과 같은 고급 공학 기술에 중요하게 적용할 수 있어 최근 많은 각광을 받고 있다. 본 논문은 대용량 학습 데이터를 갖는 태양광 발전 시스템에 대한 확률론적 모델링을 제시한다. 우선 태양광 일사량과 온도 입력 변수에 대한 태양광 시스템의 출력 전력과의 입출력 함수관계를 정의한다. 이 함수관계를 바탕으로 세 확률변수(일사량, 온도, 전력)에 대하여 조건부 확률 식으로 표현한다. 조건부 확률 분포 추정은 대용량 데이터 시스템에 적합한, 전체 표본 데이터 수 대비 관련 변수의 경우의 수에 대한 비율로 나타내었다. 추정한 확률분포를 통해 평균값 이론을 적용하여 시스템의 출력을 추정하게 된다. 본 논문에서 제안한 모델링 기법은 두 태양광 발전 단지의 사례 연구를 통해 성능을 검증하였다.

교통 빅데이터 활용 시 개인 정보 보호를 위한 연합학습 기반의 경로 선택 모델링 (Federated Learning-based Route Choice Modeling for Preserving Driver's Privacy in Transportation Big Data Application)

  • 심지섭
    • 한국ITS학회 논문지
    • /
    • 제22권6호
    • /
    • pp.157-167
    • /
    • 2023
  • 본 연구에서는 분산 컴퓨팅 및 개별 디바이스 활용을 통해 개인 정보 보호에 특화된 학습방법인 연합학습 방법론을 기반으로, 모바일 내비게이션 애플리케이션에서 수집된 대규모의 운전자 데이터를 이용하여 경로 선택 예측 모델을 수립하는 방법에 대해 고찰한다. 경로 선택 모델링에서 활용될 수 있는 운전자 데이터의 전처리 및 분석 방법을 수립하고, 서포트벡터머신(SVM) 및 다층 퍼셉트론(MLP)과 같이 기존에 널리 활용되는 학습 방법과 연합학습 방법의 성능과 특성을 비교한다. 분석 결과 연합학습을 통한 모델 성능은 중앙 서버 기반의 모델과의 비교에서 예측 정확도 측면의 차이가 거의 없는 것으로 나타났으나, 개별 데이터가 충분히 확보되는 경우 연합학습 모델과 같은 개인화 모델의 성능이 개선될 수 있다는 점을 확인하였다. 연합학습 모델은 본 연구의 경로 선택 모델링 사례와 같이 모빌리티 부문의 데이터 프라이버시 문제가 중요한 분야에서 대규모 데이터 처리를 필요로 하는 경우에 그 활용 가치가 매우 높을 것으로 기대된다.

뉴스 빅데이터를 활용한 코로나19 언론보도 분석 :토픽모델링 분석을 중심으로 (COVID-19 News Analysis Using News Big Data : Focusing on Topic Modeling Analysis)

  • 김태종
    • 한국콘텐츠학회논문지
    • /
    • 제20권5호
    • /
    • pp.457-466
    • /
    • 2020
  • 본 연구의 목적은 최근 확산되고 있는 코로나19의 뉴스 빅데이터를 활용하여 언론을 통해 사회적으로 형성되고 있는 주요 의제가 무엇이며 어떻게 변화하는지 파악해, 추후 언론보도의 방향성을 제안하는 것이다. 이를 위해 2019년 12월 31일부터 2020년 3월 11일까지 보도된 47,816건의 뉴스 빅데이터를 감염병 위기경보 4단계(관심-주의-경계-심각)를 기준으로 4개 시기로 구분하여 토픽모델링 분석을 실시해, 총 20개의 토픽을 도출하였다. 토픽 모델링 분석 결과를 토대로, 본 연구에서는 다음 사항들을 제안하였다. 첫째, '불안', '공포' 등의 자극적인 표현을 자제하고 중립적이고 객관적인 보도용어 사용이 필요하다. 둘째, 단순 사건보도식 뉴스제작을 탈피하여, 더욱 심층적이고 맥락적인 뉴스 제작이 요구된다. 셋째, 감염병 관련 상황별 세부 위기커뮤니케이션 매뉴얼 마련이 필요하다. 넷째, 시민주도의 위기 극복노력을 중점적으로 조명하는 보도가 필요하다. 본 연구는 코로나19 뉴스 빅데이터를 토픽모델링 분석방법을 활용하여 분석한 최초의 논문이라는 학술적 의의와 국가 위기커뮤니케이션 정책개발의 기초자료로 활용될 수 있는 정책적 의의를 가진다.

빅데이터를 이용한 서울시 행복지수 분석 및 예측을 위한 실험 및 고찰 (Forthcoming Big Data in Smart Cities: Experiment for Machine Learning Based Happiness Estimation in Seoul City)

  • 신동윤;송유미
    • 한국BIM학회 논문집
    • /
    • 제7권1호
    • /
    • pp.28-35
    • /
    • 2017
  • Cities have complex system composed diverse activities. The activities in cities have complex relationship that creates diverse urban phenomena. Big Data is emerging technology in order to understand such complex network. This research aims to understand such relations by analysing the diverse city indexes. 28 indexes were collected in 25 of districts in Seoul city and analysed to find a weighted correlation. By defining the correlation values of certain years, it tries to predict the missed index values, "happiness" of each districts in other years. The result presents that the overall prediction accuracy 70.25%. However, for further discussion, the result is considered that this methods may not enough to use in practice, since the data has inconstant accuracy by different learning years.

Study of Mental Disorder Schizophrenia, based on Big Data

  • Hye-Sun Lee
    • International Journal of Advanced Culture Technology
    • /
    • 제11권4호
    • /
    • pp.279-285
    • /
    • 2023
  • This study provides academic implications by considering trends of domestic research regarding therapy for Mental disorder schizophrenia and psychosocial. For the analysis of this study, text mining with the use of R program and social network analysis method have been used and 65 papers have been collected The result of this study is as follows. First, collected data were visualized through analysis of keywords by using word cloud method. Second, keywords such as intervention, schizophrenia, research, patients, program, effect, society, mind, ability, function were recorded with highest frequency resulted from keyword frequency analysis. Third, LDA (latent Dirichlet allocation) topic modeling result showed that classified into 3 keywords: patient, subjects, intervention of psychosocial, efficacy of interventions. Fourth, the social network analysis results derived connectivity, closeness centrality, betweennes centrality. In conclusion, this study presents significant results as it provided basic rehabilitation data for schizophrenia and psychosocial therapy through new research methods by analyzing with big data method by proposing the results through visualization from seeking research trends of schizophrenia and psychosocial therapy through text mining and social network analysis.

빅 데이터 분석능력과 기업 성과 간의 관계에서 혁신 및 개선 활동과 시장 민첩성의 영향 (The Impact of Exploration and Exploitation Activities and Market Agility on the Relationship between Big Data Analytics Capability and Firms' Performance)

  • 정희경;부제만
    • 산업경영시스템학회지
    • /
    • 제45권3호
    • /
    • pp.150-162
    • /
    • 2022
  • This study investigated the impact of the latest developments in big data analytics capabilities (BDAC) on firm performance. The BDAC have the power to innovate existing management practices. Nevertheless, their impact on firm performance has not been fully is not yet fully elucidated. The BDAC relates to the flexibility of infrastructure as well as the skills of management and firm's personnel. Most studies have explored the phenomena from a theoretical perspective or based on factors such as organizational characteristics. However, this study extends the flow of previous research by proposing and testing a model which examines whether organizational exploration, exploitation and market agility mediate the relationship between the BDAC and firm performance. The proposed model was tested using survey data collected from the long-term employees over 10 years in 250 companies. The results analyzed through structural equation modeling show that a strong BDAC can help improve firm performance. An organization's ability to analyze big data affects its exploration and exploitation thereby affecting market agility, and, consequently, firm performance. These results also confirm the powerful mediating role of exploration, exploitation, and market agility in improving insights into big data utilization and improving firm performance.

Latent Dirichlet Allocation (LDA) 모델 기반의 인공지능(A.I.) 기술 관련 연구 활동 및 동향 분석 (Systemic Analysis of Research Activities and Trends Related to Artificial Intelligence(A.I.) Technology Based on Latent Dirichlet Allocation (LDA) Model)

  • 정명석;이주연
    • 한국산업정보학회논문지
    • /
    • 제23권3호
    • /
    • pp.87-95
    • /
    • 2018
  • 최근 인공지능(Artificial Intelligence; A.I.)의 기술 발전과 함께 이에 대한 관심이 증가하고 있으며 관련 시장도 비약적으로 확대되고 있다. 아직은 초기단계이지만 2000년 이후 현재까지 계속 확장되고 있는 인공지능 기술 분야의 연구방향과 투자 분야에 대한 불확실성을 줄이는 것이 중요한 시점이다. 이러한 기술 변화와 시대적 요구에 따라서 본 연구는 빅데이터(Big Data) 분석방법 중 텍스트 마이닝(Text Mining)과 토픽모델링(Topic Modeling)을 활용하여 기술동향을 살펴보고, 핵심기술과 성장 가능성이 있는 연구의 향후 방향성을 제시하였다. 본 연구의 결과로부터 인공지능의 기술동향에 대한 이해를 바탕으로 향후 연구 방향에 대한 새로운 시사점을 도출할 수 있으리라 기대한다.