• 제목/요약/키워드: big data tasks

검색결과 95건 처리시간 0.025초

빅데이터활용을 통한 정부서비스 패러다임의 변화와 전략 -서울시 재난안전관리를 중심으로- (Changes and Strategies of the Government Service Paradigm through Using Big Data -Focused on Disaster Safety Management in Seoul City-)

  • 김영미
    • 디지털융복합연구
    • /
    • 제15권2호
    • /
    • pp.59-65
    • /
    • 2017
  • 도시안전은 시민의 삶의 질과 도시경쟁력을 지탱하는 기본적인 목표로 그 가치로 부각되고 있다. 재난재해의 위해요소가 가중되면서 이를 사전에 예방하고 대응함으로써 피해를 최소화해야 한다는 사회적 요구가 높아지고 있다. 도시 정부의 경우 폭우, 폭설 등의 자연재해와 각종 사고 등 인적재난으로 인해 안전의 확보가 가장 중요한 정책과제의 하나로 대두되고 있다. 최근에는 특히 빅데이터를 활용하여 재난분석을 통한 사전 예방효과를 높일 필요성이 강조되고 있다. 본 연구에서는 서울시를 중심으로 빅데이터를 활용한 재난안전관리 패러다임의 변화를 살펴보았다. 특히 효과적인 재난안전관리 차원의 정부서비스 극대화 측면에서 사례 분석을 시도하고 조례와 연계하여 반영된 전략적 의미를 모색하였다.

Survey of Temporal Information Extraction

  • Lim, Chae-Gyun;Jeong, Young-Seob;Choi, Ho-Jin
    • Journal of Information Processing Systems
    • /
    • 제15권4호
    • /
    • pp.931-956
    • /
    • 2019
  • Documents contain information that can be used for various applications, such as question answering (QA) system, information retrieval (IR) system, and recommendation system. To use the information, it is necessary to develop a method of extracting such information from the documents written in a form of natural language. There are several kinds of the information (e.g., temporal information, spatial information, semantic role information), where different kinds of information will be extracted with different methods. In this paper, the existing studies about the methods of extracting the temporal information are reported and several related issues are discussed. The issues are about the task boundary of the temporal information extraction, the history of the annotation languages and shared tasks, the research issues, the applications using the temporal information, and evaluation metrics. Although the history of the tasks of temporal information extraction is not long, there have been many studies that tried various methods. This paper gives which approach is known to be the better way of extracting a particular part of the temporal information, and also provides a future research direction.

시민 니즈와 참여 기반의 스마트시티 문제해결을 위한 빅 데이터 활용 절차에 관한 연구 (A Study on the Procedure of Using Big Data to Solve Smart City Problems Based on Citizens' Needs and Participation)

  • 장혜정
    • 한국정보전자통신기술학회논문지
    • /
    • 제13권2호
    • /
    • pp.102-112
    • /
    • 2020
  • 스마트시티의 목표는 스마트시티의 요소기술을 통해 도시문제를 해결하여 친환경적이고 지속가능한 경제발전 및 시민의 삶의 질을 향상하는 것이라 할 수 있다. 지금까지 스마트시티는 요소기술 중심으로 발전해왔지만 이제는 스마트시티에서 생활을 하는 시민들의 니즈나 참여에 대해 관심을 두어야 할 때이다. 본 논문에서는 시민 니즈와 참여를 기반으로 스마트시티의 문제해결을 위한 빅 데이터 절차를 제시한다. 이를 위하여 지역별 주요산업별 스마트시트 프로젝트 시장과 분야별 스마트시티 시장 영역 발전단계를 살펴본다. 또한 시민 참여에 대한 분야별 정의와 필요성을 이해하고 빅 데이터를 통한 문제해결 방법으로 7단계 빅 데이터 문제해결 프로세스에 접목 방안을 제시한다. 문제해결을 위한 7단계 빅데이터 프로세스는 스마트시티의 각 부문별 정형·비정형 데이터 수집 분석 후 과제를 도출하고 이에 따른 정책 프로그램을 도출하는 방법이다. 이러한 절차에 시민 참여를 이끌어 내기 위하여 비정형 데이터 수집과정에서 디자인싱킹 방법론의 공감단계를 활용한다. 또한 스마트시티 도시문제 해결을 위한 시민 니즈를 찾는 방법으로 비정형 데이터 분석과정에 디자인싱킹 방법론의 문제정의 단계를 접목시켰다.

빅데이터 활용에 영향을 미치는 개인정보 규제요인과 데이터 결합요인의 탐색 (An Exploration on Personal Information Regulation Factors and Data Combination Factors Affecting Big Data Utilization)

  • 김상광;김선경
    • 정보보호학회논문지
    • /
    • 제30권2호
    • /
    • pp.287-304
    • /
    • 2020
  • 그동안 데이터 개방, 기술수용이론 등 빅데이터 활용의 영향요인에 대한 법·정책적 연구는 다수 있었으나, 제약선 역할을 하는 개인정보 규제요인 또는 데이터 결합요인이 빅데이터 활용에 미치는 영향에 대한 실증연구는 거의 없었다. 이에 본 연구는 델파이 분석(Delphi Analysis)을 통해 빅데이터 활성화에 부정적(-) 관계를 보이는 개인정보 규제요인과 긍정적(+) 효과를 보이는 데이터 결합요인이 무엇으로 구성되는지 요인의 우선순위를 시론적으로 탐색하였다. 델파이 분석결과, 개인정보 규제요인은 가명정보 등 활용제도 도입, 개인정보 비식별화 근거 명확성, 데이터 결합규정 명확성, 개인정보 정의 명확성, 개인정보 동의 용이성, 개인정보 감독기구 통합, 개인정보 법률간 정합성, 법령위반시 적정 처벌강도, EU GDPR 비교시 적정 과징금 순으로 상위요인이 조사되었다. 다음으로 데이터 결합요인은 결합 비식별성, 결합데이터 표준화, 결합 책임성, 결합기관 유형, 경합경험, 결합 기술가치 순으로 조사되었다. 이러한 연구결과는 빅데이터 활성화를 위해 개인정보 규제와 데이터 결합정책 설계 시 어느 구성요인을 우선적으로 제도개선 해야 하는지 시사점을 제공한다.

농업 관련 기업의 빅데이터 수용 의도에 미치는 영향요인 연구 (A Study on Factors Affecting BigData Acceptance Intention of Agricultural Enterprises)

  • 류가현;허철무
    • 벤처창업연구
    • /
    • 제17권1호
    • /
    • pp.157-175
    • /
    • 2022
  • 디지털 경제로의 전환을 위해 사회 전 분야에 걸쳐 패러다임의 대전환이 이루어지고 있다. 현재 시점에서 농업도 4차산업혁명의 핵심자원인 빅데이터를 활용하여 혁신 성장을 이루고자 글로벌 농산업계는 다양한 움직임이 일어나고 있다. 국내도 정부 차원으로 빅데이터 활용 촉진을 위해 다양한 시도를 시행하고 있으나, 빅데이터 활용 핵심 주체인 농산업계의 움직임은 아직 미흡한 실정이다. 이에 본 연구에서는 농업 관련 기업 종사자를 대상으로 빅데이터 활용 시 얻을 수 있는 경제적 혜택과 실용적 혜택을 조절변수로 하여 통합기술수용이론에 근거한 성과기대, 노력 기대, 사회적 영향, 촉진조건과 혁신성향이 빅데이터 수용 의도에 미치는 영향을 분석하였다. 농업 관련 기업 종사자를 대상으로 수집한 설문지 333부를 실증분석에 사용하였다. SPSS v22.0과 Process macro v3.4를 사용한 분석결과는 첫째, 노력 기대, 사회적 영향, 촉진조건 및 혁신성향은 빅데이터 수용 의도에 정(+)의 방향으로 유의한 영향을 미치는 것으로 나타났고, 성과기대가 수용 의도에 미치는 영향은 유의하지 않은 것으로 나타났다. 수용 의도에 사회적 영향이 가장 크게 영향을 미치고 혁신성향이 가장 작게 영향을 미치는 것으로 나타났다. 노력 기대와 수용 의도 간의 경제적 혜택과 실용적 혜택의 조절 효과, 사회적 영향과 수용 의도 간의 실용적 혜택의 조절 효과, 촉진조건과 수용 의도 간의 경제적 혜택과 실용적 혜택의 조절 효과는 유의한 것으로 나타났다. 반면에 경제적 혜택과 실용적 혜택은 성과기대와 혁신성향이 수용 의도에 미치는 영향력의 크기를 조절하지 않는 것으로 나타났다. 이러한 결과를 통해 다음과 같은 시사점을 제시하였다. 첫째, 기업의 빅데이터 활용 촉진을 위해 정부는 기업 맞춤형 정책 수립을 준비할 필요가 있다. 맞춤형 지원을 통해 기업 구성원들이 빅데이터 활용에 대한 올바른 이해와 공감대를 형성해야 유의미한 성과를 만들어 낼 수 있기 때문이다. 둘째, 농업 데이터 특화된 플랫폼 구축, 표준화 방식 기반으로 데이터 연계, 데이터 접근에 대한 단일화 창구 지원을 마련해야 한다. 이러한 플랫폼 구축은 기업 간 주체적인 협력 관계를 형성하여 산업을 고도화시킬 수 있을 것이다. 마지막으로 본 연구의 한계점과 후속 과제를 제시하였다.

평활량 선택문제 측면에서 본 중첩병렬화 상황에서 병렬처리 포인트선택 (Parallelism point selection in nested parallelism situations with focus on the bandwidth selection problem)

  • 조가영;노호석
    • 응용통계연구
    • /
    • 제31권3호
    • /
    • pp.383-396
    • /
    • 2018
  • 빅데이터의 시대가 열림에 따라 데이터의 빠른 처리와 분석을 위한 방법의 하나로 R 프로그램 기반의 다양한 병렬처리 패키지가 사용되고 있다. 병렬처리는 수행하려는 작업이 상호의존적이지 않은 작업들로 분해될 수 있을 때 사용하게 되는데, 경우에 따라서는 병렬처리를 위해 분해된 각각의 작업들이 또 다시 상호의존적이지 않은 세부작업으로 분해되기도 한다. 이러한 중첩병렬화 상황에서는 일반적으로 처음 단계에서 분해된 작업들에 대해 병렬처리를 할지, 두 번째 단계에서 세분화되는 작업들에 대해 병렬처리를 할지 선택하게 된다. 그러한 선택이 계산 속도에 상당한 영향을 주는 경우가 많기 때문에 수행하고자 하는 작업의 상황에 따라 병렬처리를 실시할 곳을 잘 결정하는 것이 중요하다. 본 논문에서는 이러한 병렬화 포인트 선택이라는 문제에 대한 이해를 돕고 자신의 문제에 효과적으로 병렬컴퓨팅을 적용하려는 사람들에게 필요한 아이디어를 제공하려는 시도의 하나로 비모수적 함수 추정의 평활량 선택이라는 구체적인 통계문제에 대해 효율적인 계산을 위한 병렬화 포인트 선택 과정을 제시하였다.

Spark SQL 기반 고도 분석 지원 프레임워크 설계 (Design of Spark SQL Based Framework for Advanced Analytics)

  • 정재화
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권10호
    • /
    • pp.477-482
    • /
    • 2016
  • 기업의 신속한 의사결정 및 전략적 정책 결정을 위해 빅데이터에 대한 고도 분석이 필수적으로 요구됨에 따라 대량의 데이터를 복수의 노드에 분산하여 처리하는 하둡 또는 스파크와 같은 분산 처리 플랫폼이 주목을 받고 있다. 최근 공개된 Spark SQL은 Spark 환경에서 SQL 기반의 분산 처리 기법을 지원하고 있으나, 기계학습이나 그래프 처리와 같은 반복적 처리가 요구되는 고도 분석 분야에서는 효율적 처리가 불가능한 문제가 있다. 따라서 본 논문은 이러한 문제점을 바탕으로 Spark 환경에서 고도 분석 지원을 위한 SQL 기반의 빅데이터 최적처리 엔진설계와 처리 프레임워크를 제안한다. 복수의 조건과 다수의 조인, 집계, 소팅 연산이 필요한 복합 SQL 질의를 분산/병행적으로 처리할 수 있는 최적화 엔진과 관계형 연산을 지원하는 기계학습 최적화하기 위한 프레임워크를 설계한다.

Design of a ParamHub for Machine Learning in a Distributed Cloud Environment

  • Su-Yeon Kim;Seok-Jae Moon
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제16권2호
    • /
    • pp.161-168
    • /
    • 2024
  • As the size of big data models grows, distributed training is emerging as an essential element for large-scale machine learning tasks. In this paper, we propose ParamHub for distributed data training. During the training process, this agent utilizes the provided data to adjust various conditions of the model's parameters, such as the model structure, learning algorithm, hyperparameters, and bias, aiming to minimize the error between the model's predictions and the actual values. Furthermore, it operates autonomously, collecting and updating data in a distributed environment, thereby reducing the burden of load balancing that occurs in a centralized system. And Through communication between agents, resource management and learning processes can be coordinated, enabling efficient management of distributed data and resources. This approach enhances the scalability and stability of distributed machine learning systems while providing flexibility to be applied in various learning environments.

스마트 팩토리 모니터링을 위한 빅 데이터의 LSTM 기반 이상 탐지 (LSTM-based Anomaly Detection on Big Data for Smart Factory Monitoring)

  • ;;김진술
    • 디지털콘텐츠학회 논문지
    • /
    • 제19권4호
    • /
    • pp.789-799
    • /
    • 2018
  • 이 논문에서는 이러한 산업 단지 시스템에서의 비정상적인 동작이 일어날 때, 시간 계열의 데이터를 분석하기 위하여 Big 데이터를 이용한 접근을 기반으로 하는 머신 러닝을 보여줍니다. Long Short-Term Memory (LSTM) 네트워크는 향상된 RNN버전으로서 입증되었으며 많은 작업에 유용한 도움이 되었습니다. 이 LSTM 기반 모델은 시간적 패턴뿐만 아니라 더 높은 레벨의 시간적 특징을 학습 한 다음, 미래의 데이터를 예측하기 위해 예측 단계에 사용됩니다. 예측 오차는 예측 인자에 의해 예측 된 결과와 실제 예상되는 값의 차이입니다. 오차 분포 추정 모델은 가우스 분포를 사용하여 관찰 스코어의 이상을 계산합니다. 이러한 방식으로, 우리는 하나의 비정상적 데이터의 개념에서 집단적인 비정상적 데이터 개념으로 바뀌어 갑니다. 이 작업은 실패를 최소화하고 제조품질을 향상시키는 Smart Factory의 모니터링 및 관리를 지원할 수 있습니다.

투자 및 육성지원이 지역내총생산에 미치는 영향에 관한 빅 데이터 실증분석 (Big Data Empirical Analysis on the Impact of Investment and Nurturing Support on Gross Regional Product)

  • 안동규;신충호
    • 산업진흥연구
    • /
    • 제5권3호
    • /
    • pp.45-51
    • /
    • 2020
  • 본 연구는 빅데이터를 활용하여 투자 및 육성지원이 지역내총생산에 미치는 영향력을 다중회귀분석을 이용하여 분석하였다. 지역내총생산(GRDP)은 각 지역의 생산규모·지출수준·소득수준·산업구조 등을 집약적으로 내포하고 있는 지수로써, 지역경제 분석 및 국가의 정책수립에 활용하는 중요한 자료이다. 국가의 주요 국정과제를 올바르게 수행하기 위해서는 지역경제를 정확히 파악하는 것이 선행되어야 하는데, 이로 인해 최근 지역내총생산에 대한 관심이 급격히 증가하고 있다. 특히 해외투자는 투자유치국의 경제에 미치는 영향력이 상당하여, 이에 대한 많은 실증분석이 이루어지고 있다. 본 연구에서는 해외투자 및 국내육성지원이 지역내총생산에 미치는 영향력을 상관분석과 다중회귀분석을 실시하였으며, 그 결과 전체적으로 투자와 지원이 지역내총생산에 긍정적인 영향을 미친다는 결론을 도출하였다.