• 제목/요약/키워드: Big data processing

검색결과 1,063건 처리시간 0.031초

수산업 빅데이터 플랫폼 구축 방안에 대한 연구 (Study on the Big Data Platform Construction of Fisheries)

  • 최주원;정재욱;김영애;신용태
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권8호
    • /
    • pp.181-188
    • /
    • 2020
  • 수산업은 현재 전통어로어업에서 양식업으로 패러다임이 급속히 전환되고 있으며, 수산자원 고갈, 어촌 공동화에 따른 기반 약화 등 다양한 문제점에 직면하여 있다. 이를 타개하기 위한 수산업의 기반 강화, 어촌 6차산업화, 관련 기술표준 수립, 신산업 발굴 등을 위해서 수산업의 중심산업, 주변 산업의 데이터와 공공 및 민간의 유관 데이터를 모두 포함하는 수산업 빅데이터 플랫폼의 구축이 필요하다. 데이터 센터기관이 수집, 연계, 전처리를 수행하고, 플랫폼 주관 기관이 빅데이터 플랫폼 구축, 운영 및 데이터마켓을 통한 수산업 데이터 선순환 체계를 조성하여 당면 위기 극복 및 스마트 수산업 헤게모니 확보, 가치이동의 핵심열쇠로 활용하여야 한다. 본 연구를 통하여 이를 성공적으로 추진하기 위한 정책적·기술적 빅데이터 플랫폼 구축 방안에 대하여 제안하고자 한다.

소셜 빅데이터 마이닝 기반 이슈 분석보고서 자동 생성 (Automatic Generation of Issue Analysis Report Based on Social Big Data Mining)

  • 허정;이충희;오효정;윤여찬;김현기;조요한;옥철영
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권12호
    • /
    • pp.553-564
    • /
    • 2014
  • 본 논문은 지금까지의 소셜미디어 분석과 분석보고서 생성의 세 가지 문제점을 해결하기 위해서 소셜 빅데이터 마이닝에 기반한 이슈분석보고서 자동 생성 시스템을 제안한다. 세 가지 문제점은 분석의 고립성, 전문가의 주관성과 고비용에 기인한 정보의 폐쇄성이다. 시스템은 자연언어 질의분석, 이슈분석, 소셜 빅데이터 분석, 소셜 빅데이터 상관성분석과 자동 보고서 생성으로 구성된다. 생성된 보고서의 유용성을 평가하기 위해, 본 논문에서는 리커트척도를 사용하였고, 빅데이터 분석 전문가 2명이 평가하였다. 평가결과는 리커트 척도 평가에서 보고서의 품질이 비교적 유용하고 신뢰할 수 있는 것으로 평가되었다. 보고서 생성의 저비용, 소셜 빅데이터의 상관성 분석과 소셜 빅데이터 분석의 객관성 때문에, 제안된 시스템이 소셜 빅데이터 분석의 대중화를 선도할 것으로 기대된다.

Aircraft Recognition from Remote Sensing Images Based on Machine Vision

  • Chen, Lu;Zhou, Liming;Liu, Jinming
    • Journal of Information Processing Systems
    • /
    • 제16권4호
    • /
    • pp.795-808
    • /
    • 2020
  • Due to the poor evaluation indexes such as detection accuracy and recall rate when Yolov3 network detects aircraft in remote sensing images, in this paper, we propose a remote sensing image aircraft detection method based on machine vision. In order to improve the target detection effect, the Inception module was introduced into the Yolov3 network structure, and then the data set was cluster analyzed using the k-means algorithm. In order to obtain the best aircraft detection model, on the basis of our proposed method, we adjusted the network parameters in the pre-training model and improved the resolution of the input image. Finally, our method adopted multi-scale training model. In this paper, we used remote sensing aircraft dataset of RSOD-Dataset to do experiments, and finally proved that our method improved some evaluation indicators. The experiment of this paper proves that our method also has good detection and recognition ability in other ground objects.

A Stochastic Model for Virtual Data Generation of Crack Patterns in the Ceramics Manufacturing Process

  • Park, Youngho;Hyun, Sangil;Hong, Youn-Woo
    • 한국세라믹학회지
    • /
    • 제56권6호
    • /
    • pp.596-600
    • /
    • 2019
  • Artificial intelligence with a sufficient amount of realistic big data in certain applications has been demonstrated to play an important role in designing new materials or in manufacturing high-quality products. To reduce cracks in ceramic products using machine learning, it is desirable to utilize big data in recently developed data-driven optimization schemes. However, there is insufficient big data for ceramic processes. Therefore, we developed a numerical algorithm to make "virtual" manufacturing data sets using indirect methods such as computer simulations and image processing. In this study, a numerical algorithm based on the random walk was demonstrated to generate images of cracks by adjusting the conditions of the random walk process such as the number of steps, changes in direction, and the number of cracks.

The Creation and Placement of VMs and Tasks in Virtualized Hadoop Cluster Environments

  • Kim, Tae-Won;Chung, Hae-jin;Kim, Joon-Mo
    • 한국멀티미디어학회논문지
    • /
    • 제15권12호
    • /
    • pp.1499-1505
    • /
    • 2012
  • Recently, the distributed processing system for big data has been actively investigated owing to the development of high speed network and storage technologies. In addition, virtual system that can provide efficient use of system resources through the consolidation of servers has been increasingly recognized. But, when we configure distributed processing system for big data in virtual machine environments, many problems occur. In this paper, we did an experiment on the optimization of I/O bandwidth according to the creation and placement of VMs and tasks with composing Hadoop cluster in virtual environments and evaluated the results of an experiment. These results conducted by this paper will be used in the study on the development of Hadoop Scheduler supporting I/O bandwidth balancing in virtual environments.

태양광 발전량 예측을 위한 빅데이터 처리 방법 개발 (Development of Solar Power Output Prediction Method using Big Data Processing Technic)

  • 정재천;송치성
    • 시스템엔지니어링학술지
    • /
    • 제16권1호
    • /
    • pp.58-67
    • /
    • 2020
  • A big data processing method to predict solar power generation using systems engineering approach is developed in this work. For developing analytical method, linear model (LM), support vector machine (SVN), and artificial neural network (ANN) technique are chosen. As evaluation indices, the cross-correlation and the mean square root of prediction error (RMSEP) are used. From multi-variable comparison test, it was found that ANN methodology provides the highest correlation and the lowest RMSEP.

중복 이벤트 유사 연산 처리를 통한 효율적인 복합 이벤트 처리 기법 (Efficient Complex Event Processing Scheme through Similar Operation Processing in Duplicate Events)

  • 김대윤;김병훈;고건식;노연우;최도진;임종태;복경수;유재수
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2016년도 춘계 종합학술대회 논문집
    • /
    • pp.59-60
    • /
    • 2016
  • 사물통신 기기의 발달로 다양한 응용에서 대용량의 스트림 데이터의 실시간 복합 이벤트 처리 기법에 대한 중요성이 증가되고 있다. 본 논문에서는 유사 연산 처리 비용을 감소시키기 위한 다수의 복합 이벤트 처리 기법을 제안한다. 제안하는 기법은 다수의 복합 이벤트를 처리하기 위한 연산자를 그래프로 표현하고 중복적인 연산을 감소시킨다.

  • PDF

전공자와 비전공자 간의 교양과목 평가 분리 여부 결정을 위한 분석 시스템에 관한 연구 (A Study on the Analysis System for Determination of Separation of Liberal Arts Evaluation between Majors and Nonmajors)

  • 오다솜;최보아;김주은;이종혁
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.129-132
    • /
    • 2019
  • 대학기관연구는 대학에서 이루어지는 다양한 의사결정을 체계적으로 지원하는 활동이다. 본 대학에서는 최근에 전공자와 비전공자 간의 교양과목 평가 분리에 대한 제도를 마련하였으나 이 결정을 교수자의 재량에 맡겨 놓아 근거 데이터 없이 교수자가 평가 분리 여부를 실제로 결정하기에는 어려운 실정이다. 이에 본 논문은 이전 학기의 성적 데이터를 기반으로 통계 분석한 결과와 이에 대한 시각화를 제공하여 교수자가 조금 더 쉽게 평가 분리 여부를 결정할 수 있도록 분석 시스템을 제안하고 실제 교양과목에 대한 분석 결과를 예시를 통해 보여준다.

PON 기반 블록체인의 고속 동기화 연구 (A Study on High-speed Synchronization of the PON-based Blockchain)

  • 김동오;오진태;김기영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.320-321
    • /
    • 2021
  • 블록체인은 모든 참여자가 동일한 원장을 유지하는 분산 원장 기술로써, 신규로 참여하는 블록체인 노드는 원장을 동일하게 유지하기 위한 동기화 절차를 거쳐야 한다. 일반적으로, 동기화는 블록체인 상의 모든 블록을 순차적으로 적용하는 과정을 거처야 함으로 많은 시간이 걸리게 된다. 본 논문에서는 ETRI에서 자체 개발한 PON 기반 블록체인에서 동기화 성능을 개선하기 위해 비잔틴 환경에서 병렬적으로 동기화 요청하는 고속 병렬 동기화 모드와 최신 상태만 동기화하는 최신 상태동기화 모드를 개발하였다. 성능 평가 결과 100,000 개 블록 동기화시 고속 병렬 동기화 모드가 기본 동기화 대비 5 배, 최신 상태 동기화 모드가 기본 동기화 대비 880 배 빠른 것을 확인하였다.