• 제목/요약/키워드: Big data Problem

검색결과 574건 처리시간 0.038초

Improved Deep Learning Algorithm

  • Kim, Byung Joo
    • 한국정보기술학회 영문논문지
    • /
    • 제8권2호
    • /
    • pp.119-127
    • /
    • 2018
  • Training a very large deep neural network can be painfully slow and prone to overfitting. Many researches have done for overcoming the problem. In this paper, a combination of early stopping and ADAM based deep neural network was presented. This form of deep network is useful for handling the big data because it automatically stop the training before overfitting occurs. Also generalization ability is better than pure deep neural network model.

지역중심의 스마트관광 생태계 지원 서비스 플랫 (Service Platform of Regional Smart Tour Ecosystem Support)

  • 원달수
    • 문화기술의 융합
    • /
    • 제4권4호
    • /
    • pp.31-36
    • /
    • 2018
  • 광 산업은 국가 경제 활성화에 지대한 영향력을 갖고 있으며, IT기술의 발전은 관광객의 특성, 행위, 구매 성향, 관심사 등에 기반한 개인 프로파일 정보 및 위치정보, 활동정보 등의 수집과 분석이 가능해졌다. 이를 구현하기 위해 융합형 스마트관광 정보 서비스 플랫폼 구현은 3단계로 나누어 비지니스 모델 개발, IoT & 빅데이터 통합관리 시스템, 빅데이터 알고리즘 개발 및 분석 플랫폼 개발로 완성된다. 플랫폼 및 알고리즘의 원천기술은 오픈소스를 채택하고 그 기반위에 서비스 요소를 확장한 후, 지역을 연계한 Test-Bed 실증 시험을 통해 문제점을 보완하는 과정을 진행하게 된다. 이 플랫폼을 활용하면 다양한 정보를 통합적으로 분석하여 관광객별 맞춤화된 서비스를 제공할 수 있는 스마트관광 환경이 가능해진다. 또한 지역중심의 스마트관광 생태계 조성을 통해 관광 목적지 주민의 삶을 개선하고 지역 재생과 일자리 창출에도 기여할 수가 있을 것이다.

플랫폼 서비스 운용환경에서 빅데이터 플로우 관리를 통한 장애 상황 관리 방법 (The Method of Failure Management through Big Data Flow Management in Platform Service Operation Environment)

  • 백송기;임재현
    • 융합정보논문지
    • /
    • 제11권5호
    • /
    • pp.23-29
    • /
    • 2021
  • 최근 글로벌 플랫폼 서비스사업자가 제공하는 플랫폼 서비스의 장애로 전 세계적으로 특정 콘텐츠 서비스가 불가한 상황이 발생하고, 글로벌 서비스 시장에 사회 경제적으로 상당히 큰 문제를 초래하고 있다. 플랫폼 서비스의 안정성 확보를 위해서는 지능화된 플랫폼 운용 관리가 요구된다. 또한, 플랫폼 장애를 사전에 예방하고 대응할 수 있는 지능형 관리 기술이 필요하다. 본 연구에서는 플랫폼 운용 환경에서 비정상적인 서비스 상태 및 장애를 신속하게 감지 대응하기 위한 플랫폼 빅데이터 플로우 관리 기법 및 관리 모듈 구현 방안을 제안하였다. 서비스 및 장애 상황 감시 특성 분석 결과 빅데이터 플로우 관리 기법이 장애 감시 측면에서 전통적인 네트워크 관리 방법에 비하여 비정상적인 장애 상황 감지 및 장애 대응 특성이 30%이상 개선됨을 확인하였다. 빅데이터 플로우 관리 방법의 경우 플랫폼 시스템 장애 및 비정상적인 서비스 상태를 신속하게 감지할 수 있는 장점이 있으며 AI 기반 기술과 연계시 플랫폼 관리를 지능적으로 수행하고 장애 예방보전 능력은 크게 향상될 수 있을 것으로 기대된다.

인터넷상의 동영상 메일을 재생하기 위한 실시간 연출 기법 연구 (A Study on a Real Time Presentation Method for Playing of a Multimedia mail on Internet)

  • 임영환;이선혜
    • 한국정보처리학회논문지
    • /
    • 제6권4호
    • /
    • pp.877-890
    • /
    • 1999
  • 본 논문은 기존이 텍스트 위주였던 인터넷 한 단계 넘어 동영상, 음향, 그래픽 등 다양한 멀티미디어 데이터를 이용한 프리젠테이션 메일을 제안한다. 이를 개발함에 있어 가장 큰 문제점은 프리젠테이션 메일을 구성하는 요소가 일반적으로 거대한 용량을 가지는 멀티미디어데이터라는 것이다. 거대한 용량의 멀티미디어 데이터는 전송 및 저장에 있어서 많은 문제점을 갖게 되는데, 이를 극복하기 위해 실제 데이터 부분과 제어 데이터를 분리시켜 제어 프로그램만을 전달하고 실제 데이터는 보낸 사람의 컴퓨터에 있거나 고속 접속이 가능한 원격지 서버에 저장되어 실제 연출할 때에 서버로부터 전송하는 방식을 취한다. 이러한 상황에서 젱 프로그램에 포함된 하이퍼프리젠테이션을 인터넷상에서 실시간으로 재생하기 위한 버퍼관리 및 쓰레드 스케줄링 기법을 제안하였다. 그리고 또 다른 문제는 멀티미디어 연출을 제어하는 방법은 일반 사람들이 사용할 수 있을 정도로 쉬워야 한다는 점이다. 본 논문은 제어 프로그램을 제작하는 도구로써 VIP(Visual Interface player)를 이용하였으며 그것을 LAN기반엣 구현하고 실험한 결과를 제시하였다.

  • PDF

Proposal of An Artificial Intelligence Farm Income Prediction Algorithm based on Time Series Analysis

  • Jang, Eun-Jin;Shin, Seung-Jung
    • International journal of advanced smart convergence
    • /
    • 제10권4호
    • /
    • pp.98-103
    • /
    • 2021
  • Recently, as the need for food resources has increased both domestically and internationally, support for the agricultural sector for stable food supply and demand is expanding in Korea. However, according to recent media articles, the biggest problem in rural communities is the unstable profit structure. In addition, in order to confirm the profit structure, profit forecast data must be clearly prepared, but there is a lack of auxiliary data for farmers or future returnees to predict farm income. Therefore, in this paper we analyzed data over the past 15 years through time series analysis and proposes an artificial intelligence farm income prediction algorithm that can predict farm household income in the future. If the proposed algorithm is used, it is expected that it can be used as auxiliary data to predict farm profits.

규칙기반 및 상관분석 방법을 이용한 시계열 계측 데이터의 이상치 판정 (Outlier Detection in Time Series Monitoring Datasets using Rule Based and Correlation Analysis Method)

  • 전제성;구자갑;박창목
    • 한국지반환경공학회 논문집
    • /
    • 제16권5호
    • /
    • pp.43-53
    • /
    • 2015
  • 본 연구에서는 빅데이터 범주에 포함되는 각종 계측 데이터를 대상으로 각종 이상치를 판단하기 위한 기법을 고안하고, 인공 데이터 및 실 계측 데이터를 이용한 이상치 분석을 수행하였다. 계측결과에 대한 1차 차분 값 및 오차율을 적용한 규칙기반 방법은 큰 규모의 Short fault 분석 및 일정 기간 계측값에 변화가 발생하지 않는 경우의 Constant fault 분석에 효과적으로 적용될 수 있었으나, 독립적인 단일 데이터셋만을 이용하는 관계로 큰 변화폭을 보이는 실 계측 데이터의 정상 데이터를 이상치로 오판하는 문제점이 있었다. 규칙기반 방법을 이용한 Noise fault 분석은 적정 데이터 윈도우 사이즈의 선택 및 이상치 판정용 한계값 선정상의 문제로 인해 실 계측 데이터 적용에 한계가 있었다. 이종 데이터 간 상관분석 방법은 학습 데이터의 적정범위 선정이 선행된다면 장단기 계측 데이터의 이상 거동 및 국부적 이상치 판정에 매우 효과적으로 이용될 수 있음을 알 수 있었다.

실시간 생체 데이터의 패턴분석을 위한 UB-IOT 모델링 (UB-IOT Modeling for Pattern Analysis of the Real-Time Biological Data)

  • 신윤환;신예호;박현우;류근호
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권2호
    • /
    • pp.95-106
    • /
    • 2016
  • 생체 데이터는 사람에 따라 다르게 나타날 수 있고 사상의학과 밀접한 관계를 가지고 있다. 생체 데이터는 사람의 맥박과 혈압, 심박동 수와 과거의 병력, 노화의 정도, 체질량 지수 등을 의미하며, 이 생체 데이터는 사람의 건강상태를 판별하기 위한 기준 척도로 활용된다. 그렇기 때문에 생체 데이터는 사용하고자 하는 목적에 맞도록 가공되어야 한다. 기존 연구에서는 실시간으로 변화되고 있는 생체 데이터를 현재 시점의 스냅셧으로만 적용하고 있기 때문에 시간의 연속성이 배제되어 있다. 따라서 이 문제를 해결하기 위하여 본 논문에서는 생체 데이터들로 구성되는 Big Data 환경에서 시간의 연속성을 포함하는 생체데이터의 패턴분석 모델을 제안한다. 제안 모델은 치료와 건강증진을 위해 전자침을 사용할 때 침자리의 선정을 신중하게 결정하는데 도움을 줄 수 있다.

딥러닝 기반 협력적 문제 해결력 예측 시스템 개발 연구: ICT 요인을 중심으로 (A Study on Development of Collaborative Problem Solving Prediction System Based on Deep Learning: Focusing on ICT Factors)

  • 이영호
    • 정보교육학회논문지
    • /
    • 제22권1호
    • /
    • pp.151-158
    • /
    • 2018
  • 본 연구의 목적은 협력적 문제 해결력에 영향을 미치는 PISA(Programme for International Student Assessment) 2015의 ICT 요인을 바탕으로 학생들의 협력적 문제 해결력을 예측하는 시스템을 개발하는 데 있다. PISA 2015의 컴퓨터 기반 협력적 문제 해결력 평가에는 한국에서 5,581명이 참여하였다. 연구방법은 먼저 상관분석을 사용하여 유의미한 변수를 선정하였으며, 딥러닝을 사용하여 협력적 문제 해결력 예측 모델을 생성하였다. 모델 생성 결과 테스트 데이터 셋에 대해 약 95%의 정확도로 협력적 문제 해결력을 예측할 수 있었다. 이 모델을 바탕으로 협력적 문제 해결력 예측 시스템을 설계 및 구현하였으며, 해당 시스템을 사용하여 학습자의 ICT 관련 설문을 통해 협력적 문제 해결력을 예측할 수 있다. 본 연구는 교육에서 ICT 투입 및 사용에 대한 정책 결정에서 빅데이터와 인공지능을 적용할 수 있는 새로운 관점을 제공할 것으로 기대한다.

빅데이터 분석 기법을 활용한 모바일 CRM 설계 및 구현 (Design and Implementation of Mobile CRM Utilizing Big Data Analysis Techniques)

  • 김영일;양승수;이상순;박석천
    • 한국인터넷방송통신학회논문지
    • /
    • 제14권6호
    • /
    • pp.289-294
    • /
    • 2014
  • 최근 기업에서 데이터 마이닝 기법을 이용한 CRM을 마케팅이나 새로운 기획에 활용하고 있다. 그러나 데이터 마이닝 기술은 전문지식이 필요하여 일반인의 접근이 어렵고 시간과 공간의 제약을 받게 된다. 본 논문에서는 이를 해결하기 위해 데이터 마이닝 기법을 적용한 Mobile CRM을 제안하였다. 이를 위해 기존 CRM 시스템의 구조를 분석하고 데이터 흐름과 형식을 정의 하였다. 또한 시스템 프로세스를 정의하여 데이터 마이닝 기법을 이용한 판매동향분석 알고리즘과 고객판매추천 알고리즘을 설계하였다. 제안 시스템에 대한 평가는 시나리오 테스트를 통해 정상 동작을 확인하였으며 기존 시스템과의 비교 검증을 실시하였다. 테스트 결과 기존 프로그램과 데이터 값이 일치하여 신뢰성을 확인하고 제안한 통계 테이블 조회를 통해 데이터 분석 시간을 감소시켜 신속성을 검증하였다.

Study on Data Processing of the IOT Sensor Network Based on a Hadoop Cloud Platform and a TWLGA Scheduling Algorithm

  • Li, Guoyu;Yang, Kang
    • Journal of Information Processing Systems
    • /
    • 제17권6호
    • /
    • pp.1035-1043
    • /
    • 2021
  • An Internet of Things (IOT) sensor network is an effective solution for monitoring environmental conditions. However, IOT sensor networks generate massive data such that the abilities of massive data storage, processing, and query become technical challenges. To solve the problem, a Hadoop cloud platform is proposed. Using the time and workload genetic algorithm (TWLGA), the data processing platform enables the work of one node to be shared with other nodes, which not only raises efficiency of one single node but also provides the compatibility support to reduce the possible risk of software and hardware. In this experiment, a Hadoop cluster platform with TWLGA scheduling algorithm is developed, and the performance of the platform is tested. The results show that the Hadoop cloud platform is suitable for big data processing requirements of IOT sensor networks.