• 제목/요약/키워드: Big data processing

검색결과 1,053건 처리시간 0.034초

빅 데이터의 품질 요소 제안 (A propose of Big data quality elements)

  • 최상균;전순천
    • 한국항행학회논문지
    • /
    • 제17권1호
    • /
    • pp.9-15
    • /
    • 2013
  • 빅 데이터가 새로운 가치 창출과 문제 해결의 핵심 엔진이 되는 데이터 중심 시대가 본격적으로 시작되고 있다. 본 논문은 빅 데이터를 활용하기 위하여 빅 데이터의 품질 확보를 위한 품질 요소 정의와 품질 요소별 품질확보 전략에 대하여 논한다. 이를 위해 빅 데이터의 구축 사례, 빅 데이터의 자원 확보 방안 및 빅 데이터의 요소기술, 분석기술과 처리기술 등에 대해 살펴 보았다. 이를 통하여 빅 데이터의 품질 요소를 정의하고 품질 요소별 품질 확보 전략을 제안한다. 빅 데이터의 품질이 확보되면 기업은 대용량의 데이터에서 데이터의 재해석을 통하여 빅 데이터를 추출하고 기업의 경쟁력 제고를 위한 각종 전략을 수립할 것이다.

IoT-Based Health Big-Data Process Technologies: A Survey

  • Yoo, Hyun;Park, Roy C.;Chung, Kyungyong
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권3호
    • /
    • pp.974-992
    • /
    • 2021
  • Recently, the healthcare field has undergone rapid changes owing to the accumulation of health big data and the development of machine learning. Data mining research in the field of healthcare has different characteristics from those of other data analyses, such as the structural complexity of the medical data, requirement for medical expertise, and security of personal medical information. Various methods have been implemented to address these issues, including the machine learning model and cloud platform. However, the machine learning model presents the problem of opaque result interpretation, and the cloud platform requires more in-depth research on security and efficiency. To address these issues, this paper presents a recent technology for Internet-of-Things-based (IoT-based) health big data processing. We present a cloud-based IoT health platform and health big data processing technology that reduces the medical data management costs and enhances safety. We also present a data mining technology for health-risk prediction, which is the core of healthcare. Finally, we propose a study using explainable artificial intelligence that enhances the reliability and transparency of the decision-making system, which is called the black box model owing to its lack of transparency.

특허문서의 IPC 분류기 생성을 위한 데이터 전처리 (Data Pre-processing for Create IPC Classifiers for Patent Documents)

  • 박수현;김진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.542-543
    • /
    • 2024
  • 특허심사절차는 짧지 않은 과정으로 이루어져 있는데, 현재 모든 절차가 사람이 직접 관여하여 진행되고 있다. 특허심사절차의 효율적 시간 분배를 위해, 특허문서 분류 과정의 자동화 처리 필요성을 느끼게 되었다. 따라서, 본 논문에서는 해당 분류기 생성을 위한 데이터의 전처리 과정을 다루었다.

빅데이터 처리 플랫폼에서 학술 데이터를 사용한 전문가 검색 시스템 설계 및 구현 (Design and Implementation of an Expert Search System Using Academic Data in Big Data Processing Platforms)

  • 최도진;김민수;김대윤;이서희;한진수;서인덕;임종태;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제17권3호
    • /
    • pp.100-114
    • /
    • 2017
  • 대부분의 연구자들은 새로운 분야의 연구를 수행하기 위해 전문가에게 자문을 받거나 전문가의 논문들을 기반으로 연구 방향을 설정한다. 기존의 학술 검색 서비스에서는 분야별 논문 정보는 제공하지만 각 분야의 전문가를 제공해주지 않기 때문에 사용자들이 검색된 논문을 기반으로 전문가를 직접 판단해야 한다. 본 논문에서는 학회에 발간된 논문 정보를 기반으로 빅 데이터 처리를 이용한 학문 분야별 전문가검색 시스템을 설계하고 구현한다. 제안하는 시스템은 대량의 논문을 저장하고 관리하기 위해 빅 데이터분산 저장 기술을 활용하였다. 또한 빅 데이터 분산 처리기술을 활용하여 전문가를 판별하고 전문가와 연관 되는 정보를 분석한다. 분산처리 된 결과는 사용자가 전문가 검색 요청 시 웹페이지를 통해 보여준다. 사용자는 제안하는 시스템을 통해 해당 연구 분야의 전문가를 추천받음으로써 연구를 수행함에 있어 많은 도움을 받을 수 있다.

빅데이터 처리에 관한 NoSQL 비교연구 (Comparative study on NoSQL for Processing a Big Data)

  • 장래영;배정민;정성재;소우영;성경
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2014년도 춘계학술대회
    • /
    • pp.351-354
    • /
    • 2014
  • 빅데이터의 등장은 RDBMS로 대변되던 기존 데이터베이스 시장에 다양한 변화를 가져왔다. 빅데이터들은 데이터의 양은 증가했으나 개개의 데이터크기는 작아지고, RDBMS상의 데이터들과 비교해 단순해졌다. 이런 특징은 새로운 데이터처리기술을 요하게 되고, 그에 따라 빅데이터처리에 특화된 다양한 데이터베이스기술이 등장하게 되었다. 이를 NoSQL이라고 정의한다. NoSQL은 각각 데이터의 특성에 따른 처리방식이 달라 하나로 정의하기는 어렵다. 이에 본 논문에서는 다양한 NoSQL의 종류별 특징에 따라 분류하고 실제 빅데이터 운용에 있어 적합한 NoSQL을 알아보고자 한다.

  • PDF

Advanced Technologies in Blockchain, Machine Learning, and Big Data

  • Park, Ji Su;Park, Jong Hyuk
    • Journal of Information Processing Systems
    • /
    • 제16권2호
    • /
    • pp.239-245
    • /
    • 2020
  • Blockchain, machine learning, and big data are among the key components of the future IT track. These technologies are used in various fields; hence their increasing application. This paper discusses the technologies developed in various research fields, such as data representation, Blockchain application, 3D shape recognition and classification, query method, classification method, and search algorithm, to provide insights into the future paradigm. In this paper, we present a summary of 18 high-quality accepted articles following a rigorous review process in the fields of Blockchain, machine learning, and big data.

Artificial Intelligence for the Fourth Industrial Revolution

  • Jeong, Young-Sik;Park, Jong Hyuk
    • Journal of Information Processing Systems
    • /
    • 제14권6호
    • /
    • pp.1301-1306
    • /
    • 2018
  • Artificial intelligence is one of the key technologies of the Fourth Industrial Revolution. This paper introduces the diverse kinds of approaches to subjects that tackle diverse kinds of research fields such as model-based MS approach, deep neural network model, image edge detection approach, cross-layer optimization model, LSSVM approach, screen design approach, CPU-GPU hybrid approach and so on. The research on Superintelligence and superconnection for IoT and big data is also described such as 'superintelligence-based systems and infrastructures', 'superconnection-based IoT and big data systems', 'analysis of IoT-based data and big data', 'infrastructure design for IoT and big data', 'artificial intelligence applications', and 'superconnection-based IoT devices'.

계절성 시계열 자료의 concept drift 탐지를 위한 새로운 창 전략 (A novel window strategy for concept drift detection in seasonal time series)

  • 이도운;배수민;김강섭;안순홍
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 춘계학술발표대회
    • /
    • pp.377-379
    • /
    • 2023
  • Concept drift detection on data stream is the major issue to maintain the performance of the machine learning model. Since the online stream is to be a function of time, the classical statistic methods are hard to apply. In particular case of seasonal time series, a novel window strategy with Fourier analysis however, gives a chance to adapt the classical methods on the series. We explore the KS-test for an adaptation of the periodic time series and show that this strategy handles a complicate time series as an ordinary tabular dataset. We verify that the detection with the strategy takes the second place in time delay and shows the best performance in false alarm rate and detection accuracy comparing to that of arbitrary window sizes.

구글 클라우드 FHIR 객체의 Big Query 수행 (Big Query execution for FHIR objects on Google Cloud)

  • 김소연;김민채;진주은;김나연;이정훈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.269-270
    • /
    • 2023
  • 본 논문에서는 구글 클라우드에 1차적으로 저장된 Healthcare API 서비스의 FHIR 객체들을 Big Query 서비스로 전환하고 질의를 작성하여 결과를 확인하는 과정을 설명한다. 이 과정에서 IAM을 위한 Big Query 테이블로의 입력 권한 부여 과정과 중첩된 필드들을 포함하고 있는 FHIR 객체의 명세과정이 핵심적인 단계가 되고 있으며 위 서비스들의 연계에 의해 대용량의 의료정보들이 구글 클라우드 상에 저장되고 사전분석되어 추가적인 정밀 분석을 위한 기저 자료를 제공할 수 있다.