• 제목/요약/키워드: Big data Problem

검색결과 571건 처리시간 0.031초

빅데이터 활용 의학·바이오 부문 사업화 가능 기술 연구 (Research on the development of demand for medical and bio technology using big data)

  • 이봉문;남가영;강병철;김치용
    • 한국멀티미디어학회논문지
    • /
    • 제25권2호
    • /
    • pp.345-352
    • /
    • 2022
  • Conducting AI-based fusion business due to the increment of ICT fusion medical device has been expanded. In addition, AI-based medical devices help change existing medical system on treatment into the paradigm of customized treatment such as preliminary diagnosis and prevention. It will be generally promoted to the change of medical device industry. Although the current demand forecasting of medical biotechnology commercialization is based on the method of Delphi and AHP, there is a problem that it is difficult to have a generalization due to fluctuation results according to a pool of participants. Therefore, the purpose of the paper is to predict demand forecasting for identifying promising technology based on building up big data in medical biotechnology. The development method is to employ candidate technologies of keywords extracted from SCOPUS and to use word2vec for drawing analysis indicator, technological distance similarity, and recommended technological similarity of top-level items in order to achieve a reasonable result. In addition, the method builds up academic big data for 5 years (2016-2020) in order to commercialize technology excavation on demand perspective. Lastly, the paper employs global data studies in order to develop domestic and international demand for technology excavation in the medical biotechnology field.

보안로그 빅데이터 분석 효율성 향상을 위한 방화벽 로그 데이터 표준 포맷 제안 (For Improving Security Log Big Data Analysis Efficiency, A Firewall Log Data Standard Format Proposed)

  • 배춘석;고승철
    • 정보보호학회논문지
    • /
    • 제30권1호
    • /
    • pp.157-167
    • /
    • 2020
  • 최근 4차 산업혁명 도래의 기반을 제공한 빅데이터와 인공지능 기술은 산업 전반의 혁신을 견인하는 주요 동력이 되고 있다. 정보보안 영역에서도 그동안 효과적인 활용방안을 찾기 어려웠던 대규모 로그 데이터에 이러한 기술들을 적용하여 지능형 보안 체계를 개발 및 발전시키고자 노력하고 있다. 보안 인공지능 학습의 기반이 되는 보안로그 빅데이터의 품질은 곧 지능형 보안 체계의 성능을 결정짓는 중요한 입력 요소라고 할 수 있다. 하지만 다양한 제품 공급자에 따른 로그 데이터의 상이성과 복잡성은 빅데이터 전처리 과정에서 과도한 시간과 노력을 요하고 품질저하를 초래하는 문제가 있다. 본 연구에서는 다양한 방화벽 로그 데이터 포맷 관련 사례와 국내외 표준 조사를 바탕으로 데이터 수집 포맷 표준안을 제시하여 보안 로그 빅데이터를 기반으로 하는 지능형 보안 체계 발전에 기여하고자 한다.

빅 데이터의 처리속도 향상을 위한 확률기반 서브넷 선택 기법 (Subnet Selection Scheme based on probability to enhance process speed of Big Data)

  • 정윤수;김용태;박길철
    • 디지털융복합연구
    • /
    • 제13권9호
    • /
    • pp.201-208
    • /
    • 2015
  • SNS와 페이스북과 같은 서비스가 대중화되면서 마이크로블로그와 같은 작은 크기의 빅 데이터 사용이 증대되고 있다. 그러나, 현재까지 작은 크기의 빅 데이터의 탐색 결과의 정확성과 계산비용은 미해결 상태로 남아있다. 본 논문에서는 빅 데이터 환경에서 마이크로블러그와 같은 작은 크기의 텍스트 정보의 탐색 속도를 향상시키기 위한 확률기반의 서브넷 선택 기법을 제안한다. 제안 기법은 데이터의 속성 정보에 확률값을 부여하여 서브넷을 구성하여 데이터 탐색 속도를 높였다. 또한, 제안 기법은 분산된 데이터를 손쉽게 접근하기 위해서 서브넷을 구성하는 데이터 의확률값 간 연계 정보를 쌍으로 처리함으로써 데이터의 접근성을 향상시켰다. 실험결과, 제안 기법은 CELF 알고리즘보다 평균 6.8% 높은 탐지율을 보였으며, 처리시간은 평균 8.2% 단축시켰다.

빅데이터 분석도구 R을 이용한 성경 데이터의 빈도와 소셜 네트워크 분석 (Frequency and Social Network Analysis of the Bible Data using Big Data Analytics Tools R)

  • 반재훈;하종수;김동현
    • 한국정보통신학회논문지
    • /
    • 제24권2호
    • /
    • pp.166-171
    • /
    • 2020
  • 데이터를 저장하고 분석하여 새로운 지식을 얻을 수 있는 빅데이터 처리기술은 사회의 여러 분야에서 중요성이 강조되고 있으며 정보통신기술 분야의 핵심 이슈로 부각되면서 관련 기술에 대한 관심이 증가하고 있다. 이러한 빅데이터를 분석할 수 있는 도구인 R은 통계 기반의 정보 분석을 가능하게 하는 언어와 환경이다. 본 논문에서는 이를 이용하여 성경데이터를 분석한다. 성경 중에서 신약성경의 4복음서의 데이터를 분석한다. 먼저 성경데이터를 수집하고 분석을 위한 필터링을 수행한다. 이후 R을 이용하여 어떠한 텍스트가 분포되어 있는지를 빈도 조사를 수행하며 정확한 데이터의 분석을 위해 한 문장에서 나오는 단어들을 쌍으로 표현하고 단어 간의 관계성을 분석하는 소셜 네트워크 분석을 통해 성경을 분석한다.

확장형 실시간 데이터 파이프라인 시스템 아키텍처 설계 (Design of Extended Real-time Data Pipeline System Architecture)

  • 신호승;강성원;이지현
    • 정보과학회 논문지
    • /
    • 제42권8호
    • /
    • pp.1010-1021
    • /
    • 2015
  • 빅데이터 시스템은 대규모 로그 데이터를 수집하는 용도로 광범위하게 사용되고 있기 때문에 높은 성능을 갖는 것이 매우 중요하지만, 현재의 Hadoop 기반의 빅데이터 시스템은 중복 처리로 인하여 낮은 성능을 갖는 아키텍처적인 문제를 가지고 있다. 본 논문은 아키텍처 설계 개선을 통하여 Hadoop 기반 시스템의 낮은 성능 문제를 해결한다. 새로운 제안 아키텍처는 기존 아키텍처의 배치(Batch) 기반의 데이터 수집 방식을 개별처리 방식과 혼합한 수집 방법을 사용하고, 수집하는 데이터를 In-Memory 상에서 직접 분석하여 중복 처리를 배제하여 높은 성능을 제공하게 한다. 또한 제안 아키텍처는 기존 Hadoop 기반 아키텍처의 장점인 시스템 확장성을 가진다. 본 논문은 제안 아키텍처가 테스트 베드 환경에서 기존 아키텍처보다 데이터의 분석 처리 속도가 30%~35% 빠르고 확장성도 가진다는 것을 확인하였다.

인공지능 수학 교육을 위한 빅데이터 프로젝트 과제 가이드라인 (Guidelines for big data projects in artificial intelligence mathematics education)

  • 이정화;한채린;임웅
    • 한국수학교육학회지시리즈A:수학교육
    • /
    • 제62권2호
    • /
    • pp.289-302
    • /
    • 2023
  • 지식정보사회의 비약적인 발전에 힘입어 빅데이터를 분석하여 가치있는 결과물을 도출하고 유용한 정보를 추출하는 역량이 학교 수학의 주요 목표 중 하나로 급부상하고 있다. 고등학교 수학 진로 선택 과목 중 하나인 <인공지능 수학>은 디지털 기술을 활용한 통계 프로젝트를 통해 빅데이터에 기반한 새로운 통계 교육의 기회를 제공할 수 있다. 이 연구에서는 효과적인 빅데이터 통계 프로젝트 기반 과제를 설계하기 위한 일련의 가이드라인을 제안하고, 이 기준에 따라 5종의 인공지능 수학 교과서에 실린 최적화 단원 과제들을 평가하였다. 인공지능 수학 교과에서 빅데이터 통계 프로젝트 과제를 설계 시 고려하도록 도출된 가이드라인은 다음과 같다: (1) 지식과 기술을 국가 학교 수학 교육과정에 맞추고, (2) 전처리된 대규모 데이터 세트를 사용하며, (3) 데이터 과학자의 문제 해결 방법을 사용하고, (4) 의사 결정을 장려하며, (5) 공학도구를 활용하고, (6) 협업 학습을 촉진한다. 분석 결과에 따르면 가이드라인에 완전히 부합하는 과제는 드물었고, 특히 대부분의 교과서에서 가이드라인 2에 해당하는 요소를 프로젝트 과제에서 통합하지 못하고 있는 것으로 나타났다. 또한 소규모 데이터 세트나 빅데이터를 전처리 없이 직접 사용하는 경우가 많아 학생들의 빅데이터의 개념에 대한 오해를 불러일으킬 것이 우려된다. 본 연구에서는 결과를 토대로 인공지능에 필요한 관련 수학 지식과 기술을 밝히고, 이것이 빅데이터 과제에 통합될 때 얻을 수 있는 잠재적 이점과 교육적 고려사항에 대해 논의하였다. 이 연구는 수학적 개념과 머신러닝 알고리즘과의 연계 및 빅데이터를 사용하는 통계 교육에서의 효과적인 공학적 도구 사용에 대한 통찰을 제공하고자 하였다.

A Trend Analysis on E-sports using Social Big Data

  • Kyoung Ah YEO;Min Soo KIM
    • Journal of Sport and Applied Science
    • /
    • 제8권1호
    • /
    • pp.11-17
    • /
    • 2024
  • Purpose: The purpose of the study was to understand a trend of esports in terms of gamers' and fans' perceptions toward esports using social big data. Research design, data, and methodology: In this study, researchers first selected keywords related to esports. Then a total of 10,138 buzz data created at twitter, Facebook, news media, blogs, café and community between November 10, 2022 and November 19, 2023 were collected and analyzed with 'Textom', a big data solution. Results: The results of this study were as follows. Firstly, the news data's main articles were about competitions hosted by local governments and policies to revitalize the gaming industry. Secondly, As a result of esports analysis using Textom, there was a lot of interest in the adoption of the Hangzhou Asian Games as an official event and various esports competitions. As a result of the sentiment analysis, the positive content was related to the development potential of the esports industry, and the negative content was a discussion about the fundamental problem of whether esports is truly a sport. Thirdly, As a result of analyzing social big data on esports and the Olympics, there was hope that it would be adopted as an official event in the Olympics due to its adoption as an official event in the Hangzhou Asian Games. Conclusions: There was a positive opinion that the adoption of esports as an official Olympic event had positive content that could improve the quality of the game, and a negative opinion that games with actions that violate the Olympic spirit, such as murder and assault, should not be adopted as an official Olympic event. Further implications were discussed.

Panic Disorder Intelligent Health System based on IoT and Context-aware

  • Huan, Meng;Kang, Yun-Jeong;Lee, Sang-won;Choi, Dong-Oun
    • International journal of advanced smart convergence
    • /
    • 제10권2호
    • /
    • pp.21-30
    • /
    • 2021
  • With the rapid development of artificial intelligence and big data, a lot of medical data is effectively used, and the diagnosis and analysis of diseases has entered the era of intelligence. With the increasing public health awareness, ordinary citizens have also put forward new demands for panic disorder health services. Specifically, people hope to predict the risk of panic disorder as soon as possible and grasp their own condition without leaving home. Against this backdrop, the smart health industry comes into being. In the Internet age, a lot of panic disorder health data has been accumulated, such as diagnostic records, medical record information and electronic files. At the same time, various health monitoring devices emerge one after another, enabling the collection and storage of personal daily health information at any time. How to use the above data to provide people with convenient panic disorder self-assessment services and reduce the incidence of panic disorder in China has become an urgent problem to be solved. In order to solve this problem, this research applies the context awareness to the automatic diagnosis of human diseases. While helping patients find diseases early and get treatment timely, it can effectively assist doctors in making correct diagnosis of diseases and reduce the probability of misdiagnosis and missed diagnosis.

Sequential Pattern Mining for Intrusion Detection System with Feature Selection on Big Data

  • Fidalcastro, A;Baburaj, E
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권10호
    • /
    • pp.5023-5038
    • /
    • 2017
  • Big data is an emerging technology which deals with wide range of data sets with sizes beyond the ability to work with software tools which is commonly used for processing of data. When we consider a huge network, we have to process a large amount of network information generated, which consists of both normal and abnormal activity logs in large volume of multi-dimensional data. Intrusion Detection System (IDS) is required to monitor the network and to detect the malicious nodes and activities in the network. Massive amount of data makes it difficult to detect threats and attacks. Sequential Pattern mining may be used to identify the patterns of malicious activities which have been an emerging popular trend due to the consideration of quantities, profits and time orders of item. Here we propose a sequential pattern mining algorithm with fuzzy logic feature selection and fuzzy weighted support for huge volumes of network logs to be implemented in Apache Hadoop YARN, which solves the problem of speed and time constraints. Fuzzy logic feature selection selects important features from the feature set. Fuzzy weighted supports provide weights to the inputs and avoid multiple scans. In our simulation we use the attack log from NS-2 MANET environment and compare the proposed algorithm with the state-of-the-art sequential Pattern Mining algorithm, SPADE and Support Vector Machine with Hadoop environment.

비정형 텍스트 테이터 분석을 위한 워드클라우드 기법에 관한 연구 (A Study on Word Cloud Techniques for Analysis of Unstructured Text Data)

  • 이원조
    • 문화기술의 융합
    • /
    • 제6권4호
    • /
    • pp.715-720
    • /
    • 2020
  • 빅데이터 분석에서 텍스트 데이터는 대부분 비정형이고 대용량으로 분석 기법이 정립되지 않아 분석에 어려움이 많았다. 따라서 텍스트 데이터 분석 기법의 하나인 빅데이터 워드클라우드 기법의 실무 적용시 문제점과 유용성 검증을 통한 상용화 가능성을 위해 본 연구를 수행하였다. 본 논문에서는 R 프로그램 워드클라우드 기법을 이용하여 "대통령 UN연설문"을 시각화 분석을 하고 이 기법의 한계와 문제점을 도출한다. 그리고 이를 해결하기 위한 개선된 모델을 제안하여 워드클라우드 기법의 실무 적용에 대한 효율적인 방안을 제시한다.