• 제목/요약/키워드: Big data analysis tool

검색결과 156건 처리시간 0.034초

High-performance computing for SARS-CoV-2 RNAs clustering: a data science-based genomics approach

  • Oujja, Anas;Abid, Mohamed Riduan;Boumhidi, Jaouad;Bourhnane, Safae;Mourhir, Asmaa;Merchant, Fatima;Benhaddou, Driss
    • Genomics & Informatics
    • /
    • 제19권4호
    • /
    • pp.49.1-49.11
    • /
    • 2021
  • Nowadays, Genomic data constitutes one of the fastest growing datasets in the world. As of 2025, it is supposed to become the fourth largest source of Big Data, and thus mandating adequate high-performance computing (HPC) platform for processing. With the latest unprecedented and unpredictable mutations in severe acute respiratory syndrome coronavirus 2 (SARS-CoV-2), the research community is in crucial need for ICT tools to process SARS-CoV-2 RNA data, e.g., by classifying it (i.e., clustering) and thus assisting in tracking virus mutations and predict future ones. In this paper, we are presenting an HPC-based SARS-CoV-2 RNAs clustering tool. We are adopting a data science approach, from data collection, through analysis, to visualization. In the analysis step, we present how our clustering approach leverages on HPC and the longest common subsequence (LCS) algorithm. The approach uses the Hadoop MapReduce programming paradigm and adapts the LCS algorithm in order to efficiently compute the length of the LCS for each pair of SARS-CoV-2 RNA sequences. The latter are extracted from the U.S. National Center for Biotechnology Information (NCBI) Virus repository. The computed LCS lengths are used to measure the dissimilarities between RNA sequences in order to work out existing clusters. In addition to that, we present a comparative study of the LCS algorithm performance based on variable workloads and different numbers of Hadoop worker nodes.

Development of an intelligent skin condition diagnosis information system based on social media

  • Kim, Hyung-Hoon;Ohk, Seung-Ho
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권8호
    • /
    • pp.241-251
    • /
    • 2022
  • 화장품 및 뷰티산업에서 고객의 피부상태 진단과 관리는 중요한 필수기능이다. 소셜미디어 환경이 사회 전 분야에 확산되고 일반화되면서 피부 상태의 진단과 관리에 대한 다양하고 섬세한 고민과 요구 사항의 질문과 답변의 상호작용이 소셜미디어 커뮤니티에서 활발하게 다루어지고 있다. 그러나 소셜미디어 정보는 매우 다양하고 비정형적인 방대한 빅데이터이므로 적절한 피부상태 정보분석과 인공지능 기술을 접목한 지능화된 피부상태 진단 시스템이 필요하다. 본 논문에서는 소셜미디어의 텍스트 분석정보를 학습데이터로 가공하여 고객의 피부상태를 지능적으로 진단 및 관리하기 위한 피부상태진단시스템 SCDIS를 개발하였다. SCDIS에서는 딥러닝 기계학습 방법인 인공신경망 기술을 사용하여 자동적으로 피부상태 유형을 진단하는 인공신경망 모델 AnnTFIDF을 빌드업하여 사용하였다. 인공신경망 모델 AnnTFIDF의 성능은 테스트샘플 데이터를 사용하여 분석되었으며, 피부상태 유형 진단 예측 값의 정확성은 약 95%의 높은 성능을 나타내었다. 본 논문의 실험 및 성능분석결과를 통하여 SCDIS는 화장품 및 뷰티산업 분야의 피부상태 분석 및 진단 관리 과정에서 효율적으로 사용 가능한 지능화된 도구로 평가할 수 있다. 본 논문에서 제안된 시스템은 소셜미디어 기반의 새로운 환경에서 화장품 및 피부미용에 대한 사용자의 요구를 체계적으로 파악하고 진단하는 기초 기술로 사용 가능할 것이다. 그리고 이 연구는 새로운 기술 트렌드인 맞춤형 화장품제조와 소비자중심의 뷰티산업기술 수요를 해결하기 위한 기초 연구로 사용될 수 있을 것이다.

Redis 데이터베이스에 대한 디지털 포렌식 조사 기법 연구 (Digital Forensics Investigation of Redis Database)

  • 최재문;정두원;윤종성;이상진
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제5권5호
    • /
    • pp.117-126
    • /
    • 2016
  • 최근 빅 데이터나 소셜 네트워크 서비스의 활용도가 증가하면서 기존 관계형 데이터베이스의 한계를 극복한 NoSQL 데이터베이스의 수요가 꾸준히 증가하고 있다. 디지털 포렌식 관점에서 관계형 데이터베이스의 디지털 포렌식 조사 기법은 꾸준히 연구되어 왔으나 NoSQL 데이터베이스의 디지털 포렌식 조사 기법에 대한 연구는 거의 없는 실정이다. 본 논문에서는 메모리 기반의 Key-Value Store NoSQL 데이터베이스인 Redis를 소개하고 디지털 포렌식 관점에서 살펴보아야 할 아티팩트의 수집과 분석, 삭제된 데이터 복구 기법을 제안한다. 또한 제안된 데이터 복구 기법을 도구로 구현하여 복구 기법을 검증한다.

텍스트마이닝 기법을 이용한 국내 농식품유통 연구동향 분석 (A Trend Analysis of Agricultural and Food Marketing Studies Using Text-mining Technique)

  • 유리나;황수철
    • 한국산학기술학회논문지
    • /
    • 제18권10호
    • /
    • pp.215-226
    • /
    • 2017
  • 이 연구는 1984~2015년간 국내 농식품 유통분야 연구동향을 파악하기 위해 텍스트마이닝 기법을 이용한 분석 결과이다. 텍스트마이닝은 빅데이터 분석방법의 일환으로, 많은 정보를 객관적으로 처리하여 연구주제 분류와 트렌드 분석에 이용할 수 있다. 실제분석에는 빈도분석, 토픽분석, 연관성분석을 수행하였다. 자료는 농업부문 4개 학술지 수록논문과 연구보고서 중 농식품 유통 관련 연구 제목를 이용하였다. 그 결과, 농식품 유통분야의 논문 1,126건은 6개 주제로 분류되었다. 2000년대를 기점으로 이전에는 도매와 산지연구가 활발했던 반면 이후에는 소비, 식품, 수출입 연구가 활발한 것으로 나타났다. 또한 로컬푸드와 학교급식 영역의 연구가 증가했다. 농산물 수급연구는 정책 연구보고서에서만 주기적으로 이루어졌으며, 학술논문에서는 2000년대 이후 관심주제에서 멀어지는 경향을 보였다. 2010년대 이후로는 특히 소비연구가 주류를 이루었고, 크게 소비트렌드와 소비자 행동에 관한 다양한 연구가 이루어졌다. 이 결과를 바탕으로 더 정확한 연구동향 분석을 하기위해서는, 정밀한 주제 분류기법으로 방법론을 보완하고 이용 자료를 키워드와 논문초록으로 확대함으로써 구체적인 결과를 도출해야 할 것이다.

정보시스템 성공모델 기반 성공요인에 관한 문헌적 고찰 (A Review Study of the Success Factors Based the Information Systems Success Model)

  • 남수태;진찬용
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 춘계학술대회
    • /
    • pp.123-125
    • /
    • 2016
  • 빅 데이터 분석은 기존 데이터베이스 관리 도구로부터 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 말한다. 또한, 대량의 정형 또는 비정형 데이터 집합으로부터 가치를 추출하고 결과를 분석하는 기술을 의미한다. 메타분석은 여러 실증연구의 정량적인 결과를 통합과 분석을 통해 전체 결과를 조망할 수 있는 기회를 제공하는 통계적 통합 방법이다. 정보시스템 성공모델 기반 성공요인에 관한 연구에서 어떠한 요인이 설명력이 높은지 알아보고자 한다. 따라서 본 연구에서는 국내 주요 학회지에 게재된 정보시스템 성공요인에 관한 관련연구에서 어떠한 요인들을 사용하고 있고 또한 이러한 외부요인들이 사용자의 사용의도에 어느 정도의 설명력을 가지는지를 메타분석을 통해 알아보고자 한다. 따라서 연구결과를 바탕으로 학문적 실무적 의의를 논의하고자 한다.

  • PDF

Analysis of news bigdata on 'Gather Town' using the Bigkinds system

  • Choi, Sui
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권3호
    • /
    • pp.53-61
    • /
    • 2022
  • 4차 산업혁명 기술의 발전으로 가상과 현실의 경계가 모호한 디지털 환경 속에서 MZ세대와 메타버스가 가장 큰 주목을 받고 있다. 이러한 MZ세대에 부합되는 교수학습 방식으로 메타버스가 주목받고 있다. 본 연구에서는 에듀테크 관점에서 언론사 뉴스 분석을 통해 메타버스 플랫폼 중의 하나인 게더타운의 활성화 요인을 탐색해 보고자 하였다. 이를 위해 한국언론재단에서 제공하는 빅카인즈 시스템을 이용하여 빅데이터 관점에서 분석해 보았다. 그 결과 COVID-19 팬데믹 이후에 나타날 미래교육에서 '게더타운'의 활용도는 크게 증가할 것으로 예상된다. 둘째, 연관어와 워드크라우드 분석에서, '비대면'이나 '대학' 그리고 '신입생' 등 교육 관련 용어들의 가중치가 비교적 높게 나타났으며, '메타버스', '메타버스 플랫폼'을 포함하여, '코로나19'나 '아바타' 등의 용어도 중심적인 위치에 있는 것으로 나타났다. 셋째, 네트워크 분석에서 도출된 주요 용어로는 '코로나19, 아바타, 대학생, 진로, 유튜브' 가 포함되어 있는 것으로 나타났다. 이러한 여건 하에서, 본 연구 결과는 메타버스 플랫폼의 하나인 게더타운의 향후 교육 영역에서의 활용이 보다 활성화 되는데 크게 기여할 것으로 기대된다.

The World as Seen from Venice (1205-1533) as a Case Study of Scalable Web-Based Automatic Narratives for Interactive Global Histories

  • NANETTI, Andrea;CHEONG, Siew Ann
    • Asian review of World Histories
    • /
    • 제4권1호
    • /
    • pp.3-34
    • /
    • 2016
  • This introduction is both a statement of a research problem and an account of the first research results for its solution. As more historical databases come online and overlap in coverage, we need to discuss the two main issues that prevent 'big' results from emerging so far. Firstly, historical data are seen by computer science people as unstructured, that is, historical records cannot be easily decomposed into unambiguous fields, like in population (birth and death records) and taxation data. Secondly, machine-learning tools developed for structured data cannot be applied as they are for historical research. We propose a complex network, narrative-driven approach to mining historical databases. In such a time-integrated network obtained by overlaying records from historical databases, the nodes are actors, while thelinks are actions. In the case study that we present (the world as seen from Venice, 1205-1533), the actors are governments, while the actions are limited to war, trade, and treaty to keep the case study tractable. We then identify key periods, key events, and hence key actors, key locations through a time-resolved examination of the actions. This tool allows historians to deal with historical data issues (e.g., source provenance identification, event validation, trade-conflict-diplomacy relationships, etc.). On a higher level, this automatic extraction of key narratives from a historical database allows historians to formulate hypotheses on the courses of history, and also allow them to test these hypotheses in other actions or in additional data sets. Our vision is that this narrative-driven analysis of historical data can lead to the development of multiple scale agent-based models, which can be simulated on a computer to generate ensembles of counterfactual histories that would deepen our understanding of how our actual history developed the way it did. The generation of such narratives, automatically and in a scalable way, will revolutionize the practice of history as a discipline, because historical knowledge, that is the treasure of human experiences (i.e. the heritage of the world), will become what might be inherited by machine learning algorithms and used in smart cities to highlight and explain present ties and illustrate potential future scenarios and visionarios.

R기반의 딥 러닝을 이용한 데이터 예측 프로세스에 관한 연구 (A novel on Data Prediction Process using Deep Learning based on R)

  • 정세훈;김종찬;박홍준;소원호;심춘보
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2015년도 춘계학술대회
    • /
    • pp.421-422
    • /
    • 2015
  • 최근 신경망 분석의 향상된 성능을 보여주는 심화 신경망 기술인 딥 러닝(Deep learning)이 각광을 받고 있는 실정이다. 이에 본 논문에서는 딥 러닝을 기반으로 분석 시각화 툴인 R을 이용한 특정 변수의 오류율 검증과 빅 데이터 예측 프로세스 설계를 제안한다. 딥 러닝에 적용된 알고리즘은 RBM(Restricted Boltzmann Machine)을 적용하였다. 특정 입력 변수에 대한 종속 변수 구분 후 각 종속 변수의 가중치를 적용한다. RBM 알고리즘을 통해 최종 데이터의 검증 및 오류율 검출과정을 R 프로그래밍에 적용하여 설계한다.

  • PDF

IOT 기반 건축물 유지관리 플랫폼 구축(S-LCC) 방안 : 기능구성과 계측 데이터 활용을 위한 개념 모델을 중심으로 (A Plan for Establishing IOT-based Building Maintenance Platform (S-LCC): Focusing a Concept Model on the Function Configuration and Practical Use of Measurement Data)

  • 박태근
    • 한국산학기술학회논문지
    • /
    • 제21권2호
    • /
    • pp.611-618
    • /
    • 2020
  • 건축물의 LCC 분석 결과의 신뢰성은 정확한 분석 절차와 불확실성이 제거된 데이터에 의해서 결정된다. 그러나 지금까지는 이 데이터를 자동으로 계측하고 DB화 할 수 있는 시스템들이 실용화되지 못하였다. 이에 본 연구에서는 4차 산업혁명의 핵심도구인 IOT를 활용하여 설비시스템의 전기에너지 소모량 데이터를 자동으로 수집하여 분석하고, 분석된 결과들을 활용하여 설비시스템의 효율적 운전이 가능한 S-LCC 플랫폼의 개념모델을 제안하였다. 제안된 개념 모델은 기존의 유지관리 시스템(BLCS)에 IOT를 융합하여 모델링되었으며, 이것은 시설물관리모듈, LCC분석모듈, 에너지사용량 관리모듈, 상태효율분석모듈, 유지보수기준재설정모듈 등 5개의 세부 모듈로 구성되어야 업무프로세스가 효율화될 수 있다. 이 시스템에서 도출하는 LCC분석결과를 활용하여 설비시스템의 노후화 상태를 실시간으로 파악할 수 있으며, 또한 기존설비의 보수율과 교체주기, 수명 등에 관한 기준들을 재설정하고, 신규설비의 유지관리기준을 새롭게 설정하는 기초자료로 활용될 수 있다. S-LCC 플랫폼이 구축될 경우, LCC 분석의 신뢰성 증대, 자료입력을 위한 노동력 절감, 정확성 제고 등의 효과뿐만 아니라 지금까지 버려졌던 데이터를 잠재가치가 큰 빅 데이터로 바꿀 수 있다.

PA Map(Pulse Analysis Map)을 이용한 새로운 부분방전 패턴인식에 관한 연구 (A Study on the New Partial Discharge Pattern Analysis System used by PA Map (Pulse Analysis Map))

  • 김지홍;김정태;김진기;구자윤
    • 전기학회논문지
    • /
    • 제56권6호
    • /
    • pp.1092-1098
    • /
    • 2007
  • Since one decade, the detection of HFPD (High frequency Partial Discharge) has been proposed as one of the effective method for the diagnosis of the power component under service in power grids. As a tool for HFPD detection, Metal Foil sensor based on the embedded technology has been commercialized for mainly power cable due to its advantages. Recently, for the on-site noise discrimination, several PA (Pulse analysis) methods have been reported and the related software, such as Neural Network and Fuzzy, have been proposed to separate the PD (Partial Discharge) signals from the noises since their wave shapes are completely different from each other. On the other hand, the relevant fundamental investigation has not yet clearly made while it is reported that the effectiveness of the current methods based on PA is dependant on the types of sensors. Moreover, regarding the identification of the vital defects introducible into the Power Cable, the direct identification of the nature of defects from the PD signals through Metal Foil coupler has not yet been realized. As a trial for solving above shortcomings, different types of software have been proposed and employed without any convincing probability of identification. In this regards, our novel algorithm 'PA Map' based on the pulse analysis is suggested to identify directly the defects inside the power cable from the HFPD signals which is output of the HFCT and metal foil sensors. This method enables to discriminate the noise and then to make the data analysis related to the PD signals. For the purpose, the HFPD detection and PA (Pulse Analysis) system have been developed and then the effect of noise discrimination has been investigated by use of the artificial defects using real scale mockup. Throughout these works, our system is proved to be capable of separating the small void discharges among the very large noises such as big air corona and ground floating discharges at the on-site as well as of identifying the concerned defects.