• Title/Summary/Keyword: 이상데이터

Search Result 6,505, Processing Time 0.035 seconds

WoS DCI : Systematically obtain more diverse information (WoS DCI : 더욱 다양한 정보를 체계적으로!)

  • Kang, Yoon Hee
    • Proceedings of the Korean Society for Information Management Conference
    • /
    • 2017.08a
    • /
    • pp.102-102
    • /
    • 2017
  • 디지털 정보의 폭발적인 증가세와 함께 연구 데이타 또한 다양한 형태로 축적 되고 있다. 이에 다양한 정보들을 효율적으로 활용하는 것이 연구 혁신의 동력원으로 작용하고 어떠한 데이터를 어떻게 효율적으로 활용할 것인가가 정보 사회의 화두로 떠오르고 있다. 특히, 데이타 정보의 경우 전세계 약 900개 이상의 레파지토리들이 다양한 구조와 플랫폼을 토대로 축적 되고 있어 이에 대한 엄선 된 데이터 레파지토리 정보를 WoS의 단일 플랫폼에서 손쉽게 취득 할 수 있는 DCI(Data Citation Index)에 대한 관심이 증가되고 있는 추세이다. 현재 DCI에는 330여 종의 레포지토리에 수록 된 650만개 이상의 레코드를 수록 중이며 매년 50만 건 이상의 레코드가 추가 되고 있다. DCI는 레포지토리의 메타데이터를 분석하고 WoS에서 보유하고 있는 정보와 취합하여 데이터를 재구성하고 구조화하여 위계 질서를 부여하고 각 레코드가 소스 레포지토리로 연결되도록 링크를 제공하여 데이터 열람 및 다운로드가 가능하도록 하며 WoS내에 관련 논문(SCIE급)이 있는 경우 논문 과 데이터 상호 간의 링크도 제공한다. 보다 체계적인 데이터 관리를 위한 정보의 구조화와 보다 전문적인 정보 검색을 위한 Taxonomic Data와 시소러스(Thesaurus) 정보를 통한 DCI의 활용을 통해 새로운 정보의 세계를 경험해 보자.

  • PDF

A Study on Building the Scientific Data Repository Involving Human Data and Its Application (인체 데이터를 포함한 과학 데이터 리파지터리의 구축 및 활용에 관한 연구)

  • Lee, Sang-ho;Lee, sang-hwan
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2012.05a
    • /
    • pp.170.1-170.1
    • /
    • 2012
  • 본 발표에서는 KISTI에서 현재 구축하고 있는 인체 데이터의 현황과 인체 데이터를 포함한 과학 데이터 리파지터리의 구축과 활용에 대한 전반적인 내용을 소개한다. 인체 데이터는 인체 절단면 영상을 중심으로 한 Visible Korean 데이터와 CT, MR 영상과 인체 뼈대 물성을 중심으로 한 Digital Korean 데이터로 나누어지며 이들 데이터의 제작 과정과 활용 내용을 주로 소개한다. 과학 데이터 리파지터리 구축 내용은 현재 국가의 연구개발 예산으로 수행되고 있는 연구과제에서 생성된 다양한 과학 데이터들을 국가적 차원에서 수집, 관리, 유통시키기 위해 기관별 또는 분야별로 과학데이터센터를 육성하고 이를 거점으로 하여 국내의 과학데이터가 수집, 관리, 유통, 활용될 수 있도록 국가적 과학데이터 관리체계를 구축한다. 또한 이렇게 수집된 과학데이터의 활용을 위해 연구자들이 데이터 기반의 연구 과제를 수행할 수 있도록 데이터 기반의 첨단 연구 환경을 구축하고 연구에 필요한 S/W, H/W 및 기타 필요한 IT 기반의 요소기술들을 개발, 지원한다. 또한 KISTI가 제작 주체가 되어 생산한 상기의 인체 데이터뿐만 아니라 의료 관련 분야의 연구 현장에서 생산되고 있는 다양한 인체 데이터를 수집, 관리, 공유할 수 있도록 인체 데이터 리파지터리를 구축하기 위해 Visible Korean, Digital Korean 데이터를 포함한 다양한 의료 데이터의 리파지토리를 설계하고 이러한 의료 데이터 기반 연구의 활성화 및 데이터 리파지터리의 활성화를 위한 정부 및 분야별 커뮤니티 차원의 다양한 대책들을 소개한다.

  • PDF

AIS 데이터를 활용한 선박궤적의 분석

  • Jeong, Jung-Sik;Park, Gye-Gak;Kim, Eun-Gyeong
    • Proceedings of the Korean Institute of Navigation and Port Research Conference
    • /
    • 2012.06a
    • /
    • pp.38-40
    • /
    • 2012
  • 해상 교통량 증가로 급증하는 선박 사고 위험을 줄이기 위해 안전 운항 관리를 위한 연구가 필수적이다. 최근 SOLAS에서 300톤 이상 급에 대해서는 AIS의 의무 장착이 제정되면서 선박 운항의 안전에 크게 기여하고 있다. 본 연구에서는 AIS의 정적, 동적 데이터를 수집하여 항계내 통항 선박의 궤적의 곡률을 분석하여 불규칙 이동 조종선박의 움직임을 파악하였다. 기존의 과거 누적 데이터의 퍼지이론을 활용한 이상 거동의 선박식별 시스템은 전문가 시스템에 의존하여 항적의 비정상성을 판단하므로 항로의 특성에 따른 실 항해상황을 간과할 수 있는 문제점이 있다. 본 연구는 선박 움직임에 대한 궤적의 시간 AIS 정보를 활용하여 항로이탈의 변화율에 해당하는 곡률분석, 항로선으로부터 좌우의 변동을 보다 정확하게 모니터링 할 수 있는 이상 거동 선박을 식별하는 방법을 제안한다. 본 연구는 VTS 및 VMS의 응용서비스로서 해양사고의 사전예방을 위한 연안 및 항만수로의 효율적인 관리에 기여할 것이다.

  • PDF

Real-time construction machine data processing and fault prediction system (실시간 건설기계 데이터 처리 및 이상 유무 예측 시스템)

  • Kim, Chan-Hyup;An, Jae-Hoon;Han, Jae-Seung;Kim, Young-Hwan
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2018.07a
    • /
    • pp.364-366
    • /
    • 2018
  • 본 논문에서는 Digital Twin 기반 건설기계 지능화를 위한 실시간 건설기계 데이터 처리 및 이상 유무 예측 시스템을 제안한다. 이 시스템은 빅 데이터 분산처리 기반으로 실시간 스트리밍 처리가 가능하며, CEP(Complex Event Processing)의 Sliding Window Operator를 활용한 Rule 적용을 통해 건설기계 데이터 처리 및 분석한다. 분석된 결과로 건설기계의 실시간 이상 유무를 판단할 수 있으며, 결과를 기반으로 Deep Learning 기술을 적용하고 학습된 모델을 통해 건설기계의 이상 유무를 예측하여 원활한 부품관리를 할 수 있다.

  • PDF

Internal Information Leakage Detection System using Time Series Graph (시계열 그래프를 이용한 내부 데이터 유출 탐지 시스템)

  • Seo, Min Ji;Shin, Hee Jin;Kim, Myung Ho;Park, Jin Ho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.04a
    • /
    • pp.769-770
    • /
    • 2017
  • 최근 데이터 기술의 발달에 따라, 기업에서는 중요 데이터를 서버와 같은 데이터 저장 장치에 보관하고 있다. 하지만 기업 내부 직원에 의해 기업의 기밀 데이터가 유출될 수 있는 위험성이 있기 때문에, 내부 직원에 의한 데이터 유출을 탐지 및 방지해야 할 필요성이 있다. 따라서 본 논문에서는 각 보안 솔루션에서 수집한 보안 로그를 데이터 유출 시나리오를 바탕으로 시계열 그래프로 작성하여, 이미지 인식에 뛰어난 성능을 보이는 합성곱 신경망을 통해 데이터 유출을 탐지하는 시스템을 제안한다. 실험 결과 유출된 데이터의 크기에 상관없이 95% 이상의 정확도를 보였으며, 복합적인 행동을 통해 데이터 유출을 시도한 경우에도 97% 이상의 정확도를 보였다.

Intrusion Detection Method Using Unsupervised Learning-Based Embedding and Autoencoder (비지도 학습 기반의 임베딩과 오토인코더를 사용한 침입 탐지 방법)

  • Junwoo Lee;Kangseok Kim
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.12 no.8
    • /
    • pp.355-364
    • /
    • 2023
  • As advanced cyber threats continue to increase in recent years, it is difficult to detect new types of cyber attacks with existing pattern or signature-based intrusion detection method. Therefore, research on anomaly detection methods using data learning-based artificial intelligence technology is increasing. In addition, supervised learning-based anomaly detection methods are difficult to use in real environments because they require sufficient labeled data for learning. Research on an unsupervised learning-based method that learns from normal data and detects an anomaly by finding a pattern in the data itself has been actively conducted. Therefore, this study aims to extract a latent vector that preserves useful sequence information from sequence log data and develop an anomaly detection learning model using the extracted latent vector. Word2Vec was used to create a dense vector representation corresponding to the characteristics of each sequence, and an unsupervised autoencoder was developed to extract latent vectors from sequence data expressed as dense vectors. The developed autoencoder model is a recurrent neural network GRU (Gated Recurrent Unit) based denoising autoencoder suitable for sequence data, a one-dimensional convolutional neural network-based autoencoder to solve the limited short-term memory problem that GRU can have, and an autoencoder combining GRU and one-dimensional convolution was used. The data used in the experiment is time-series-based NGIDS (Next Generation IDS Dataset) data, and as a result of the experiment, an autoencoder that combines GRU and one-dimensional convolution is better than a model using a GRU-based autoencoder or a one-dimensional convolution-based autoencoder. It was efficient in terms of learning time for extracting useful latent patterns from training data, and showed stable performance with smaller fluctuations in anomaly detection performance.

Anomaly Detection Analysis using Repository based on Inverted Index (역방향 인덱스 기반의 저장소를 이용한 이상 탐지 분석)

  • Park, Jumi;Cho, Weduke;Kim, Kangseok
    • Journal of KIISE
    • /
    • v.45 no.3
    • /
    • pp.294-302
    • /
    • 2018
  • With the emergence of the new service industry due to the development of information and communication technology, cyber space risks such as personal information infringement and industrial confidentiality leakage have diversified, and the security problem has emerged as a critical issue. In this paper, we propose a behavior-based anomaly detection method that is suitable for real-time and large-volume data analysis technology. We show that the proposed detection method is superior to existing signature security countermeasures that are based on large-capacity user log data according to in-company personal information abuse and internal information leakage. As the proposed behavior-based anomaly detection method requires a technique for processing large amounts of data, a real-time search engine is used, called Elasticsearch, which is based on an inverted index. In addition, statistical based frequency analysis and preprocessing were performed for data analysis, and the DBSCAN algorithm, which is a density based clustering method, was applied to classify abnormal data with an example for easy analysis through visualization. Unlike the existing anomaly detection system, the proposed behavior-based anomaly detection technique is promising as it enables anomaly detection analysis without the need to set the threshold value separately, and was proposed from a statistical perspective.

Experimental Study on Application of an Anomaly Detection Algorithm in Electric Current Datasets Generated from Marine Air Compressor with Time-series Features (시계열 특징을 갖는 선박용 공기 압축기 전류 데이터의 이상 탐지 알고리즘 적용 실험)

  • Lee, Jung-Hyung
    • Journal of the Korean Society of Marine Environment & Safety
    • /
    • v.27 no.1
    • /
    • pp.127-134
    • /
    • 2021
  • In this study, an anomaly detection (AD) algorithm was implemented to detect the failure of a marine air compressor. A lab-scale experiment was designed to produce fault datasets (time-series electric current measurements) for 10 failure modes of the air compressor. The results demonstrated that the temporal pattern of the datasets showed periodicity with a different period, depending on the failure mode. An AD model with a convolutional autoencoder was developed and trained based on a normal operation dataset. The reconstruction error was used as the threshold for AD. The reconstruction error was noted to be dependent on the AD model and hyperparameter tuning. The AD model was applied to the synthetic dataset, which comprised both normal and abnormal conditions of the air compressor for validation. The AD model exhibited good detection performance on anomalies showing periodicity but poor performance on anomalies resulting from subtle load changes in the motor.

Anomaly Detection Methodology Based on Multimodal Deep Learning (멀티모달 딥 러닝 기반 이상 상황 탐지 방법론)

  • Lee, DongHoon;Kim, Namgyu
    • Journal of Intelligence and Information Systems
    • /
    • v.28 no.2
    • /
    • pp.101-125
    • /
    • 2022
  • Recently, with the development of computing technology and the improvement of the cloud environment, deep learning technology has developed, and attempts to apply deep learning to various fields are increasing. A typical example is anomaly detection, which is a technique for identifying values or patterns that deviate from normal data. Among the representative types of anomaly detection, it is very difficult to detect a contextual anomaly that requires understanding of the overall situation. In general, detection of anomalies in image data is performed using a pre-trained model trained on large data. However, since this pre-trained model was created by focusing on object classification of images, there is a limit to be applied to anomaly detection that needs to understand complex situations created by various objects. Therefore, in this study, we newly propose a two-step pre-trained model for detecting abnormal situation. Our methodology performs additional learning from image captioning to understand not only mere objects but also the complicated situation created by them. Specifically, the proposed methodology transfers knowledge of the pre-trained model that has learned object classification with ImageNet data to the image captioning model, and uses the caption that describes the situation represented by the image. Afterwards, the weight obtained by learning the situational characteristics through images and captions is extracted and fine-tuning is performed to generate an anomaly detection model. To evaluate the performance of the proposed methodology, an anomaly detection experiment was performed on 400 situational images and the experimental results showed that the proposed methodology was superior in terms of anomaly detection accuracy and F1-score compared to the existing traditional pre-trained model.

Development of Algorithm Patterns for Identifying the Time of Abnormal Low Temperature Generation (이상저온 발생 시점 확인을 위한 알고리즘 패턴 개발)

  • Jeongwon Lee;Choong Ho Lee
    • Journal of Industrial Convergence
    • /
    • v.21 no.8
    • /
    • pp.43-49
    • /
    • 2023
  • Since 2018, due to climate change, heat waves and cold waves have caused gradual damage to social infrastructure. Since the damage caused by cold weather has increased every year due to climate change in recent 4 years, the damage that was limited to a specific area is now appearing all over the country, and a lot of efforts are being concentrated from experts in various fields to minimize this. However, it is not easy to study real-time observation of sudden abnormal low temperature in existing studies to reflect local characteristics in discontinuously measured data. In this study, based on the weather-related data that affects the occurrence of cold-weather damage, we developed an algorithm pattern that can identify the time when abnormal cold temperatures occurred after searching for weather patterns at the time of cold-weather damage. The results of this study are expected to be of great help to the related field in that it is possible to confirm the time when the abnormal low temperature occurs due to the data generated in real time without relying on the past data.