• 제목/요약/키워드: Unsupervised Approach

검색결과 140건 처리시간 0.022초

ICS 사이버 공격 탐지를 위한 딥러닝 전처리 방법 연구 (A Study on Preprocessing Method in Deep Learning for ICS Cyber Attack Detection)

  • 박성환;김민석;백은서;박정훈
    • 스마트미디어저널
    • /
    • 제12권11호
    • /
    • pp.36-47
    • /
    • 2023
  • 주요 산업현장에서 설비를 제어하는 산업제어시스템(ICS, Industrial Control System)이 네트워크로 다른 시스템과 연결되는 사례가 증가하고 있다. 또한, 이러한 통합과 함께 한 번의 외부 침입이 전체 시스템 마비로 이루어질 수 있는 지능화된 공격의 발달로, 산업제어시스템에 대한 보안에 대한 위험성과 파급력이 증가하고 있어, 사이버 공격에 대한 보호 및 탐지 방안의 연구가 활발하게 진행되고 있으며, 비지도학습 형태의 딥러닝 모델이 많은 성과를 보여 딥러닝을 기반으로 한 이상(Anomaly) 탐지 기술이 많이 도입되고 있다. 어어, 본 연구에서는 딥러닝 모델에 전처리 방법론을 적용하여 시계열 데이터의 이상 탐지성능을 향상시키는 것에 중점을 두어, 그 결과 웨이블릿 변환(WT, Wavelet Transform) 기반 노이즈 제거 방법론이 딥러닝 기반 이상 탐지의 전처리 방법론으로 효과적임을 알 수 있었으며, 특히 센서에 대한 군집화(Clustering)를 통해 센서의 특성을 반영하여 Dual-Tree Complex 웨이블릿 변환을 차등적으로 적용하였을 때 사이버 공격의 탐지성능을 높이는 것에 가장 효과적임을 확인하였다.

딥러닝 기반의 딥 클러스터링 방법에 대한 분석 (Analysis of deep learning-based deep clustering method)

  • 권현;이준
    • 융합보안논문지
    • /
    • 제23권4호
    • /
    • pp.61-70
    • /
    • 2023
  • 클러스터링은 데이터의 정답값(실제값)이 없는 데이터를 기반으로 데이터의 특징벡터의 거리 기반 등으로 군집화를 하는 비지도학습 방법이다. 이 방법은 이미지, 텍스트, 음성 등 다양한 데이터에 대해서 라벨링이 없이 적용할 수 있다는 장점이 있다. 기존 클러스터링을 하기 위해 차원축소 기법을 적용하거나 특정 특징만을 추출하여 군집화하는 방법이 적용되었다. 하지만 딥러닝 기반 모델이 발전하면서 입력 데이터를 잠재 벡터로 표현하는 오토인코더, 생성 적대적 네트워크 등을 통해서 딥 클러스터링의 기술이 연구가 되고 있다. 본 연구에서, 딥러닝 기반의 딥 클러스터링 기법을 제안하였다. 이 방법에서 오토인코더를 이용하여 입력 데이터를 잠재 벡터로 변환하고 이 잠재 벡터를 클러스터 구조에 맞게 벡터 공간을 구성 및 k-평균 클러스터링을 하였다. 실험 환경으로 pytorch 머신러닝 라이브러리를 이용하여 데이터셋으로 MNIST와 Fashion-MNIST을 적용하였다. 모델로는 컨볼루션 신경망 기반인 오토인코더 모델을 사용하였다. 실험결과로 k가 10일 때, MNIST에 대해서 89.42% 정확도를 가졌으며 Fashion-MNIST에 대해서 56.64% 정확도를 가진다.

인공신경망 기반 웹서비스 분류체계 생성 프레임워크의 실증적 평가 (Facilitating Web Service Taxonomy Generation : An Artificial Neural Network based Framework, A Prototype Systems, and Evaluation)

  • 황유섭
    • 지능정보연구
    • /
    • 제16권2호
    • /
    • pp.33-54
    • /
    • 2010
  • 월드와이드웹(WWW)은 유용한 정보를 포함하는 자료들의 집합에서 유용한 작업을 수행할 수 있는 서비스들의 집합으로 변화하고 있다. 새롭게 등장하고 있는 웹서비스 기술은 향후 웹의 기술적 변화를 추구하며 최근의 웹의 변화에 중요한 역할을 수행할 것으로 기대된다. 웹서비스는 어플리케이션 간의 통신을 위한 호환성 표준을 제시하며 기업 내/외를 아우를 수 있는 어플리케이션 상호작용 및 통합을 촉진한다. 웹서비스를 서비스 중심 컴퓨팅환경으로서 운용하기 위해서는 웹서비스 저장소가 완성도 높게 조직화되어 있어야 할 뿐 아니라, 사용자들의 필요에 맞는 웹서비스 컴포넌트를 찾을 수 있는 효율적인 도구들을 제공하여야 한다. 서비스 중심 컴퓨팅을 위한 웹서비스의 중요성이 증대됨에 따라 웹서비스의 분류체계를 효율적으로 제공할수 있는 기법의 수요 또한 증대된다. 다수의 웹서비스 저장소들은 웹서비스 분류체계를 제안하여 왔지만, 대부분의 분류체계는 활용하기에는 제대로 발달하지 못하였거나 관리하기에 너무 어려운 단점을 갖고 있다. 이 논문에서는 인공신경망 기반 군집화 기법과 XML 기반의 웹서비스 기술표준인 WSDL의 의미적가치를 활용하여 웹서비스 분류체계 생성 프레임워크를 제안한다. 이 논문에서 인공신경망을 활용하여 제안하는 웹서비스 분류체계 생성 프레임워크를 프로토타입 시스템로 개발하였으며, 실제 운용되고 있는 웹서비스 저장소로부터 획득한 실제 웹서비스들을 사용하여 제안하는 웹서비스 분류체계 생성 프레임워크를 실증적으로 평가하였다. 또한 제안하는 방식의 효용성을 보여주는 실험결과를 보고한다.

Hierarchical Clustering Approach of Multisensor Data Fusion: Application of SAR and SPOT-7 Data on Korean Peninsula

  • Lee, Sang-Hoon;Hong, Hyun-Gi
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2002년도 Proceedings of International Symposium on Remote Sensing
    • /
    • pp.65-65
    • /
    • 2002
  • In remote sensing, images are acquired over the same area by sensors of different spectral ranges (from the visible to the microwave) and/or with different number, position, and width of spectral bands. These images are generally partially redundant, as they represent the same scene, and partially complementary. For many applications of image classification, the information provided by a single sensor is often incomplete or imprecise resulting in misclassification. Fusion with redundant data can draw more consistent inferences for the interpretation of the scene, and can then improve classification accuracy. The common approach to the classification of multisensor data as a data fusion scheme at pixel level is to concatenate the data into one vector as if they were measurements from a single sensor. The multiband data acquired by a single multispectral sensor or by two or more different sensors are not completely independent, and a certain degree of informative overlap may exist between the observation spaces of the different bands. This dependence may make the data less informative and should be properly modeled in the analysis so that its effect can be eliminated. For modeling and eliminating the effect of such dependence, this study employs a strategy using self and conditional information variation measures. The self information variation reflects the self certainty of the individual bands, while the conditional information variation reflects the degree of dependence of the different bands. One data set might be very less reliable than others in the analysis and even exacerbate the classification results. The unreliable data set should be excluded in the analysis. To account for this, the self information variation is utilized to measure the degrees of reliability. The team of positively dependent bands can gather more information jointly than the team of independent ones. But, when bands are negatively dependent, the combined analysis of these bands may give worse information. Using the conditional information variation measure, the multiband data are split into two or more subsets according the dependence between the bands. Each subsets are classified separately, and a data fusion scheme at decision level is applied to integrate the individual classification results. In this study. a two-level algorithm using hierarchical clustering procedure is used for unsupervised image classification. Hierarchical clustering algorithm is based on similarity measures between all pairs of candidates being considered for merging. In the first level, the image is partitioned as any number of regions which are sets of spatially contiguous pixels so that no union of adjacent regions is statistically uniform. The regions resulted from the low level are clustered into a parsimonious number of groups according to their statistical characteristics. The algorithm has been applied to satellite multispectral data and airbone SAR data.

  • PDF

터널 막장 3차원 지형모델 상에서의 불연속면 자동 매핑을 위한 딥러닝 기법 적용 방안 (Deep Learning Approach for Automatic Discontinuity Mapping on 3D Model of Tunnel Face)

  • 추엔 팜;신휴성
    • 터널과지하공간
    • /
    • 제33권6호
    • /
    • pp.508-518
    • /
    • 2023
  • 이 논문은 LiDAR 스캔 또는 사진측량 기술에 의해 재구성된 3D 디지털 모델을 기반으로 터널 벽면의 불연속면을 자동으로 매핑하는 새로운 접근 방식을 제안한다. 본 제안에서는 U-Net이라 불리는 딥러닝 시맨틱 영역분할 모델을 사용하며, 터널 막장면의 3D 지형 모델에서 불연속면 영역을 식별해 낸다. 제안된 딥러닝 모델은 투영된 RGB 이미지, 면의 깊이 이미지 및 국부적인 면의 표면 속성 이미지(즉, 법선 벡터 및 곡률 이미지)를 포함한 다양한 정보를 종합 학습하여 기본 3차원 이미지에서 불연속면 영역을 효과적으로 분할한다. 이후 영역분할 결과는 면의 깊이 맵과 투영 행렬을 사용하여 3D 모델로 다시 투영시키고, 3D 공간 내에서 불연속면의 위치 및 범위를 정확하게 표현한다. 영역분할 모델의 성능은 영역 분할된 결과를 해당 지면 실측 값과 비교함으로써 평가하였으며, IoU(intersection-over-union) 값이 약 0.8 정도로 나타나 영역분할 결과의 높은 정확성을 확인하였다. 여전히 학습데이터가 제한적 이었음에도 불구하고, 제안 기법은 3D 모델의 점군 데이터를 불연속면의 유사군으로 그룹화하기 위해 전 막장면의 법선 벡터와 클러스터링과 같은 비지도 학습기반 알고리즘에만 의존하던 기존 접근 방식의 한계의 극복 가능성을 보여주었다.

태풍 루사에 의한 강릉 사천천 주변 퇴적 환경 변화: 다중 시기 원격탐사 자료를 이용한 정보 분석 (Analysis on the Sedimentary Environment Change Induced by Typhoon in the Sacheoncheon, Gangneung using Multi-temporal Remote Sensing Data)

  • 박노욱;장동호;지광훈
    • 한국지구과학회지
    • /
    • 제27권1호
    • /
    • pp.83-94
    • /
    • 2006
  • 이 논문에서는 2002년 9월 태풍 루사로 인해 많은 재해 피해를 입은 강원도 강릉시 사천천 유역을 대상으로 다중 시기 원격탐사 자료를 이용하여 퇴적 지질환경 변화 정보를 추출하고 분석을 수행하였다. 다중 시기 자료에 대해 자동 임계치 설정 기반 무감독 변화 탐지 기법을 적용하여 여러 시기 및 센서별 변화 정보를 추출하였다. 변화탐지 결과, 제외지에서는 태풍 루사 직후 하천 탁도 변화, 습지의 수계 혹은 퇴적물로의 변화 및 계절적인 유량 차이에 의한 하도 노출 여부 등으로 변화지역이 나타났다. 주변 농경지에서는 홍수 및 산사태 등으로 인한 토사의 퇴적, 농지 개간 등으로 인한 변화가, 기타 지역에서는 제방 공사 등으로 인한 변화가 두드러지게 나타났다. 노한 야외 조사와 원격탐사 자료를 이용하여 미지형 분류도, 범람원 지역 지표 퇴적량 분포도 및 수해 지형 분류도를 작성하였다. 결론적으로 다중시기 고해상도 원격탐사 자료가 재해로 인한 변화 정보 추출에 유용하게 활용될 수 있을 것으로 기대되며, 이를 위해 고해상도 자료에 적합한 자료처리 기법 개발이 병행되어야 할 것으로 판단된다.

웹서비스 유사성 평가 방법들의 실험적 평가 (Evaluation of Web Service Similarity Assessment Methods)

  • 황유섭
    • 지능정보연구
    • /
    • 제15권4호
    • /
    • pp.1-22
    • /
    • 2009
  • 월드와이드웹(WWW)은 유용한 정보를 포함하는 자료들의 집합에서 유용한 작업을 수행할 수 있는 서비스들의 집합으로 변화하고 있다. 새롭게 등장하고 있는 웹서비스 기술은 향후 웹의 기술적 변화를 추구하며 최근의 웹의 변화에 중요한 역할을 수행할 것으로 기대된다. 웹서비스는 어플리케이션 간의 통신을 위한 호환성 표준을 제시하며 기업 내/외를 아우를 수 있는 어플리케이션 상호작용 및 통합을 촉진한다. 웹서비스를 서비스 중심 컴퓨팅환경으로서 운용하기 위해서는 웹서비스 저장소는 조직화되어 있어야 할 뿐 아니라, 사용자들의 요구에 맞는 웹서비스 컴포넌트를 찾을 수 있는 효율적인 도구들을 제공하여야 한다. 서비스 중심 컴퓨팅을 위한 웹서비스의 중요성이 증대됨에 따라 웹서비스 발견을 효율적으로 제공할 수 있는 기법의 수요 또한 증대된다. 웹서비스 발견을 위한 많은 기법들이 제안되어 왔지만, 대부분의 선행연구들은 활용하기에는 제대로 발달하지 못하였거나 특정 도메인에 너무 치중하여 일반화하기 어려웠다. 이 논문에서는 군집화기법과 XML기반의 서비스 기술표준인 WSDL의 의미적 가치를 활용하여 다수의 웹서비스를 군집화하는 프레임워크를 제안한다. 웹서비스 발견이라는 연구영역에 최초로 데이터마이닝 기법을 적용한 연구이다. 본 논문에서 제안하는 방식은 여러 흥미로운 요소들이 있다: (1) 서비스 사용자와 제공자들의 사전지식 요구를 최소화한다 (2) 특정 도메인에 과도하게 치중한 온톨로지를 피한다 (3) 웹서비스들 간의 의미론적 관계를 시각화할 수 있다. 이 논문에서 인공신경 정신망 네트워크를 기반으로 하여 프로토타입 시스템을 개발하였으며, 실제 운용되고 있는 웹서비스 저장소로부터 획득한 실제 웹서비스들을 사용하여 제안하는 웹서비스 조직화 프레임워크를 실증적으로 평가하였으며 제안하는 방식의 효용성을 보여주는 실험결과를 보고한다.

  • PDF

하이브리드 인공신경망 모형을 이용한 부도 유형 예측 (Bankruptcy Type Prediction Using A Hybrid Artificial Neural Networks Model)

  • 조남옥;김현정;신경식
    • 지능정보연구
    • /
    • 제21권3호
    • /
    • pp.79-99
    • /
    • 2015
  • 부도 예측은 회계와 재무 분야에서 꾸준히 연구되고 있는 분야이다. 초기에는 주로 다중판별분석(multiple discriminant analysis)와 로짓 분석(logit analysis)과 같은 통계적 방법을 이용하였으나, 1990년대 이후에는 경영 분야의 분류 문제를 위해 많은 연구자들이 인공신경망(back-propagation neural network), 사계기반추론(case-based reasoning), 서포트 벡터 머신(support vector machine) 등과 같은 인공지능을 통한 접근법을 이용하여 통계적 방법보다 분류 성과 측면에서 우수함을 입증해왔다. 기존의 기업의 부도에 관한 연구에서 많은 연구자들이 재무비율을 이용하여 부도 예측 모형을 구축하는 것에 초점을 맞추어왔다. 부도예측에 관한 연구가 꾸준히 진행되고 있는 반면, 부도의 세부적인 유형을 예측하여 제시하는 것에 대한 연구는 미흡한 실정이었다. 따라서 본 연구에서는 수익성, 안정성, 활동성 지표를 중심으로 국내 비외감 건설업 기업들의 부도 여부뿐만 아니라 부도의 세부적인 유형까지 예측 가능한 모형을 개발하고자 한다. 본 연구에서는 부도 유형을 예측하기 위해 두 개의 인공신경망 모형을 결합한 하이브리드 접근법을 제안하였다. 첫 번째 인공신경망 모형은 부도예측을 위한 역전파 인공신경망을 이용한 모형이며, 두 번째 인공신경망 모형은 부도 데이터를 몇 개의 유형으로 분류하는 자기조직화지도(self-organizing map)을 이용한 모형이다. 실험 결과를 통해 정의된 5개의 부도 유형인 심각한 부도(severe bankruptcy), 안정성 부족(lack of stability), 활동성 부족(lack of activity), 수익성 부족(lack of profitability), 회생 가능한 부도(recoverable bankruptcy)는 재무 비율에 따라 유형별로 상이한 특성을 갖는 것을 확인할 수 있었다. 본 연구 결과를 통해 신용 평가 분야의 연구자와 실무자들이 기업의 부도의 유형에 대한 유용한 정보를 얻을 것으로 기대한다.

텍스트 마이닝 기법을 적용한 뉴스 데이터에서의 사건 네트워크 구축 (Construction of Event Networks from Large News Data Using Text Mining Techniques)

  • 이민철;김혜진
    • 지능정보연구
    • /
    • 제24권1호
    • /
    • pp.183-203
    • /
    • 2018
  • 전통적으로 신문 매체는 국내외에서 발생하는 사건들을 살피는 데에 가장 적합한 매체이다. 최근에는 정보통신 기술의 발달로 온라인 뉴스 매체가 다양하게 등장하면서 주변에서 일어나는 사건들에 대한 보도가 크게 증가하였고, 이것은 독자들에게 많은 양의 정보를 보다 빠르고 편리하게 접할 기회를 제공함과 동시에 감당할 수 없는 많은 양의 정보소비라는 문제점도 제공하고 있다. 본 연구에서는 방대한 양의 뉴스기사로부터 데이터를 추출하여 주요 사건을 감지하고, 사건들 간의 관련성을 판단하여 사건 네트워크를 구축함으로써 독자들에게 현시적이고 요약적인 사건정보를 제공하는 기법을 제안하는 것을 목적으로 한다. 이를 위해 2016년 3월에서 2017년 3월까지의 한국 정치 및 사회 기사를 수집하였고, 전처리과정에서 NPMI와 Word2Vec 기법을 활용하여 고유명사 및 합성명사와 이형동의어 추출의 정확성을 높였다. 그리고 LDA 토픽 모델링을 실시하여 날짜별로 주제 분포를 계산하고 주제 분포의 최고점을 찾아 사건을 탐지하는 데 사용하였다. 또한 사건 네트워크를 구축하기 위해 탐지된 사건들 간의 관련성을 측정을 위하여 두 사건이 같은 뉴스 기사에 동시에 등장할수록 서로 더 연관이 있을 것이라는 가정을 바탕으로 코사인 유사도를 확장하여 관련성 점수를 계산하는데 사용하였다. 최종적으로 각 사건은 각의 정점으로, 그리고 사건 간의 관련성 점수는 정점들을 잇는 간선으로 설정하여 사건 네트워크를 구축하였다. 본 연구에서 제시한 사건 네트워크는 1년간 한국에서 발생했던 정치 및 사회 분야의 주요 사건들이 시간 순으로 정렬되었고, 이와 동시에 특정 사건이 어떤 사건과 관련이 있는지 파악하는데 도움을 주었다. 또한 일련의 사건들의 시발점이 되는 사건이 무엇이었는가도 확인이 가능하였다. 본 연구는 텍스트 전처리 과정에서 다양한 텍스트 마이닝 기법과 새로이 주목받고 있는 Word2vec 기법을 적용하여 봄으로써 기존의 한글 텍스트 분석에서 어려움을 겪고 있었던 고유명사 및 합성명사 추출과 이형동의어의 정확도를 높였다는 것에서 학문적 의의를 찾을 수 있다. 그리고, LDA 토픽 모델링을 활용하기에 방대한 양의 데이터를 쉽게 분석 가능하다는 것과 기존의 사건 탐지에서는 파악하기 어려웠던 사건 간 관련성을 주제 동시출현을 통해 파악할 수 있다는 점에서 기존의 사건 탐지 방법과 차별화된다.

Word2Vec을 활용한 제품군별 시장규모 추정 방법에 관한 연구 (A Study on Market Size Estimation Method by Product Group Using Word2Vec Algorithm)

  • 정예림;김지희;유형선
    • 지능정보연구
    • /
    • 제26권1호
    • /
    • pp.1-21
    • /
    • 2020
  • 인공지능 기술의 급속한 발전과 함께 빅데이터의 상당 부분을 차지하는 비정형 텍스트 데이터로부터 의미있는 정보를 추출하기 위한 다양한 연구들이 활발히 진행되고 있다. 비즈니스 인텔리전스 분야에서도 새로운 시장기회를 발굴하거나 기술사업화 주체의 합리적 의사결정을 돕기 위한 많은 연구들이 이뤄져 왔다. 본 연구에서는 기업의 성공적인 사업 추진을 위해 핵심적인 정보 중의 하나인 시장규모 정보를 도출함에 있어 기존에 제공되던 범위보다 세부적인 수준의 제품군별 시장규모 추정이 가능하고 자동화된 방법론을 제안하고자 한다. 이를 위해 신경망 기반의 시멘틱 단어 임베딩 모델인 Word2Vec 알고리즘을 적용하여 개별 기업의 생산제품에 대한 텍스트 데이터를 벡터 공간으로 임베딩하고, 제품명 간 코사인 거리(유사도)를 계산함으로써 특정한 제품명과 유사한 제품들을 추출한 뒤, 이들의 매출액 정보를 연산하여 자동으로 해당 제품군의 시장규모를 산출하는 알고리즘을 구현하였다. 실험 데이터로서 통계청의 경제총조사 마이크로데이터(약 34만 5천 건)를 이용하여 제품명 텍스트 데이터를 벡터화 하고, 한국표준산업분류 해설서의 산업분류 색인어를 기준으로 활용하여 코사인 거리 기반으로 유사한 제품명을 추출하였다. 이후 개별 기업의 제품 데이터에 연결된 매출액 정보를 기초로 추출된 제품들의 매출액을 합산함으로써 11,654개의 상세한 제품군별 시장규모를 추정하였다. 성능 검증을 위해 실제 집계된 통계청의 품목별 시장규모 수치와 비교한 결과 피어슨 상관계수가 0.513 수준으로 나타났다. 본 연구에서 제시한 모형은 의미 기반 임베딩 모델의 정확성 향상 및 제품군 추출 방식의 개선이 필요하나, 표본조사 또는 다수의 가정을 기반으로 하는 전통적인 시장규모 추정 방법의 한계를 뛰어넘어 텍스트 마이닝 및 기계학습 기법을 최초로 적용하여 시장규모 추정 방식을 지능화하였다는 점, 시장규모 산출범위를 사용 목적에 따라 쉽고 빠르게 조절할 수 있다는 점, 이를 통해 다양한 분야에서 수요가 높은 세부적인 제품군별 시장정보 도출이 가능하여 실무적인 활용성이 높다는 점에서 의의가 있다.