• Title/Summary/Keyword: 고차원 데이터

Search Result 254, Processing Time 0.036 seconds

Application of emerging patterns for multi-source data classification and analysis (멀티 소스 데이터 분류와 분석을 위한 이머징 패턴의 적용 방법)

  • Yoon Hye-Sung;Lee Sang-Ho;Kim Ju Han
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07b
    • /
    • pp.244-246
    • /
    • 2005
  • 상호작용하는 구조들을 하나의 클래스로 표현하는 데이터 마이닝 툴로서 이머징 패턴(EP)이 최근에 제안되었다. 기존의 클러스터링 알고리즘과 패턴 마이닝 알고리즘은 고차원의 유전자 발현 데이터 흑은 같은 변수들(e.g. genes)을 가지고 실험한 멀티 소스 데이터 분석을 다루기에 부적절하고, 실험 결과를 이해하는 데에 어려움이 있다. 그러나 EP는 분류 트리의 형태로 표현 가능하기 때문에, 다양한 형식의 데이터를 분류하는 패턴들을 빠르고 간단하게 구성하여 데이터 분석이 가능하도록 돕는다. 본 논문에서는 멀티 소스 바이오 데이터에서 분류 절차의 작업을 향상시키기 위하여 EP를 사용하는 간단한 스킴을 제안한다.

  • PDF

An Efficient Bulk Loading for High Dimensional Index Structures (고차원 색인 구조를 위한 효율적인 벌크 로딩)

  • Bok, Kyoung-Soo;Lee, Seok-Hee;Cho, Ki-Hyung;Yoo, Jae-Soo
    • The Transactions of the Korea Information Processing Society
    • /
    • v.7 no.8
    • /
    • pp.2327-2340
    • /
    • 2000
  • Existing bulk loading algorithms for multi-dimensional index structures suffer from satisfying both index construction time and retrieval perfonnancc. In this paper, we propose an efficient bulk loading algorithm to construct high dimensional index structures for large data set that overcomes the problem. Although several bulk loading algorithms have been proposed for this purpose, none of them improve both constnlCtion time and search performance. To improve the construction time, we don't sort whole data set and use bisectiou algorithm that divides the whole data set or a subset into two partitions according to the specific pivot value. Also, we improve the search performance by selecting split positions according to the distribution properties of the data set. We show that the proposed algorithm is superior to existing algorithms in terms of construction time and search perfomlance through various experiments.

  • PDF

Comparative Analysis of Dimensionality Reduction Techniques for Advanced Ransomware Detection with Machine Learning (기계학습 기반 랜섬웨어 공격 탐지를 위한 효과적인 특성 추출기법 비교분석)

  • Kim Han Seok;Lee Soo Jin
    • Convergence Security Journal
    • /
    • v.23 no.1
    • /
    • pp.117-123
    • /
    • 2023
  • To detect advanced ransomware attacks with machine learning-based models, the classification model must train learning data with high-dimensional feature space. And in this case, a 'curse of dimension' phenomenon is likely to occur. Therefore, dimensionality reduction of features must be preceded in order to increase the accuracy of the learning model and improve the execution speed while avoiding the 'curse of dimension' phenomenon. In this paper, we conducted classification of ransomware by applying three machine learning models and two feature extraction techniques to two datasets with extremely different dimensions of feature space. As a result of the experiment, the feature dimensionality reduction techniques did not significantly affect the performance improvement in binary classification, and it was the same even when the dimension of featurespace was small in multi-class clasification. However, when the dataset had high-dimensional feature space, LDA(Linear Discriminant Analysis) showed quite excellent performance.

SOM-Based $R^{*}-Tree$ for Similarity Retrieval (자기 조직화 맵 기반 유사 검색 시스템)

  • O, Chang-Yun;Im, Dong-Ju;O, Gun-Seok;Bae, Sang-Hyeon
    • The KIPS Transactions:PartD
    • /
    • v.8D no.5
    • /
    • pp.507-512
    • /
    • 2001
  • Feature-based similarity has become an important research issue in multimedia database systems. The features of multimedia data are useful for discriminating between multimedia objects. the performance of conventional multidimensional data structures tends to deteriorate as the number of dimensions of feature vectors increase. The $R^{*}-Tree$ is the most successful variant of the R-Tree. In this paper, we propose a SOM-based $R^{*}-Tree$ as a new indexing method for high-dimensional feature vectors. The SOM-based $R^{*}-Tree$ combines SOM and $R^{*}-Tree$ to achieve search performance more scalable to high-dimensionalties. Self-Organizingf Maps (SOMs) provide mapping from high-dimensional feature vectors onto a two-dimensional space. The map is called a topological feature map, and preserves the mutual relationships (similarity) in the feature spaces of input data, clustering mutually similar feature vectors in neighboring nodes. Each node of the topological feature map holds a codebook vector. We experimentally compare the retrieval time cost of a SOM-based $R^{*}-Tree$ with of an SOM and $R^{*}-Tree$ using color feature vectors extracted from 40,000 images. The results show that the SOM-based $R^{*}-Tree$ outperform both the SOM and $R^{*}-Tree$ due to reduction of the number of nodes to build $R^{*}-Tree$ and retrieval time cost.

  • PDF

Double Clustering of Gene Expression Data Based on the Information Bottleneck Method (정보병목기법에 기반한 유전자 발현 데이터의 이중 클러스터링)

  • 김병희;황규백;장정호;장병탁
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04c
    • /
    • pp.362-364
    • /
    • 2003
  • 기능 유전체학에서 클러스터링 기법은 고차원의 마이크로 어레이 데이터 분석을 위한 주된 도구 중의 하나이다. 본 논문에서는 정보병목(information bottleneck)기법 기반의 이중 클러스터링에 의한, 유전자 발현 데이터의 계층적 병합방식 클러스터링 기법을 제안한다. 정보병목기법은, 두 랜덤변수의 결합확률분포가 주어진 경우 두 변수의 상호 정보량을 최대한 보존하면서 한 변수를 압축하는 기법이며, 두 변수를 차례로 압축하는 것이 이중 클러스터링이다. 실제 마이크로 어레이 데이터인 NC160 데이터(암세포 내 유전자 발현 데이터)에 대한 실험에서, 먼저 유전자를 그 발현패턴에 따라 클러스터링 한 후 이를 이용하여 표본들을 클러스터링하고 그 성능을 다각도로 분석하였다. 상호 정보량과 유전자 및 표본 클러스터 수와 엔트로피 척도에 의한 성능을 검토해 본 결과, 표본이 추출 조직에 따라 구분 가능할 것이라는 가정을 검증할 수 있었으며, 적절한 클러스터의 수를 결정할 수 있는 임계점의 기준을 설정할 수 있었다.

  • PDF

Pattern Classification using Fuzzy Suppot Vector machine (퍼지 써포트 벡터 머신을 이용한 패턴 분류)

  • Lee, Sun-Young;Kim, Sung-Soo
    • Proceedings of the KIEE Conference
    • /
    • 2004.07d
    • /
    • pp.2540-2542
    • /
    • 2004
  • 일반적으로 support vector machine (SVM)은 입력 데이터를 두개의 다른 클래스로 구별하는 결정면을 학습을 통하여 구한다. 특히 비분류 문제, 비선형 분류 문제들과 같은 두-클래스 문제를 해결하기 위해 데이터를 고차원의 특정 공간에서 다룬다. 많은 응용분야에서, 각 입력 데이터들은 이 두개의 클래스 중의 하나로 완전히 정의되지 않을 수도 있다. 이러한 문제를 해결하기 위해 우리는 본 논문에서 FSVM(fuzzy support vector machine)을 적용한다. 각 입력 데이터에 퍼지 멤버십(fuzzy membership)을 적용하여 결정면의 학습과정에 입력 데이터들이 다른 기여 (contribution)를 할 수 있게 한다. 본 논문에서는 기준 데이터 집합에 대해 제안된 방법을 실험하고, FSVM이 기존의 SVM보다 더 나음을 보인다.

  • PDF

Cancer driver gene using multi-omics data and biological network information (멀티 오믹스 데이터 및 생물학적 네트워크 정보를 이용한 드라이버 유전자 분류)

  • Jeong-Ho Park;Kyuri Jo
    • Annual Conference of KIPS
    • /
    • 2023.05a
    • /
    • pp.490-492
    • /
    • 2023
  • 시퀀싱(sequencing) 기술의 발달로 다양한 오믹스(omics) 데이터의 축적과 인공 지능 기술의 발달로 인하여 다양한 드라이버 유전자 분류기법이 제안되어왔다. 최근에는 암 데이터가 대용량으로 축적되며 기계 학습 기반의 다양한 기법들이 활발히 제안되었다. 특히 다양한 오믹스 데이터를 결합한 고차원 데이터에서 높은 정확도를 확보하기 위한 시도가 활발히 이루어지고 있다. 본 논문에서는 멀티 오믹스와 네트워크 관련 특징을 기반으로 암의 증식 및 발생에 중요한 역할을 하는 드라이버 유전자를 분류하는 딥러닝 모델을 제시한다. 또한 The Cancer Genome Atlas(TCGA) 데이터를 통해서 모델 학습 후 기존 통계 및 머신러닝 기반 기법과 비교하여 성능이 개선되었음을 확인하였다.

Music Recommendation System Using Audio Metadata and User Playlists (음원 메타데이터와 사용자 플레이리스트를 활용한 음악 추천 시스템)

  • Kyoung Min Nam;Yu Rim Park;Ji Young Jung;Do Hyeon Kim;Hyon Hee Kim
    • Annual Conference of KIPS
    • /
    • 2024.05a
    • /
    • pp.731-732
    • /
    • 2024
  • 본 논문은 음원 메타데이터 임베딩 방법론을 기반으로 새로운 음원 추천 방법을 제안한다. 사용자 행동 데이터를 활용한 개인 맞춤형 음악 추천 모델은 신규 사용자의 데이터가 부족할 경우, 적절한 추천이 어려운 콜드스타트 현상을 초래할 수 있다. 본 연구에서는 플레이리스트의 음원 메타데이터를 Song sentence 로 구성하고, 고차원 벡터 공간에 임베딩하여 유사도를 계산한 추천 알고리즘을 구축한다. 사용자 행동 데이터가 아닌 음원의 자체적인 정보에 근거하기 때문에 콜드 스타트 현상을 보완하여 사용자에게 편리한 음악 감상 경험을 제공할 수 있을 것으로 기대된다.

IoT-based Feature Selection Technique Research Trend (IoT 기반의 특징 선택 기법 연구 동향)

  • Lim, Hwan-Hee;Lee, Tae-Ho;Lee, Byung-Jun;Kim, Kyung-Tae;Youn, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2018.07a
    • /
    • pp.41-42
    • /
    • 2018
  • 특징 선택이란, 기계학습에서 분류 정확도를 향상시키기 위해서 많은 특징들을 분석해 가장 좋은 성능을 나타낼 수 있게끔 특징의 부분집합을 찾아내는 방법이다. 특징 선택 연구는 수십만개의 변수가 있는 데이터 세트를 이용하는 응용분야에서 주로 연구된다. 이러한 응용 분야는 주로 텍스트 처리, 유전자 배열 분석과 같은 고차원 데이터를 분석하는 분야이다. 또한, IoT 환경은 많은 데이터를 처리하기 때문에, 데이터 분류나 데이터의 가공을 위해서는 특징 선택 기법이 필수적이다. 본 논문에서는 특징 선택 기법에 대해 설명하고, IoT 환경에서 특징 선택 기법을 제안한다.

  • PDF

Entropy-based Clustering Validation Technique for Categorical Data Sets (범주형 데이터 집합에 대한 엔트로피 기반 군집 유효화 기술)

  • Park Namhyun;Ahn Chang Wook;Ramakrishna R.S.
    • Annual Conference of KIPS
    • /
    • 2004.11a
    • /
    • pp.477-480
    • /
    • 2004
  • 본 논문에서는 고차원의 특성을 가진 범주형 데이터 집합의 군집 유효화 기술에 대하여 알아본다. 먼저, 범주형 데이터 집합에 대하여 한 군집의 센트로이드를 정의함에 따라 일반적인 군집화 방법에서 사용되는 쌍 유사성 측정을 가능하게 한다. 다음으로, 범주형 데이터 집합에 대한 증분 군집 알고리즘을 통하여 도출된 결과에 대해 최적 군집 수의 결정하기 위하여 엔트로피 기반 군집 유효화 지수를 사용한다. 이를 통하여 일반적인 군집 알고리즘에서 최적 결과를 얻기 위해 필요한 문턱값 결정 문제를 손쉽게 해결한다. 마지막으로, 위의 개념들을 여러 데이터 집합에 대해 실험한다.

  • PDF