• 제목/요약/키워드: 데이터유사성

검색결과 1,578건 처리시간 0.048초

효율적인 군집화 시스템의 개발을 위해 유전자 알고리즘의 적용 (Application of Gene Algorithm for the development of efficient clustering system)

  • 이호현;조범준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 춘계학술발표논문집 (상)
    • /
    • pp.277-280
    • /
    • 2003
  • 현재 많은 관심의 대상이 되고 있는 데이터 마이닝은 대용량의 데이터베이스로부터 일정한 패턴을 분류하여 지식의 형태로 추출하는 작업이다. 데이터 마이닝의 대표적인 기법인 군집화는 군집내의 유사성을 최대화하고 군집들간의 유사성을 최소화시키도록 데이터 집합을 분할하는 것이다. 데이터 마이닝에서 군집화는 대용량 데이터를 다루기 때문에 원시 데이터에 대한 접근횟수를 줄이고 알고리즘이 다루어야 할 데이터 구조의 크기를 줄이는 군집화 기법이 활발하게 사용된다. 그런데 기존의 군집화 알고리즘은 잡음에 매우 민감하고, local minima에 반응한다. 또한 사전에 군집의 개수를 미리 결정해야 하고, initialization 값에 다라 군집의 성능이 좌우되는 문제점이 있다. 본 연구에서는 유전자 알고리즘을 이용하여 자동으로 군집의 개수를 결정하는 군집화 알고리즘을 제안하고, 여기서 제시하는 적합도 함수의 최적화된 군집을 찾아내어 조금더 효율적인 알고리즘을 만들어 대용량 데이터를 다루는 데이터 마이닝에 적용해 보려한다.

  • PDF

의미적 유사성의 효과적 탐지를 위한 데이터 전처리 연구 (A Study on Preprocessing Method for Effective Semantic-based Similarity Measures using Approximate Matching Algorithm)

  • 강하리;정두원;이상진
    • 정보보호학회논문지
    • /
    • 제25권3호
    • /
    • pp.595-602
    • /
    • 2015
  • 디지털 포렌식 분야가 직면한 과제 중 하나는 대량의 데이터를 어떻게 효율적으로 처리할 것인가이다. 디지털 객체 간의 유사성을 빠르게 식별하기 위해 신뢰성 있는 다양한 근사 매칭 알고리즘이 계속하여 제시되어왔다. 하지만 알고리즘만으로 문자열의 의미적 유사성을 식별하면 많은 오탐을 보여 오히려 그 실효성을 끌어내리고 있다. 이와 같은 문제점을 해결하고자 근사 매칭 대상의 전처리 과정을 추가하여, 알고리즘 자체의 신뢰성은 유지하면서 유사도 탐지 정확성을 더 높일 수 있는 방법을 제시한다. 본 논문에서는 의미적 유사성을 식별하고자 eml과 hwp 세트를 가지고 sdhash로 실험하였으며, 실험 결과를 이용하여 그 효과성을 검증한다.

함수 변환 모델링에 의한 XML 문서의 유사성 비교에 대한 연구 (A Study on XML Document Similarity based on Function Modeling)

  • 이호석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (C)
    • /
    • pp.58-60
    • /
    • 2006
  • 근래에 XML 문서가 인터넷에서 정보 교환의 방법으로 표준화됨에 따라, 많은 양의 데이터가 XML 문서 포맷으로 저장되고 있다. XML 문서의 유사성 연구는 크게 edit-distance를 이용하는 방법, 문서의 그래프 모델을 이용하는 방법, 문서의 매트릭스 모델을 이용하는 방법 등이 있다. 최근에는 문서를 encoding 하고 푸리에 변환을 이용하는 방법이 보고되었다. 본 논문에서는 XML 문서를 함수로 변환하여 모델링하여 문서의 구조적 유사성을 비교하는 방법을 제안한다. 제안된 방법을 사용하여 XML 문서를 함수로 모델링하였으며 XML 문서 간의 유사성을 비교해 보았다.

  • PDF

고/저기압 위치 정보를 이용한 유사 일기도 검색 시스템 (Similar Weather Retrieval System using Position Information of High atmospheric pressure)

  • 정창성;이기범;김진용;황치정
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (A)
    • /
    • pp.214-216
    • /
    • 2001
  • 본 연구의 목적은 동아시아 지역에 대한 등압선 일기도를 대상으로 지상 일기 유형을 고저기압의 수 및 위치, 등압선의 간격, 기압값의 유사성을 파라메터로 분류하고 유사 일기도 검색시 동일한 파라메터를 사용하여 유사성 정도를 검색하는 알고리즘을 개발하는데 있다. 격자 데이터로부터 특징값들을 추출하고 이를 이용하여 유사도 측정을 수행하여 유사일기도를 검색하였다.

계층별 모델 역추론 공격 (Layer-wise Model Inversion Attack)

  • 권현호;김한준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.69-72
    • /
    • 2024
  • 모델 역추론 공격은 공격 대상 네트워크를 훈련하기 위해 사용되는 훈련 데이터셋 중 개인 데이터셋을 공개 데이터셋을 사용하여 개인 훈련 데이터셋을 복원하는 것이다. 모델 역추론 방법 중 적대적 생성 신경망을 사용하여 모델 역추론 공격을 하는 과거의 논문들은 딥러닝 모델 전체의 역추론에만 초점을 맞추기 때문에, 이를 통해 얻은 원본 이미지의 개인 데이터 정보는 제한적이다. 따라서, 본 연구는 대상 모델의 중간 출력을 사용하여 개인 데이터에 대한 더 품질 높은 정보를 얻는데 초점을 맞춘다. 본 논문에서는 적대적 생성 신경망 모델이 원본 이미지를 생성하기 위해 사용되는 계층별 역추론 공격 방법을 소개한다. MNIST 데이터셋으로 훈련된 적대적 생성 신경망 모델을 사용하여, 원본 이미지가 대상 모델의 계층을 통과하면서 얻은 중간 계층의 출력 데이터를 기반으로 원본 이미지를 재구성하고자 한다. GMI 의 공격 방식을 참고하여 공격 모델의 손실 함수를 구성한다. 손실 함수는 사전 손실 및 정체성 손실항을 포함하며, 역전파를 통해서 원본 이미지와 가장 유사하게 복원할 수 있는 표현 벡터 Z 를 찾는다. 원본 이미지와 공격 이미지 사이의 유사성을 분류 라벨의 정확도, SSIM, PSNR 값이라는 세 가지 지표를 사용하여 평가한다. 공격이 이루어지는 계층에서 복원한 이미지와 원본 이미지를 세 가지 지표를 가지고 평가한다. 실험 결과, 공격 이미지가 원본 이미지의 대상 분류 라벨을 정확하게 가지며 원본 이미지의 필체를 유사하게 복원하였음을 보여준다. 평가 지표 또한 원본 이미지와 유사하다는 것을 나타낸다.

소파변환을 사용한 오디오 데이터 베이스 검색 기반에서의 오디오 색인에 관한 연구 (A Study on Audio Indexing Using Wavelet Transform for Content-based Retrieval in Audio Database)

  • 최귀열;곽칠성
    • 한국정보통신학회논문지
    • /
    • 제4권2호
    • /
    • pp.461-468
    • /
    • 2000
  • 디지털 기술 발전에 따른 오디오 데이터의 증가는 여러 컴퓨터 응용에 사용되면서 데이터를 관리하고 사용하기 위해, 내용기반 질의와 유사성 검색과 같은 새로운 기능을 갖는 데이터베이스 시스템의 개발이 불가피하게 됐다. 내용 기반 질의를 위한 빠르고 정확한 검색은 이러한 응용 시스템들에 필요하다. 효율적인 내용기반 색인과 유사성 검색의 설계는 관련성 있는 데이터의 빠른 검색을 제공하기 위한 주된 요소이다. 본 논문에서는 소파(Wavelet) 변환을 이용한 한국 전통 음악 데이터베이스의 오디오 색인을 위한 방법을 제안한다. 또한 소파 변환을 이용해 오디오 데이터에 대한 색인의 가능성을 보인다.

  • PDF

비디오 검색 시스템을 위한 데이터 시퀀스 패턴 유사성 검색 (Pattern Similarity Retrieval of Data Sequences for Video Retrieval System)

  • 이석룡
    • 정보처리학회논문지D
    • /
    • 제13D권3호
    • /
    • pp.347-356
    • /
    • 2006
  • 비디오 스트림은 다차원 공간에서 데이터 포인트의 시퀀스로 표현될 수 있다. 본 논문에서는 시퀀스 내의 데이터 포인트들의 값들의 근사치에 대한 정보와 시퀀스 내의 포인트들의 방향성에 대한 정보를 내포하고 있는 트랜드 벡터(trend vector)에 대한 소개와 이 벡터를 이용하여 데이터 시퀀스를 위한 유사 패턴 검색 기법을 제안한다. 시퀀스는 복수 개의 세그먼트로 분할되며 각 세그먼트는 트랜드 벡터로 표현된다. 질의처리는 시퀀스 내의 각각의 포인트들에 대하여 수행되는 대신, 트랜드 벡터들에 대하여 처리된다. 제안한 기법은 이 벡터를 사용하여 질의와 무관한 데이터 시퀀스들을 데이터베이스로부터 여과하고 질의 시퀀스와 유사한 시퀀스들을 검색하도록 설계되었다. 제안한 기법을 검증하기 위하여 비디오 스트림과 가상으로 생성된 데이터에 관하여 실험을 수행하였으며, 실험 결과 제안한 기법의 정밀도(precision)는 기존의 방법에 비하여 2.1배까지 향상되었으며 처리시간은 45%까지 감소되었음을 보여주고 있다.

논문 데이터베이스에서의 LDA 기반 텍스트 유사도 계산 방안 (LDA-based Text Similarity in Scientific Literature Databases)

  • 엄태환;윤석호;배덕호;김상욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 춘계학술발표대회
    • /
    • pp.1247-1248
    • /
    • 2011
  • 본 논문에서는 기존의 LDA 기반 유사도 계산 방안의 논문 데이터에 대한 적합성을 검증한다. 실제 논문 데이터를 이용해 기존텍스트 유사도 계산 방안과 LDA 기반 유사도 계산 방안의 정확도를 비교 함으로써 논문 데이터베이스에서의 LDA 기반 텍스트 유사도 계산 방안의 유용성을 검증한다.

다중 volume 자료 처리 기술을 기반으로 한 3차원 유사 일기도 검색 시스템 (3-D similar weather retrieval system based on multiplex volume data processing technology)

  • 정창성;이성환;김지윤;황치정
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 추계학술발표논문집 (하)
    • /
    • pp.1087-1090
    • /
    • 2001
  • 본 연구의 목적은 동아시아 지역의 NCEP 데이터를 대상으로 1000hPa, 850hPa, 700hPa, 500hPa에서의 기온, 고도와 300hPa 에서의 풍향, 풍속과 지상의 기온, 기압 데이터를 이용하여 유사 일기도 검색시 동일한 파라메터를 사용하여 유사성 정도를 검색하는 알고리즘을 개발하는데 있다. 또한 각 파라메터에 해당하는 격자 데이터로부터 특징값들을 추출하고 이를 이용하여 유사도 측정을 수행하여 유사일기도를 검색하는 알고리즘을 개발하였다.

  • PDF

복수 대규모 언어 모델에 기반한 제어 가능형 데이터 증강 프레임워크 (Controllable data augmentation framework based on multiple large-scale language models)

  • 강현석;남궁혁;정지수;정상근
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.3-8
    • /
    • 2023
  • 데이터 증강은 인공지능 모델의 학습에서 필요한 데이터의 양이 적거나 편향되어 있는 경우, 이를 보완하여 모델의 성능을 높이는 데 도움이 된다. 이미지와는 달리 자연어의 데이터 증강은 문맥이나 문법적 구조와 같은 특징을 고려해야 하기 때문에, 데이터 증강에 많은 인적자원이 소비된다. 본 연구에서는 복수의 대규모 언어 모델을 사용하여 입력 문장과 제어 조건으로 프롬프트를 구성하는 데 최소한의 인적 자원을 활용한 의미적으로 유사한 문장을 생성하는 방법을 제안한다. 또한, 대규모 언어 모델을 단독으로 사용하는 것만이 아닌 병렬 및 순차적 구조로 구성하여 데이터 증강의 효과를 높이는 방법을 제안한다. 대규모 언어 모델로 생성된 데이터의 유효성을 검증하기 위해 동일한 개수의 원본 훈련 데이터와 증강된 데이터를 한국어 모델인 KcBERT로 다중 클래스 분류를 수행하였을 때의 성능을 비교하였다. 다중 대규모 언어 모델을 사용하여 데이터 증강을 수행하였을 때, 모델의 구조와 관계없이 증강된 데이터는 원본 데이터만을 사용하였을 때보다 높거나 그에 준하는 정확도를 보였다. 병렬 구조의 다중 대규모 언어 모델을 사용하여 400개의 원본 데이터를 증강하였을 때에는, 원본 데이터의 최고 성능인 0.997과 0.017의 성능 차이를 보이며 거의 유사한 학습 효과를 낼 수 있음을 보였다.

  • PDF