• 제목/요약/키워드: 희소데이터

검색결과 85건 처리시간 0.022초

희소행렬 기반 NetCDF 파일의 압축 방법 (Compressing Method of NetCDF Files Based on Sparse Matrix)

  • 최규연;허대영;황선태
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제20권11호
    • /
    • pp.610-614
    • /
    • 2014
  • 많은 과학 데이타처럼 화산재 확산 시뮬레이션 결과는 NetCDF 형식의 군집화된 희소행렬이다. 그리고 크기가 커서 저장과 전송에 많은 비용이 발생한다. 본 논문에서는 다차원 인덱스를 일차원으로 바꾸고 연속된 0을 그 시작점과 길이만을 기록하여 화산재 확산 시뮬레이션 데이터의 크기를 줄이는 방법을 제안한다. 이 방법은 기존의 ZIP 형식으로 압축한 것과 거의 같은 성능을 보이나 NetCDF의 구조는 손상하지 않는다. 제안된 방법에 의하면 데이터 크기가 줄어들어 저장공간의 효율이 높아지고 네트워크 전송시간이 줄어드는 효과를 기대할 수 있을 것이라 사료된다.

희소한 부호 자리수 계수를 갖는 FIR 필터 설계 (Design of FIR Filters With Sparse Signed Digit Coefficients)

  • 김시현
    • 전기전자학회논문지
    • /
    • 제19권3호
    • /
    • pp.342-348
    • /
    • 2015
  • 광대역 통신 모뎀이나 초고해상도 비디오 코덱 등과 같이 높은 데이터율을 갖는 시스템을 하드웨어로 구현할 때에는 디지털 필터의 고속 구현이 필수적이다. 디지털 필터의 임계경로는 대부분 MAC (multiplication and accumulation) 연산 회로이므로 필터 계수의 0이 아닌 비트의 갯수가 희소하다면 하드웨어 비용이 적은 덧셈기로도 디지털 필터를 고속으로 구현할 수 있다. 압축센싱은 신호의 희소 표현이나 희소 신호의 복원에 우수한 성능을 보임이 최근 연구에서 보고되고 있다. 본 논문에서는 압축센싱에 기반한 디지털 FIR 필터의 CSD (canonic signed digit) 계수를 찾는 방법을 제안한다. 주어진 주파수 응답과의 오차를 최소하면서 탐욕적 방법으로 희소한 0이 아닌 부호자리수를 찾고 잘못 선택되었던 부호자리수는 제거하는 과정을 반복한다. 설계 예를 통해 제안된 방법으로 희소한 0이 아닌 CSD 계수의 FIR 필터를 설계할 수 있음을 보인다.

희소 부호화 기법과 토픽 모델링을 통한 이미지 분류 모델

  • 전진;김문철
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2015년도 하계학술대회
    • /
    • pp.49-50
    • /
    • 2015
  • 본 논문에서는 이미지를 시각적 단어로 표현하여 분석하는 기법인 bag-of-visual words (BoW) 모델을 기반으로 latent dirichlet allocation (LDA) 모델을 결합하여 시각적 단어의 구조를 파악하여 이미지를 분류할 수 있는 모델을 제안한다. 우선 이미지를 시각적 단어로 기존의 방법보다 정확하게 표현하기 위해서 희소 부호화(sparse coding) 기법을 적용한다. 기존의 BoW 모델은 하나의 이미지 패치를 하나의 단어로 표현하였지만, 희소 부호화 기법을 통해 하나의 이미지 패치를 여러 개의 단어로 표현할 수 있다. 제안하는 모델을 이용하여 이미지를 분류하기 위해서 분류 성능 측정에 많이 쓰이는 multi-class SVM 기법을 이용한다. UIUC 스포츠 데이터를 이용한 성능 측정을 통해 제안한 기법의 클래스 분류 성능을 검증하였다.

  • PDF

희소 모바일 애드 혹 네트워크 환경에서 빅데이터 센싱을 위한 에너지 효율적인 센서 커버리지 알고리즘 (An Energy-Efficient Algorithm for Solving Coverage Problem and Sensing Big Data in Sparse MANET Environments)

  • 길준민
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제6권11호
    • /
    • pp.463-468
    • /
    • 2017
  • 모바일 노드를 이용하여 넓은 범위를 센싱하기 위해서는 노드 배치의 균일성이 매우 중요한 이슈 중 하나이다. 본 논문에서는 희소 모바일 애드 혹 네트워크 환경에서 빅 데이터 센싱을 위한 커버리지 문제에 대한 주제를 다룬다. 커버리지 문제에 관한 기존 연구에서는 넓은 범위를 센싱하기 위해 노드의 수가 충분히 많은 환경을 가정하였다. 하지만 희소 모바일 애드 혹 네트워크 환경에서 센서 커버리지 문제는 노드들 간의 센싱 범위가 겹치는 범위를 최소화하기 위해 노드들 간의 거리가 충분히 멀어야 한다. 따라서 본 논문에서는 희소 모바일 애드 혹 네트워크 환경에서 센서 커버리지 문제를 정의하고 중앙 중재자 없이 자가 조직의 방식에 의한 해결 방안을 제시한다. 실험 결과를 통해 제안하는 방식은 커버리지 영역과 에너지 소비 관점에서 효율적임을 보인다.

컨벌루션 신경망 모델의 적대적 공격에 따른 성능과 개체군 희소 지표의 상관성에 관한 경험적 연구 (Empirical Study on Correlation between Performance and PSI According to Adversarial Attacks for Convolutional Neural Networks)

  • 이영석
    • 한국정보전자통신기술학회논문지
    • /
    • 제17권2호
    • /
    • pp.113-120
    • /
    • 2024
  • 개체군 희소 지표는 인공 신경망을 구성하고 있는 내부 레이어의 동작을 뉴런의 관점에서 관찰할 수 있기 때문에 블랙박스로 불리는 인공 신경망 내부의 동작을 설명하기 위하여 활용될 수 있다. 최근의 연구에서는 개체군 희소 지표를 두 종류의 컨벌루션 신경망 모델 분석에 적용하여, 레이어의 층이 깊어질수록 지표 값이 비례하여 증가하는 것이 관찰되었음을 보고하였다. 또한, 영상 분류를 위한 컨벌루션 신경망 모델에서 개체군 희소성 지표와 성능이 양의 상관성을 보인다는 연구도 있다. 본 연구에서는 적대적 예제가 컨벌루션 신경망에 적용되었을 때 신경망 내부에서 어떠한 동작이 수행되는지에 대하여 관찰하였다. 이를 위하여 적대적 예제를 입력으로 하는 컨벌루션 신경망의 개체군 희소 지표를 구한 다음, 컨벌루션 신경망의 성능과의 상관성을 비교하였다. 실험의 결과로부터 사전에 5%의 정확도를 갖도록 변형된 적대적 예제들에 대하여 온건한 데이터를 적용한 경우와 유사한 패턴의 양의 상관성을 갖는 것을 확인할 수 있었다. 이 실험결과는 적대적 예제와 온건한 데이터에 대한 각각의 개체군 희소성 지표 값들이 거시적인 관점에서 차이가 없다는 것을 의미하며 적대적 예제가 뉴런의 활성화 측면에서부터 적대적으로 동작한다는 것을 의미한다.

오픈 도메인 질의응답을 위한 질문-구절의 밀집 벡터 표현 연구 (A Study on the Dense Vector Representation of Query-Passage for Open Domain Question Answering)

  • 정민지;이새벽;김영준;허철훈;이충희
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.115-121
    • /
    • 2022
  • 질문에 답하기 위해 관련 구절을 검색하는 기술은 오픈 도메인 질의응답의 검색 단계를 위해 필요하다. 전통적인 방법은 정보 검색 기법인 빈도-역문서 빈도(TF-IDF) 기반으로 희소한 벡터 표현을 활용하여 구절을 검색한다. 하지만 희소 벡터 표현은 벡터 길이가 길 뿐만 아니라, 질문에 나오지 않는 단어나 토큰을 검색하지 못한다는 취약점을 가진다. 밀집 벡터 표현 연구는 이러한 취약점을 개선하고 있으며 대부분의 연구가 영어 데이터셋을 학습한 것이다. 따라서, 본 연구는 한국어 데이터셋을 학습한 밀집 벡터 표현을 연구하고 여러 가지 부정 샘플(negative sample) 추출 방법을 도입하여 전이 학습한 모델 성능을 비교 분석한다. 또한, 대화 응답 선택 태스크에서 밀집 검색에 활용한 순위 재지정 상호작용 레이어를 추가한 실험을 진행하고 비교 분석한다. 밀집 벡터 표현 모델을 학습하는 것이 도전적인 과제인만큼 향후에도 다양한 시도가 필요할 것으로 보인다.

  • PDF

Zero Copy를 이용한 CSR 희소행렬 연산 (CSR Sparse Matrix Vector Multiplication Using Zero Copy)

  • 윤상혁;전다윤;박능수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.45-47
    • /
    • 2021
  • APU(Accelerated Processing Unit)는 CPU와 GPU가 통합되어있는 프로세서이며 같은 메모리 공간을 사용한다. CPU와 GPU가 분리되어있는 기존 이종 컴퓨팅 환경에서는 GPU가 작업을 처리하기 위해 CPU에서 GPU로 메모리 복사가 이루어졌지만, APU는 같은 메모리 공간을 사용하므로 메모리 복사 없이 가상주소 할당으로 같은 물리 주소에 접근할 수 있으며 이를 Zero Copy라 한다. Zero Copy 성능을 테스트하기 위해 희소행렬 연산을 사용하였으며 기존 메모리 복사대비 크기가 큰 데이터는 약 4.67배, 크기가 작은 데이터는 약 6.27배 빨랐다.

희소한 네트워크에서 부호가 있는 그래프 합성곱 네트워크 방법들의 부호 예측 정확도 분석 (Analysis of Sign Prediction Accuracy with Signed Graph Convolutional Network Methods in Sparse Networks)

  • 김민정;이연창;김상욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 춘계학술발표대회
    • /
    • pp.468-469
    • /
    • 2023
  • 실세계 네트워크 데이터에서 노드들 간의 관계는 종종 친구/적 혹은 지지/반대와 같이 대조적인 부호를 갖는다. 이러한 네트워크를 분석하기 위해, 부호가 있는 네트워크 임베딩 (signed network embedding, 이하 SNE) 문제에 대한 관심이 급증하고 있다. 특히, 최근 들어 그래프 합성곱 네트워크 기술을 기반으로 하는 SNE 방법들에 대한 연구가 활발히 수행되어 오고 있다. 본 논문에서는, 부호가 있는 네트워크의 희소성 정도가 기존 SNE 방법들의 성능에 어떻게 영향을 미치는 지에 대해 분석하고자 한다. 4 개의 실세계 데이터 집합들을 이용한 실험을 통해, 우리는 기존 방법들의 부호 예측 정확도가 희소한 네트워크들에서는 상당히 감소하는 것을 확인하였다.

하이브리드 데이터셋을 이용한 악성코드 패밀리 분류 (Classification of Malware Families Using Hybrid Datasets)

  • 최서우;한명진;이연지;이일구
    • 정보보호학회논문지
    • /
    • 제33권6호
    • /
    • pp.1067-1076
    • /
    • 2023
  • 최근 변종 악성코드가 증가하면서 사이버 해킹 침해사고 규모가 확대되고 있다. 그리고 지능형 사이버 해킹 공격에 대응하기 위해 악성코드 패밀리를 효과적으로 분류하기 위한 기계학습 기반 연구가 활발히 진행되고 있다. 그러나 기존의 분류 모델은 데이터셋이 난독화되거나, 희소한 경우에 성능이 저하되는 문제가 있었다. 본 논문에서는 ASM 파일과 BYTES 파일에서 추출한 특징을 결합한 하이브리드 데이터셋을 제안하고, FNN을 사용하여 분류 성능을 평가한다. 실험 결과에 따르면 제안하는 방법은 단일 데이터셋에 비해 약 4% 향상된 성능을 보였으며, 특히 희소한 패밀리에 대해서는 약 30%의 성능 향상을 보였다.

더미 클래스를 가지는 열린 집합 얼굴 인식 방법의 유효성 검증에 대한 연구 (A Study on the Validation Test for Open Set Face Recognition Method with a Dummy Class)

  • 안정호;최권택
    • 디지털콘텐츠학회 논문지
    • /
    • 제18권3호
    • /
    • pp.525-534
    • /
    • 2017
  • 열린 집합 인식 방법론은 테스트 데이터의 클래스를 학습 시에 모두 파악할 수 없는 경우에 대한 인식 방법론이다. 따라서 열린 집합 인식 방법론은 분류와 유효성 검증의 절차를 필요로 한다. 이러한 연구는 얼굴 인식 모듈의 상용화를 위해 필수적이지만 지금까지 국내에서 연구 결과들이 거의 발표되지 않았다. 우리는 두 개의 검증 단계를 가지는 열린 집합 얼굴 인식 방법론을 제안한다. 첫 번째 단계에서는 학습 클래스 외에 더미 클래스들을 설정하고 희소표현 기반 분류를 수행한다. 이 때 테스트 데이터가 더미 클래스로 분류되면 무효 데이터로 판별하고, 유효한 클래스로 분류되면 다음 유효성 검증 단계로 넘어간다. 두 번째 단계에서 제안하는 네 가지 특징을 추출하고, 확률분포에 기반을 둔 판별함수를 통해 유효성 검증을 수행한다. 우리는 실험을 통해 열린 집합 인식 방법론의 시뮬레이션 방법을 제안하였고 제안하는 방법론의 성능을 제시하고, 희소기반 분류 방식에서 널리 사용되는 SCI 지표를 이용한 유효성 테스트보다 높은 성능을 보임을 입증할 수 있었다.