• 제목/요약/키워드: 데이터 희소성

검색결과 90건 처리시간 0.029초

도서관 정보시스템을 위한 협업 필터링 기반 개인화 추천서비스 (Personalized Recommendation Service based on Collaborative Filtering for Library Information Systems)

  • 정희정;조성배
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(A)
    • /
    • pp.251-254
    • /
    • 2011
  • 본 논문에서는 도서관 정보시스템에서 보다 개인화된 추천 서비스를 제공하기 위하여, 사용자 기반 협업 필터링의 희소성 문제를 해결하기 위한 방안을 제시한다. 이를 위하여 아이템을 메타데이터 속성인 주제분류번호를 이용하여 동일 주제의 자료끼리 군집화하고 주제군집에 대한 선호도 점수를 추출하여 이를 사용자 유사도 계산에 사용하였다. 실험을 위하여 실제 연세대학교 도서관에서 동양서를 대출한 35,238명의 총 659,792건 대출/반납건수 데이터를 사용하였으며, 제안된 방법의 성능을 평가하기 위하여 기존의 사용자 기반 협업 필터링과 비교한 결과, 정확도에서는 큰 차이가 없었으나 Coverage가 크게 향상되었음을 확인하였다.

클러스터링을 이용한 신경망 기반 협력적 추천 (A Collaborative Recommendation Based on Neural Networks Using the Clustering)

  • 김은주;류정우;김명원
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (2)
    • /
    • pp.343-345
    • /
    • 2002
  • 개인화를 위한 협력적 추천의 대표적인 방법인 최근접 이웃 방법은 적용이 쉽지만, 사용자의 선호도 정보가 적을 경우 회소성(sparsity)문제와 사용자 수가 많은 경우 수행 속도가 느려지는 범위성(Scalability)문제 그리고 사용자간의 가중치가 결여되었다는 점에서 추천의 정확성이 떨어진다. 신경망 기반 추천은 자료의 유형에 상관없이 데이터의 처리가 용이하고, 사용자간의 가중치를 학습할 수 있으며, 내용 정보, 인구통계학적 정보 등을 입력 노드에 추가함으로써 희소성 문제를 해결할 수 있으나. 범위성 문제는 존재한다. 따라서 본 논문에서는 최근접 이웃 방법으로 클러스터링 한 유사한 사용자 또는 항목들을 고려한 신경망 기반 추천 방법을 제안하여 범위성 문제를 최소화시킴으로써 추천의 성능을 향상시키고 있다. 제안한 추천 방법의 타당성을 보이기 위해 EachMovie데이터를 이용하여 기존 신경망 추천과 비교 실험하여 성능을 분석한다.

  • PDF

전자의무기록 데이터에서의 적대적 생성 알고리즘 기반 결측값 대치 알고리즘 성능분석 (Performance Evaluation of an Imputation Method based on Generative Adversarial Networks for Electric Medical Record)

  • 조용연;정민영;황보율
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.879-881
    • /
    • 2019
  • 전자의무기록 (EMR)과 같은 의료 현장에서 수집되는 대용량의 데이터는 임상 해석적으로 잠재가치가 크고 활용도가 다양하나 결측값이 많아 희소성이 크다는 한계점이 있어 분석이 어렵다. 특히 EMR의 정보수집과정에서 발생하는 결측값은 무작위적이고 임의적이어서 분석 정확도를 낮추고 예측 모델의 성능을 저하시키는 주된 요인으로 작용하기 때문에, 결측치 대체는 필수불가결하다. 최근 통상적으로 활용되어지던 통계기반 알고리즘기반의 결측치 대체 알고리즘보다는 딥러닝 기술을 활용한 알고리즘들이 새로이 등장하고 있다. 본 논문에서는 Generative Adversarial Network를 기반한 최신 결측값 대치 알고리즘인 Generative Adversarial Imputation Nets을 적용하여 EMR에서의 성능을 분석해보고자 하였다.

개체명 인식을 이용한 소셜 미디어에서의 약물 부작용 표현 추출 및 분류 (Detecting and classification ADRs using Named Entity Recognition on social media)

  • 정현정;김현희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.443-446
    • /
    • 2021
  • 의약품에 대한 안전성 정보 수집과 관리는 온라인, 오프라인을 통해 약물 이상 사례를 보고받는 형태로 진행되고 있다. 하지만 소비자들의 자발적인 참여로 이루어지므로 실제 발생하는 약물 부작용보다 데이터가 현저히 적다는 단점이 존재한다. 본 논문에서는 약물 이상 데이터 희소성 문제를 해결 할 수 있도록 소셜 미디어에서 약물 부작용 표현을 찾을 수 있도록 하였다. 소셜 미디어의 경우에는 표준 약물 부작용 용어를 사용하기보다는 일반인들이 자연어로 표현한 경우가 많으므로 개체명 인식 기법을 이용해 부작용을 추출할 수 있는 모델을 개발하였다. 또한 추출된 부작용 표현을 표준용어로 분류할 수 있는 모델을 제시하였다. 실험 결과 제안한 두 가지 모델은 0.9 이상의 정확도를 얻을 수 있었으며, 일반 사용자들이 자연어로 표현한 약물 부작용 표현을 효과적으로 찾아내고 표준 부작용 용어로 매핑할 수 있음을 보여준다.

희소한 네트워크에서 부호가 있는 그래프 합성곱 네트워크 방법들의 부호 예측 정확도 분석 (Analysis of Sign Prediction Accuracy with Signed Graph Convolutional Network Methods in Sparse Networks)

  • 김민정;이연창;김상욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 춘계학술발표대회
    • /
    • pp.468-469
    • /
    • 2023
  • 실세계 네트워크 데이터에서 노드들 간의 관계는 종종 친구/적 혹은 지지/반대와 같이 대조적인 부호를 갖는다. 이러한 네트워크를 분석하기 위해, 부호가 있는 네트워크 임베딩 (signed network embedding, 이하 SNE) 문제에 대한 관심이 급증하고 있다. 특히, 최근 들어 그래프 합성곱 네트워크 기술을 기반으로 하는 SNE 방법들에 대한 연구가 활발히 수행되어 오고 있다. 본 논문에서는, 부호가 있는 네트워크의 희소성 정도가 기존 SNE 방법들의 성능에 어떻게 영향을 미치는 지에 대해 분석하고자 한다. 4 개의 실세계 데이터 집합들을 이용한 실험을 통해, 우리는 기존 방법들의 부호 예측 정확도가 희소한 네트워크들에서는 상당히 감소하는 것을 확인하였다.

반복적 2차원 프로젝션 필터링을 이용한 확장 고차원 클러스터링 (Extended High Dimensional Clustering using Iterative Two Dimensional Projection Filtering)

  • 이혜명;박영배
    • 정보처리학회논문지D
    • /
    • 제8D권5호
    • /
    • pp.573-580
    • /
    • 2001
  • 대용량의 고차원 데이터 집합은 고차원 데이터 고유 희소성에 의하여 상당한 양의 잡음을 포함하므로 효과적인 고차원 클러스터링에 어려움을 더한다. CLIP은 이와 같은 고차원 데이터의 특성을 지원하는 클러스터링 알고리즘으로 개발되었다. CLIP은 1차원 성형변환 프로젝션을 점진적으로 적용하여, 각 프로젝션 공간에서 얻어진 1차원 클러스터들의 곱집합을 찾는다. 이 집합은 클러스터를 포함할 뿐 아니라 잡음도 포함할 수 있다. 본 논문에서는 클러스터를 포함하는 곱집합을 정제하는 확장된 CLIP 알고리즘을 제안한다. 이미 CLIP에서 찾은 곱집합에 반복적인 2차원 프로젝션을 적용하여 클러스터의 고차원적 잡음을 제거한다. 확장된 알고리즘의 성능을 평가하기 위해 합성 데이터를 이용한 일련의 실험을 통하여 효과성을 증명한다.

  • PDF

콜드스타트 문제 완화를 위한 기저속성 추출 기반 추천시스템 제안 (Toward Preventing Cold-start Problem: Basis Recommendation System)

  • 이정섭;문현석;박찬준;강명훈;이승준;안성민;박정배;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.427-430
    • /
    • 2022
  • 추천시스템에서 콜드스타트 문제를 해결하기 위해 다양한 연구들이 진행되고 있다. 하지만, 대부분의 연구는 아직도 사용자 기반의 히스토리 데이터셋을 반드시 필요로 하여, 콜드스타트 문제를 완벽히 해결하지 못하고 있다. 이에 본 논문은 콜드스타트 문제를 완화할 수 있는 기저속성 기반의 추천시스템을 제안한다. 제안하는 방법론을 검증하기 위해, 직접 수집한 한국어 영화 리뷰 데이터셋을 기반으로 성능을 검증하였으며, 평가 결과 제안한 방법론이 키워드와 사용자의 리뷰 점수를 효과적으로 반영한 추천시스템임을 확인할 수 있었고, 데이터 희소성 및 콜드스타트 문제를 완화하여 기존의 텍스트 기반 랭킹 시스템의 성능을 압도하는 것을 확인하였다. 더 나아가 제안된 기저속성 추천시스템은 추론 시에 GPU 컴퓨팅 자원을 요구하지 않기에 서비스 측면에서도 많은 이점이 있음을 확인하였다.

  • PDF

Sparse and low-rank feature selection for multi-label learning

  • Lim, Hyunki
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권7호
    • /
    • pp.1-7
    • /
    • 2021
  • 본 논문에서는 다중 레이블 분류를 위한 특징 선별 기법을 제안한다. 기존 많은 특징 선별 기법들은 상호정보척도 등을 이용하여 특징과 레이블 사이의 연관성을 계산하여 특징을 선별하였다. 하지만 상호정보척도는 결합 확률을 요구하기 때문에 실제 전제 특징 집합에서 결합 확률을 계산하는 것은 어렵다. 따라서 소수의 특징만 계산이 가능하여 지역적 최적화만 가능하다는 단점을 가진다. 이런 지역적 최적화 문제를 피해, 주어진 특징 전체 공간에서 저랭크 공간을 구성하고, 희소성을 가진 특징들을 선별할 수 있는 특징 선별 기법을 제안한다. 이를 위해 뉴클리어 노름을 이용해 회귀 기반의 목적함수를 설계하였고, 이 목적 함수의 최적화 문제를 풀기 위한 경사하강법 방식의 알고리즘을 제안하였다. 4가지의 데이터와 3가지 다중 레이블 분류 성능을 기준으로 다중 레이블 분류 실험 결과를 통해 제안하는 방법론이 기존 특징 선별 기법보다 좋은 성능을 나타내는 것을 보였다. 또한 제안하는 목적함수의 파라미터 값 변화에도 성능 변화가 둔감한 것을 실험적인 결과로 확인하였다.

구조적 희소성 기반 압축 센싱 알고리즘을 통한 측면주사소나 영상의 비균일 잡음 제거 (Non-homogeneous noise removal for side scan sonar images using a structural sparsity based compressive sensing algorithm)

  • 진영생;구본화;이승호;김성일;고한석
    • 한국음향학회지
    • /
    • 제37권1호
    • /
    • pp.73-81
    • /
    • 2018
  • 측면주사소나 영상의 화질은 소나 운용 주파수의 영향을 받는다. 저주파 측면주사소나 장비로 얻는 영상은 저화질 영상이며, 잡음이 화질 저하의 요소 중 하나가 된다. 균일한 잡음을 가정하는 광학 영상과는 달리. 측면주사소나 데이터의 잡음은 해양 환경(장비 소음, 신호 간섭 등)에 의해 발생한다. 또한 소나 신호의 전달 손실을 보상하고자 시간변환이득(Time-Varied Gain, TVG)을 수행하며, 이로 인해 측면주사소나 영상에 비균일 잡음이 생성된다. 본 논문에서는 측면주사소나 영상에 포함된 비균일 잡음을 제거하는 구조적 희소성에 기반한 압축 센싱 알고리즘 (Structural Sparsity based Compressive Sensing, SSCS)을 제안한다. 영상의 구조적 특징 도메인에서 국부적 및 비국부적 모델링을 동시에 구현하여 계수의 희소성을 보장하면서 비국부적 자가 유사성을 강화한다. 그리고 잡음의 비균일성을 고려하여 비국부적 모델링을 보상한다. 다양한 모의 실험을 통해 제안한 알고리즘의 우수성을 입증한다.

k-Modes 분할 알고리즘에 의한 군집의 상관정보 기반 빅데이터 분석 (A Big Data Analysis by Between-Cluster Information using k-Modes Clustering Algorithm)

  • 박인규
    • 디지털융복합연구
    • /
    • 제13권11호
    • /
    • pp.157-164
    • /
    • 2015
  • 본 논문은 융복합을 위한 범주형 데이터의 부공간에 의한 군집화에 대해서 다룬다. 범주형 데이터는 수치형 데이터에만 국한되지 않기 때문에 기존의 범주형 데이터들의 평가척도들은 순서화(ordering)의 부재와 데이터의 고차원성과 희소성으로 인하여 한계를 가지기 마련이다. 따라서 각각의 군집에 존재하는 범주형 속성들의 상호 유사도을 보다 근접하게 측정할 수 있는 조건부 엔트로피 척도를 제안한다. 또한 군집의 최적화를 위하여 군집내의 발산을 최소화하고, 군집간의 독립성을 향상시킬 수 있는 새로운 목적함수를 제안한다. 제안된 알고리즘의 성능을 4개의 알고리즘과 비교검증하기 위하여 5가지의 데이터에 대하여 실험을 수행하였다. 비교검증을 위한 평가척도는 정확도, f-척도와 적응된 Rand 색인이다. 실험을 통하여 제안된 방법이 평가척도에 의한 결과에서 기존의 방법들보다 좋은 성능을 보였다.