• 제목/요약/키워드: 희박성

검색결과 241건 처리시간 0.031초

하둡에서 개인 성향을 이용한 영화 추천시스템 (A Movie Recommender Systems using Personal Disposition in Hadoop)

  • 김선호;김세준;모하영;김채린;박규태;박두순
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.642-644
    • /
    • 2014
  • 정보의 폭발적인 증가로 인해 사용자들은 오히려 원하는 정보를 빠른 시간에 얻는 것이 힘들어졌다. 따라서 이 문제를 해결하기 위한 다양한 방식의 새로운 서비스들이 제공되고 있다. 추천 시스템 중에서 영화를 추천해주는 방법에는 사용되는 알고리즘에는 협업필터링 방법이 가장 성공한 알고리즘으로 사용되고 있다. 협업 필터링 방법은 사용자가 자발적으로 입력한 선호도 평가치를 바탕으로 추천 하고자 하는 사용자와 취향이 비슷하다고 판단되는 사람들 즉, 최근접 이웃을 구하고 최근접 이웃의 선호도 평가치를 바탕으로 사용자에게 영화를 추천을 해주는 기법이다. 그러나 협업 필터링에는 몇 가지 대표적인 문제점이 있으며 희박성 및 확장성, 투명성이 있다. 본 논문에서는 영화 추천 시스템에서의 협업필터링의 희박성 문제를 보완하고자 개개인의 성향을 반영하여 효율이 좋은 추천 방법을 제안하고 하둡에서 성능평가를 하였다.

필터링된 잔차를 이용한 희박벡터자기회귀모형에서의 변수 선택 측도 (Filtered Coupling Measures for Variable Selection in Sparse Vector Autoregressive Modeling)

  • 이승규;백창룡
    • 응용통계연구
    • /
    • 제28권5호
    • /
    • pp.871-883
    • /
    • 2015
  • 벡터자기회귀모형은 다차원의 시계열 자료간의 선형종속 관계를 연구하는데 효율적인 모형이다. 하지만 차원이 높아질 경우 추정해야할 모수가 급격히 증가하여 추정이 불안정해지고 예측력의 저하 및 해석의 어려움을 동반하는 문제를 가지고 있다. 이를 보완하기 위해서 많은 계수를 0으로 두는 희박벡터자기회귀모형이 제안되었고 고차원 시계열 분석에서 유용함이 밝혀졌다. 이 논문에서는 희박벡터자기회귀모형 추정에 있어서 어떠한 계수를 0으로 두어야 하는지를 판단해주는 한 쌍의 변수에 대한 상관 정도를 추정해주는 커플링 측도를 제안한다. 먼저 이 논문에서는 부분 스펙트럼 일관성에 기반을 둔 커플링 측도를 사용한 변수 선택의 경우 다른 변수의 효과를 제거한 잔차에 기반을 두었기에 좋은 효율성을 보임을 밝힌다. 하지만 부분 스펙트럼 일관성의 경우 벡터자기회귀모형 계수의 비대칭성을 고려하지 못한다는 단점이 있어 이를 보완하고자 필터링을 통해 다른 변수의 효과를 제거한 잔차에 기반을 둔 동시에 비대칭성을 가지는 커플링 측도들, 필터링된 잔차를 이용한 교차 상관성과 그래인저 인과관계를 제안한다. 모의실험을 통해 우리가 제안한 방법론들이 두터운 꼬리를 가지거나 높은 차수의 희박벡터자기회귀모형의 경우에도 매우 정확하게 0이 아닌 변수를 선택함을 보인다.

LASSO를 사용한 시간 지연 추정 알고리즘 (Time Delay Estimation Using LASSO (Least Absolute Selection and Shrinkage Operator))

  • 임준석;편용국;최석임
    • 한국통신학회논문지
    • /
    • 제39B권10호
    • /
    • pp.715-721
    • /
    • 2014
  • 두 개 센서에 도래하는 신호 간의 시간 지연을 추정 방법에는 여러 가지가 존재한다. 그 중에서 채널 추정 기법을 기반으로 한 방법의 경우는 두 센서에 입력되는 서로 다른 신호간의 상대적인 지연을 채널의 임펄스 응답처럼 추정하도록 되어 있다. 이 경우에는 해당 채널의 특성이 희박 채널의 특성을 가지고 있다. 기존의 방법들은 채널의 희박성을 이용하지 못하고 있는 방법이 대부분이다. 본 논문에서는 채널의 희박성을 이용하기 위하여 희박신호 최적화 방법의 하나인 LASSO 최적화를 사용한 시간 지연 추정 방법을 제안한다. 제안한 방법을 기존의 방법과 비교하여, 백색 가우시안 신호원에서는 약 10dB 이상의 성능 개선 결과를 보이고, 유색 신호원에서도 갑자기 추정성능이 열하되는 현상이 없음을 보인다.

Wavelet 변환과 결합한 잔차 학습을 이용한 희박뷰 전산화단층영상의 인공물 감소 (Artifact Reduction in Sparse-view Computed Tomography Image using Residual Learning Combined with Wavelet Transformation)

  • 이승완
    • 한국방사선학회논문지
    • /
    • 제16권3호
    • /
    • pp.295-302
    • /
    • 2022
  • 희박뷰 전산화단층촬영(computed tomography; CT) 영상화 기술은 피폭 방사선량을 감소시킬 수 있을 뿐만 아니라 획득한 투영상의 균일성을 유지하고 잡음을 감소시킬 수 있는 장점이 있다. 하지만 재구성 영상 내 인공물 발생으로 인하여 화질 및 피사체 구조가 왜곡되는 단점이 있다. 본 연구에서는 희박뷰 CT 영상의 인공물 감소를 위해 wavelet 변환과 잔차 학습(residual learning)을 적용한 콘볼루션 신경망(convolutional neural network; CNN) 기반 영상화 모델을 개발하고, 개발한 모델을 통한 희박뷰 CT 영상의 인공물 감소 정도를 정량적으로 분석하였다. CNN은 wavelet 변환 층, 콘볼루션 층 및 역 wavelet 변환 층으로 구성하였으며, 희박뷰 CT 영상과 잔차 영상을 각각 입출력 영상으로 설정하여 영상화 모델 학습을 진행하였다. 영상화 모델 학습을 위해 평균제곱오차(mean squared error; MSE)를 손실함수로, Adam 함수를 최적화 함수로 사용하였다. 학습된 모델을 통해 입력 희박뷰 CT 영상에 대한 예측 잔차 영상을 획득하고, 두 영상간의 감산을 통해 최종 결과 영상을 획득하였다. 또한 최종 결과 영상에 대한 시각적 특성, 최대신호대잡음비(peak signal-to- noise ratio; PSNR) 및 구조적유사성지수(structural similarity; SSIM)를 측정하였다. 연구결과 본 연구에서 개발한 영상화 모델을 통해 희박뷰 CT 영상의 인공물이 효과적으로 제거되며, 공간분해능이 향상되는 결과를 확인하였다. 또한 wavelet 변환과 잔차 학습을 미적용한 영상화 모델에 비해 본 연구에서 개발한 영상화 모델은 결과 영상의 PSNR 및 SSIM을 각각 8.18% 및 19.71% 향상시킬 수 있음을 확인하였다. 따라서 본 연구에서 개발한 영상화 모델을 이용하여 희박뷰 CT 영상의 인공물 제거는 물론 공간분해능 향상 및 정량적 정확도 향상 효과를 획득할 수 있다.

하둡에서 개인 성향을 이용한 웹툰 추천 시스템 (A Webtoon Recommendation System Using Personal Propensity in Hadoop)

  • 이건호;윤원탁;황동현;박두순
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.408-411
    • /
    • 2016
  • 최근 국내의 콘텐츠 생산률이 증가함에 따라, 많은 사람들이 즐길 수 있는 콘텐츠들이 많아 졌다. 하지만 사람들은 많아진 콘텐츠로 인해, 오히려 원하는 정보를 빠른 시간에 얻는 것이 힘들어졌다. 이러한 문제를 해결하기 위해 다양한 방식의 새로운 서비스들이 제공 되고 있다. 추천 시스템 중에서 웹툰을 추천해주는 알고리즘으로 협업필터링 방법이 가장 많이 사용되고 있다. 협업필터링 방법에는 희박성과 확장성, 투명성의 문제점들을 가지고 있다. 따라서 본 논문에서는 협업 필터링 방법의 희박성 문제를 보완하고자 개인의 성향을 반영하여 효율이 좋은 웹툰 추천 시스템을 제안하고, 하둡 시스템에서 구현한다.

분산 테라스케일 텐서 생성기 (TeT: Distributed Tera-Scale Tensor Generator)

  • 전병수;이정우;강유
    • 정보과학회 논문지
    • /
    • 제43권8호
    • /
    • pp.910-918
    • /
    • 2016
  • 많은 종류의 데이터들은 텐서로 표현될 수 있다. 텐서란 다차원 배열을 의미하며, 그 예로 (사용자, 사용자, 시간)으로 이루어진 소셜 네트워크 데이터가 있다. 이러한 다차원 데이터 분석에 있어서 텐서 생성기는 시뮬레이션, 다차원 데이터 모델링 및 이해, 샘플링/외삽법 등 다양한 응용이 가능하다. 하지만, 존재하는 텐서 생성기들은 실제 세계의 텐서처럼 멱 법칙을 따르는 특성과 희박성을 갖는 텐서를 생성할 수 없다. 또한, 처리가능한 텐서 크기에 한계가 존재하고, 분산시스템에서 추가 분석을 하려면 텐서를 분산시스템에 업로드 하는 추가비용이 든다. 본 논문은 분산 테라스케일 텐서 생성기(TeT)를 제안함으로써 이러한 문제를 해결하고자 한다. TeT는 희박성을 갖는 랜덤 텐서와 희박성과 멱 법칙을 따르는 특성을 갖는 Recursive-MATrix 텐서, 크로네커 텐서를 크기 제한없이 생성할 수 있다. 또한, TeT에서 생성된 텐서는 같은 분산 시스템에서 추가적인 텐서분석이 가능하다. TeT는 효율적인 설계로 인해 거의 선형적인 머신확장성을 보인다.

사용자와 아이템의 혼합 협력적 필터링에서 Naive Bayesian 알고리즘을 이용한 추천 방법 (Recommendation Method using Naive Bayesian algorithm in Hybrid User and Item based Collaborative Filtering)

  • 김용집;정경용;한승진;고종철;이정현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (1)
    • /
    • pp.184-186
    • /
    • 2003
  • 기존의 사용자 기반 협력적 필터링이 가지는 단점으로 지적되었던 희박성과 확장성의 문제를 아이템 기반 협력적 필터링 기법을 통하여 개선하려는 연구가 진행되어 왔다. 실제로 많은 성과가 있었지만. 여전히 명시적 데이터를 기반으로 하기 때문에 희박성이 존재하며, 아이템의 속성이 반영되지 않는 문제점이 있다. 본 논문에서는 기존의 아이템 기반 협력적 필터링의 문제점을 보완하기 위하여 사용자와 아이템의 혼합 협력적 필터링에서 Naive Bayesian 알고리즘을 이용한 추천 방법을 제안한다. 제안된 방법에서는 각 사용자와 아이템에 대한 유사도 검색 테이블을 생성한 후, Naive Bayesian 알고리즘으로 아이템을 예측 및 추천함으로써, 성능을 개선하였다. 성능 평가를 위해 기존의 아이템 기반 협력적 필터링 기술과 비교 평가하였다.

  • PDF

희박한 데이터에 대한 선형판별분석에서 최적의 차원 수 결정 (Optimal number of dimensions in linear discriminant analysis for sparse data)

  • 신가인;김재직
    • 응용통계연구
    • /
    • 제30권6호
    • /
    • pp.867-876
    • /
    • 2017
  • 오늘날 관찰값의 개수에 비해 변수의 개수가 큰 희박한 데이터셋은 다양한 분야에서 쉽게 찾아볼 수 있고, 통계학에서 그러한 데이터셋에 대한 분석은 하나의 도전이 되어 왔다. 그러한 희박한 데이터에 대한 분류를 위해 판별분석모형들이 최근에 개발되었다. 그러한 판별분석모형들 중 하나의 접근법은 그룹들을 잘 구분해주는 차원들을 찾기를 시도하는데, 그러한 차원들은 데이터의 변수의 개수보다 훨씬 적다. 그러한 모형에서 차원의 수는 예측과 자료의 시각화를 위해 중요한 역할을 하고 일반적으로 K-묶음 교차타당성 방법에 의해 결정된다. 하지만, 희박한 데이터의 경우 K-묶음 교차타당성 방법 적용시 각 묶음에 대한 관찰값의 개수가 매우 적을 수 있기 때문에 교차타당성에 의한 차원 수 결정은 신뢰성이 떨어질 수 있다. 따라서, 본 연구에서는 그러한 희박판별분석모형에 의해 찾아진 차원들에서 각 그룹들의 평균 간의 표준화된 거리에 근거한 측도를 사용하여 최적의 차원 수를 결정하는 방법을 제안하고, 제안된 방법은 모의실험을 통해 검증된다.

협업필터링의 희박 행렬 문제를 위한 이행적 유사도 평가 모델 (Transitive Similarity Evaluation Model for Improving Sparsity in Collaborative Filtering)

  • 배은영;유석종
    • 한국정보기술학회논문지
    • /
    • 제16권12호
    • /
    • pp.109-114
    • /
    • 2018
  • 협업 필터링은 사회적 추천 방식으로서 뛰어난 성능을 제공하는 대표적인 추천 시스템 알고리즘으로 폭넓게 사용되어 오고 있다. 협업 필터링은 구조적으로 아이템 평가 데이터에 의존하고 있기 때문에 평가 행렬의 희박도는 추천 성능에 직접적으로 영향을 미친다. 평가 행렬의 희박성 문제 개선을 위해 협업 필터링과 내용 기반 방법을 결합하는 복합형 추천 방법에 대한 연구는 꾸준하게 이루어져 왔으며, 본 연구에서는 협업 필터링의 희소 평가 행렬(sparse rating matrix) 문제 개선 방안의 하나로 공통 평가 아이템이 누락되어 유사도 측정이 불가능한 상황에 대처하기 위한 방법을 제안한다. 이를 위하여 사용자간 이행적 관계 그래프에 기반하는 유사도 평가 모델을 설계하고 오픈 데이터셋인 Movielens에 적용하여 추천 정확도를 측정 비교하였다.

분류 속성과 Naive Bayesian을 이용한 사용자와 아이템 기반의 협력적 필터링 (User and Item based Collaborative Filtering Using Classification Property Naive Bayesian)

  • 김종훈;김용집;임기욱;이정현;정경용
    • 한국콘텐츠학회논문지
    • /
    • 제7권11호
    • /
    • pp.23-33
    • /
    • 2007
  • 협력적 필터링은 피어슨 상관 계수에 의해 유사도를 구하고, 선호도를 기반으로 이웃 선정 방법을 사용하므로 아이템에 대한 내용을 반영하지 못할 뿐만 아니라 희박성 및 확장성의 문제를 가지고 있다. 이러한 문제점을 개선하기 위하여 아이템 기반 협력적 필터링이 실용화되었으나 아이템의 속성을 반영하지는 못한다. 본 논문에서는 기존 추천 시스템의 문제점을 보완하기 위하여 분류 속성과 Naive Bayesian을 이용한 사용자와 아이템 기반의 협력적 필터링을 제안하였다. 제안한 방법에서는 희박성 문제를 해결하기 위하여 명시적 데이터에 기반한 아이템 유사도와 묵시적 데이터에 기반한 사용자 유사도를 복합적으로 참조한다. 참조 결과에 대해 Naive Bayesian을 적용한다. 또한 속성을 반영하기 위해 아이템 분류속성간의 유사관계 순위를 아이템 유사도 계산에 반영함으로써 정확성을 높일 수 있었다.