• 제목/요약/키워드: Sparseness

검색결과 77건 처리시간 0.031초

SOME POPULAR WAVELET DISTRIBUTION

  • Nadarajah, Saralees
    • 대한수학회보
    • /
    • 제44권2호
    • /
    • pp.265-270
    • /
    • 2007
  • The modern approach for wavelets imposes a Bayesian prior model on the wavelet coefficients to capture the sparseness of the wavelet expansion. The idea is to build flexible probability models for the marginal posterior densities of the wavelet coefficients. In this note, we derive exact expressions for a popular model for the marginal posterior density.

MCMC 결측치 대체와 주성분 산점도 기반의 SOM을 이용한 희소한 웹 데이터 분석 (Sparse Web Data Analysis Using MCMC Missing Value Imputation and PCA Plot-based SOM)

  • 전성해;오경환
    • 정보처리학회논문지D
    • /
    • 제10D권2호
    • /
    • pp.277-282
    • /
    • 2003
  • 웹으로부터 유용한 정보를 얻기 위한 연구는 현재 많이 진행되고 있다. 본 논문에서는 특히 웹 로그 데이터의 희소성에 대한 문제 해결과 이를 통한 웹 사용자의 군집화 방안에 대하여 연구하였다. MCMC 방법의 베이지안 추론에 의한 결측치 대체 기법을 이용하여 웹 데이터의 희소성을 제거하였고, 주성분에 의한 산점도를 통하여 형상지도의 차원을 결정한 자기 조직화지도를 이용하여 웹 사용자의 군집화를 수행하였다. 제안 기법은 기존의 방법들에 비해 모형의 정확도와 빠른 학습 시간을 제공하여 주었다. KDD Cup 데이터를 이용한 실험을 통하여 제안 방법에 대한 문제 해결 절차 및 성능 평가를 객관적으로 확인하였다.

텍스트 신뢰도 자질 기반 지식 질의응답 문서 품질 평가 모델 (Text-Confidence Feature Based Quality Evaluation Model for Knowledge Q&A Documents)

  • 이정태;송영인;박소영;임해창
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제35권10호
    • /
    • pp.608-615
    • /
    • 2008
  • 불특정 다수 사용자가 정보를 생성하는 지식 질의응답 서비스에서는 문서의 품질이 검색결과 만족도에 중요한 요소 중 하나이다. 지식 질의응답 문서의 품질 평가에 관한 기존 연구는 조회 수와 추천 수 등의 비텍스트 정보를 이용하여 문서의 품질을 평가하고, 이를 검색 모형에 반영하여 검색 성능을 높이는데 집중하였다. 이러한 비텍스트 정보는 그 유용성이 실험을 통해 증명되었다. 그러나 비텍스트 정보를 이용하여 새로 작성된 문서의 품질을 평가할 경우 심각한 자료 부족 문제가 발생할 수 있다는 단점이 있다. 본 논문에서는 이러한 비텍스트 정보의 자료 부족 문제를 완화할 수 있는 새로운 문서 품질 평가자질로서 문서 내용 자체에 대한 신뢰성을 반영하는 신뢰도 자질을 제안한다. 제안하는 자질은 문서의 내용으로부터 직접 추출되며, 따라서 추천 수나 조회 수 등 서비스 사용자의 참여를 간접적으로 필요로 하는 비텍스트 자질보다 자료 부족 문제에 견고하다는 장점이 있다. 또한 제안하는 신뢰도 자질은 문서 품질 평가에 유용하다고 알려진 비텍스트 자질과 유사하거나 향상된 성능을 실제 지식 질의응답 문서를 대상으로 한 실험에서 보였으며, 추후 효과적인 품질 평가 자질로서 지식 질의응답 서비스의 성능향상에 기여를 할 수 있을 것으로 기대된다.

BOOTSTRAP TESTS FOR THE EQUALITY OF DISTRIBUTIONS

  • Ping, Jing
    • Journal of applied mathematics & informatics
    • /
    • 제7권2호
    • /
    • pp.467-482
    • /
    • 2000
  • Testing equality of two and k distributions has long been an interesting issue in statistical inference. To overcome the sparseness of data points in high-dimensional space and deal with the general cases, we suggest several projection pursuit type statistics. Some results on the limiting distributions of the statistics are obtained, some properties of Bootstrap approximation are investigated. Furthermore, for computational reasons an approximation for the statistics the based on Number theoretic method is applied. Several simulation experiments are performed.

단어 공기 확률 추정을 위한 차원 축소 모델 (Dimension-Reduced Model for Word Co-occurrence Probability Estimation)

  • 김길연;최기선
    • 한국인지과학회:학술대회논문집
    • /
    • 한국인지과학회 2000년도 춘계 학술대회
    • /
    • pp.137-142
    • /
    • 2000
  • 본 논문에서는 확률적 자연언어 처리에서 중요한 문제인 자료 희귀(data sparseness)의 어려움을 해결하는 새로운 방법으로 차원 축소 모델을 제시한다. 세 가지의 세부 방법이 제안되었으며 Katz의 back-off 방법의 성능을 최저로 했을 때에 비해 약 60%정도의 성능이 향상되었다. 현재까지 최고의 성능을 보이고 있는 유사도 기반의 방법에 비해서도 약 5∼20%의 성능이 향상되었다. 따라서 차원 축소 모델은 확률 추정의 새로운 방법으로 쓰일 수 있다.

  • PDF

On Linear Discriminant Procedures Based On Projection Pursuit Method

  • Hwang, Chang-Ha;Kim, Dae-Hak
    • Journal of the Korean Data and Information Science Society
    • /
    • 제5권1호
    • /
    • pp.1-10
    • /
    • 1994
  • Projection pursuit(PP) is a computer-intensive method which seeks out interesting linear projections of multivariate data onto a lower dimension space by machine. By working with lower dimensional projections, projection pursuit avoids the sparseness of high dimensional data. We show through simulation that two projection pursuit discriminant mothods proposed by Chen(1989) and Huber(1985) do not improve very much the error rate than the existing methods and compare several classification procedures.

  • PDF

A Note on A Bayesian Approach to the Choice of Wavelet Basis Functions at Each Resolution Level

  • Park, Chun-Gun
    • Journal of the Korean Data and Information Science Society
    • /
    • 제19권4호
    • /
    • pp.1465-1476
    • /
    • 2008
  • In recent years wavelet methods have been focused on block shrinkage or thresholding approaches to accounting for the sparseness of the wavelet representation for an unknown function. The block shrinkage or thresholding methods have been developed in both of classical methods and Bayesian methods. In this paper, we propose a Bayesian approach to selecting wavelet basis functions at each resolution level without MCMC procedure. Simulation study and an application are shown.

  • PDF

Bayesian 방법에 의한 잡음감소 방법에 관한 연구 (Wavelet Denoising based on a Bayesian Approach)

  • 이문직;정진현
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 1999년도 하계학술대회 논문집 G
    • /
    • pp.2956-2958
    • /
    • 1999
  • The classical solution to the noise removal problem is the Wiener filter, which utilizes the second-order statistics of the Fourier decomposition. We discuss a Bayesian formalism which gives rise to a type of wavelet threshold estimation in non-parametric regression. A prior distribution is imposed on the wavelet coefficients of the unknown response function, designed to capture the sparseness of wavelet expansion common to most application. For the prior specified, the posterior median yields a thresholding procedure

  • PDF

멀티미디어 추천시스템을 위한 속성 생성 기법 (A Feature Generation Method for Multimedia Recommendation System)

  • 김형일;엄정국
    • 한국멀티미디어학회논문지
    • /
    • 제11권2호
    • /
    • pp.257-268
    • /
    • 2008
  • 멀티미디어 추천시스템은 사용자의 선호도를 분석하여 멀티미디어 상품을 사용자에게 추천하는 시스템이다. 다양한 추천 기법들에서 가장 널리 사용되는 기법은 협동적 여과 방식이다. 그러나 협동적 여과는 정보 부족 문제와 초기 시작 문제가 존재한다. 선호도 정보가 적게 존재하면 유사 사용자 추출이 어려우며, 이러한 문제는 시스템을 처음 사용하는 새로운 사용자에게 더욱 심각한 문제를 발생시킨다. 본 논문에서는 정보 부족 문제를 해결하고 추천 정확도를 향상시키기 위해 사용자와 상품에 대한 속성 생성 기법을 제안한다. 본 논문에서 제안한 기법은 속성의 분포를 이용하여 추가 속성을 생성하고, 추가 속성을 포함한 변형된 데이터를 이용하여 상품을 추천한다. 여러 실험을 통해 제안된 기법의 효과를 확인하였다.

  • PDF

Basis pursuit denoising을 사용한 두 수신기 간 시간 지연 추정 알고리즘 (Time delay estimation between two receivers using basis pursuit denoising)

  • 임준석;정명준
    • 한국음향학회지
    • /
    • 제36권4호
    • /
    • pp.285-291
    • /
    • 2017
  • 두 개 수신기에 들어오는 신호 간의 시간 지연 값을 추정하기 위한 방법들이 연구되고 있다. 그중에서 채널 추정 기법을 기반으로 한 방법의 경우는 두 수신기의 입력 신호간의 상대적인 지연을 채널의 임펄스 응답처럼 추정하는 방법이다. 이 경우에는 해당 채널의 특성이 희소 채널의 특성을 가지고 있다. 기존의 방법들은 채널의 희소성을 이용하지 못하고 있는 방법이 대부분이다. 본 논문에서는 채널의 희소성을 이용하기 위하여 희소 신호 최적화 방법의 하나인 BPD(Basis Pursuit Denoising) 최적화 기법을 사용한 시간 지연 추정 방법을 제안한다. 제안한 방법을 기존의 일반 상호 상관(Generalized Cross Correlation, GCC) 방법과 적응 소유치 분해법 및 희소 신호 추정법의 일종인 RZA-LMS(Reweighted Zero-Attracting Least Mean Square)들과 비교하여, 백색 가우시안 신호원과 유색 신호원 및 해양 포유류 신호원에 대해서 비교 실험을 하였다. 그 결과 갑자기 추정성능이 열화되는 문턱 현상이 늦게 나타나거나 훨씬 줄어드는 것을 보였다.