• 제목/요약/키워드: Small size sample problem

검색결과 56건 처리시간 0.036초

A data-adaptive maximum penalized likelihood estimation for the generalized extreme value distribution

  • Lee, Youngsaeng;Shin, Yonggwan;Park, Jeong-Soo
    • Communications for Statistical Applications and Methods
    • /
    • 제24권5호
    • /
    • pp.493-505
    • /
    • 2017
  • Maximum likelihood estimation (MLE) of the generalized extreme value distribution (GEVD) is known to sometimes over-estimate the positive value of the shape parameter for the small sample size. The maximum penalized likelihood estimation (MPLE) with Beta penalty function was proposed by some researchers to overcome this problem. But the determination of the hyperparameters (HP) in Beta penalty function is still an issue. This paper presents some data adaptive methods to select the HP of Beta penalty function in the MPLE framework. The idea is to let the data tell us what HP to use. For given data, the optimal HP is obtained from the minimum distance between the MLE and MPLE. A bootstrap-based method is also proposed. These methods are compared with existing approaches. The performance evaluation experiments for GEVD by Monte Carlo simulation show that the proposed methods work well for bias and mean squared error. The methods are applied to Blackstone river data and Korean heavy rainfall data to show better performance over MLE, the method of L-moments estimator, and existing MPLEs.

Technological Experience and Crop Production in Dryland Farming Systems in Africa : The Case of Draught Animal Power in Ghana

  • Panin, Anthony
    • 한국농업기계학회:학술대회논문집
    • /
    • 한국농업기계학회 1993년도 Proceedings of International Conference for Agricultural Machinery and Process Engineering
    • /
    • pp.591-600
    • /
    • 1993
  • Considerable controversy exists about the trend of animal traction effects on crop production in dryland farming systems in sub-Saharan Africa (SSA). This problem arises on account of the failure of the few available empirical studies to recognise the important of technological experience of the individual adopting farmers. This study hence addresses this issue by examining the effects of experience in animal traction technology (ATT) on farm size, cropping emphasis, total crop output and farm productivity. It is based on farm management survey data on 42 small holder farm households fro Ghana. Thirty of these households used animal traction technology (ATT) fro crop cultivation and the rest, mainly hand-hoe. The animal traction sub-sample is classified into three groups according to farmers' years of experience with the technology , thus , those with 1-2, 3-10, and more than 10. Evidence from the study shows that the progression of years of experience with ATT leads to inten ification of labour and land use systems, enhancement of degree of motivation to enter into the market economy, increases in total crop output and farm productivity resulting for decreases in cultivated acreages. The implication of the findings is that institutioal and technical support that do accompany the introduction of such technologies should be structured to last for a relatively longer period to accomodate the learning process.

  • PDF

Relevance-Weighted $(2D)^2$LDA Image Projection Technique for Face Recognition

  • Sanayha, Waiyawut;Rangsanseri, Yuttapong
    • ETRI Journal
    • /
    • 제31권4호
    • /
    • pp.438-447
    • /
    • 2009
  • In this paper, a novel image projection technique for face recognition application is proposed which is based on linear discriminant analysis (LDA) combined with the relevance-weighted (RW) method. The projection is performed through 2-directional and 2-dimensional LDA, or $(2D)^2$LDA, which simultaneously works in row and column directions to solve the small sample size problem. Moreover, a weighted discriminant hyperplane is used in the between-class scatter matrix, and an RW method is used in the within-class scatter matrix to weigh the information to resolve confusable data in these classes. This technique is called the relevance-weighted $(2D)^2$LDA, or RW$(2D)^2$LDA, which is used for a more accurate discriminant decision than that produced by the conventional LDA or 2DLDA. The proposed technique has been successfully tested on four face databases. Experimental results indicate that the proposed RW$(2D)^2$LDA algorithm is more computationally efficient than the conventional algorithms because it has fewer features and faster times. It can also improve performance and has a maximum recognition rate of over 97%.

Feature Extraction via Sparse Difference Embedding (SDE)

  • Wan, Minghua;Lai, Zhihui
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권7호
    • /
    • pp.3594-3607
    • /
    • 2017
  • The traditional feature extraction methods such as principal component analysis (PCA) cannot obtain the local structure of the samples, and locally linear embedding (LLE) cannot obtain the global structure of the samples. However, a common drawback of existing PCA and LLE algorithm is that they cannot deal well with the sparse problem of the samples. Therefore, by integrating the globality of PCA and the locality of LLE with a sparse constraint, we developed an improved and unsupervised difference algorithm called Sparse Difference Embedding (SDE), for dimensionality reduction of high-dimensional data in small sample size problems. Significantly differing from the existing PCA and LLE algorithms, SDE seeks to find a set of perfect projections that can not only impact the locality of intraclass and maximize the globality of interclass, but can also simultaneously use the Lasso regression to obtain a sparse transformation matrix. This characteristic makes SDE more intuitive and more powerful than PCA and LLE. At last, the proposed algorithm was estimated through experiments using the Yale and AR face image databases and the USPS handwriting digital databases. The experimental results show that SDE outperforms PCA LLE and UDP attributed to its sparse discriminating characteristics, which also indicates that the SDE is an effective method for face recognition.

An Application of the Clustering Threshold Gradient Descent Regularization Method for Selecting Genes in Predicting the Survival Time of Lung Carcinomas

  • Lee, Seung-Yeoun;Kim, Young-Chul
    • Genomics & Informatics
    • /
    • 제5권3호
    • /
    • pp.95-101
    • /
    • 2007
  • In this paper, we consider the variable selection methods in the Cox model when a large number of gene expression levels are involved with survival time. Deciding which genes are associated with survival time has been a challenging problem because of the large number of genes and relatively small sample size (n<

선형판별분석에서 MCMC다중대체법의 효율에 관한 연구 (A Study on the efficiency of the MCMC multiple imputation In LDA)

  • 유희경;김명철
    • 대한안전경영과학회지
    • /
    • 제11권3호
    • /
    • pp.189-198
    • /
    • 2009
  • This thesis studies two imputation methods, the MCMC method and the EM algorithm, that take care of the problem. The performance of the two methods for the linear (or quadratic) discriminant analysis are evaluated under various types of incomplete observations. Based on simulated experiments, the effect of the imputation using the EM algorithm and the MCMC method are evaluated and compared in terms of the probability of misclassification and the RMSE. This is done for the various cases of incomplete observations. The cases are differentiated by missing rates, sample sizes, and distances between two classification groups. The studies show that the probability of misclassification and the RMSE of the EM algorithm method is lower than the MCMC method. Therefore the imputation using the EM algorithm is more efficient than the MCMC method. And the probability of misclassification of the method that all vectors of observations with missing values are omitted from analysis is lower than the EM algorithm and the MCMC method when the samples size is small and the rate of missing values is extremely big.

얼굴 인식을 위한 2D DLDA 알고리즘 (2D Direct LDA Algorithm for Face Recognition)

  • 조동욱;장언동;김영길;송영준;안재형;김봉현
    • 한국통신학회논문지
    • /
    • 제30권12C호
    • /
    • pp.1162-1166
    • /
    • 2005
  • 본 논문에서는 얼굴 인식을 위한 새로운 저차원 특징 표현 기법을 제안하였다. 선형판별기법(LDA)는 인기있는 특징추출 기법이다. 하지만 고차원 데이터의 경우에 계산적인 복잡도가 높고 샘플의 개수가 적은 경우 역행렬을 구할 수 없는 특이행렬문제에 직면한다. 이러한 문제들을 해결하기 위해 일반적인 선형판별기법과 다르게 우리는 이차원 이미지 공분산 행렬을 구한 다음 직접선형판별기법(dirct LDA)을 적용하였으며 이것을 2D-DLDA라고 부른다. ORL 얼굴데이터베이스를 사용하여 실험한 결과 기존의 직접선형판별기법보다 성능이 우수함을 확인하였다.

부분 최소제곱법을 이용한 얼굴 인식에 관한 연구 (A Study on Face Recognition based on Partial Least Squares)

  • 이창범;김도향;백장선;박혁로
    • 정보처리학회논문지B
    • /
    • 제13B권4호
    • /
    • pp.393-400
    • /
    • 2006
  • 얼굴 인식에서 얼굴 이미지의 특정 추출 방법에는 여러 가지가 있다. 그러나, 얼굴 이미지의 대부분은 표본의 수보다 특정 변수의 수가 많기 때문에 이러한 점을 고려한 특정 추출 방법이 필요하다. 본 논문에서는 부분 최소제곱법을 이용하여 특정 벡터의 차원을 축소하는 방법을 제안한다. 전통적인 차원 축소 방법인 주성분 분석은 클래스의 정보를 고려하지 않고 최대 변이를 가지는 성분을 추출하기 때문에, 클래스의 구분에 필요한 특정을 필수적으로 추출하지 못한다. 이에 비해, 부분 최소제곱법은 클래스 변수에 대한 정보를 포함하여 성분을 추출한다. 그러므로, 분류를 하는데 있어서는 주성분 분석에 의해 추출된 성분보다는 부분 최소제곱법에 의해 추출된 성분이 보다 더 예측적이다. 맨체스터와 ORL 얼굴 데이터베이스를 이용하여 실험한 결과, 분류와 차원 축소 측면에서 주성분 분석 방법보다는 부분 최소제곱법을 이용한 방법이 그 성능이 우수함을 알 수 있었다.

지진 재현수준 예측에 대한 로그-로지스틱 분포와 일반화 극단값 분포의 비교 (Comparison of log-logistic and generalized extreme value distributions for predicted return level of earthquake)

  • 고낙경;하일도;장대흥
    • 응용통계연구
    • /
    • 제33권1호
    • /
    • pp.107-114
    • /
    • 2020
  • 자연 재해로부터 관측되는 자료를 대상으로 재현 수준 예측 등과 같은 자료 분석을 위해 일반화 극단값 분포(generalized extreme value)가 자주 사용되어 왔다. 표본 수가 충분히 큰 경우 연속적인 블록 최댓값들은 점근적으로 일반화 극단값 분포를 따른다. 하지만 소표본인 경우 이러한 사실은 성립되지 않을 수도 있다. 본 논문에서는 이러한 문제점을 해결하기 위해 모형 적합도 검정 및 모형 선택을 통해 로그-로지스틱(log-logistic) 분포의 사용을 제안한다. 하나의 예증으로서 중국 지진 자료를 대상으로 하여 로그-로지스틱 분포를 이용하여 재현 기간별 재현 수준 예측 및 신뢰구간을 제시한다.

창업초기 투자자금조달과 유동성에 대한 연구 (Study on Financing and Liquidity in Early-Stage SMBs)

  • 강원
    • 벤처창업연구
    • /
    • 제9권5호
    • /
    • pp.1-11
    • /
    • 2014
  • 본 연구에서는 향후 외감기업으로 성장한 기업들을 대상으로 창업초기에 투자자금을 조달하는 방식과 유동성 관리에서 어떤 특성을 보이는지 분석하여 보았다. 투자자금 조달방식에서 신규설립 기업들은 창업 2년차에는 외부자본에 상당히 의지하는 특성을 보이지만 4년차가 되면 내부자금을 가장 많이 사용하게 되어 기존기업과 차이를 더 이상 보이지 않게 되었다. 한편 유동성 측면에서는 창업 2년차나 4년차나 모두 위기를 경험하지 않았고 철저한 관리를 하고 있음을 알 수 있었다. 이러한 결과는, 표본기업의 경우 창업초기라고 볼 수 있는 기간이 매우 짧다는 사실과, 창업초기라고 할 수 있는 기간에서도 유동성보다는 자금조달 방식에서 창업초기 기업의 특성이 발견된다는 사실을 알려준다. 따라서 위의 사실은 중소벤처의 자금지원 정책도 수혜기업의 연령을 낮게 책정하고, 유동성 지원보다는 성장을 위한 투자자금 지원에 초점을 맞출 때 정책의 효율성이 높아질 것임을 시사한다.

  • PDF