• 제목/요약/키워드: informative sampling

검색결과 26건 처리시간 0.027초

Mean estimation of small areas using penalized spline mixed-model under informative sampling

  • Chytrasari, Angela N.R.;Kartiko, Sri Haryatmi;Danardono, Danardono
    • Communications for Statistical Applications and Methods
    • /
    • 제27권3호
    • /
    • pp.349-363
    • /
    • 2020
  • Penalized spline is a suitable nonparametric approach in estimating mean model in small area. However, application of the approach in informative sampling in a published article is uncommon. We propose a semiparametric mixed-model using penalized spline under informative sampling to estimate mean of small area. The response variable is explained in terms of mean model, informative sample effect, area random effect and unit error. We approach the mean model by penalized spline and utilize a penalized spline function of the inclusion probability to account for the informative sample effect. We determine the best and unbiased estimators for coefficient model and derive the restricted maximum likelihood estimators for the variance components. A simulation study shows a decrease in the average absolute bias produced by the proposed model. A decrease in the root mean square error also occurred except in some quadratic cases. The use of linear and quadratic penalized spline to approach the function of the inclusion probability provides no significant difference distribution of root mean square error, except for few smaller samples.

Re-SSS: Rebalancing Imbalanced Data Using Safe Sample Screening

  • Shi, Hongbo;Chen, Xin;Guo, Min
    • Journal of Information Processing Systems
    • /
    • 제17권1호
    • /
    • pp.89-106
    • /
    • 2021
  • Different samples can have different effects on learning support vector machine (SVM) classifiers. To rebalance an imbalanced dataset, it is reasonable to reduce non-informative samples and add informative samples for learning classifiers. Safe sample screening can identify a part of non-informative samples and retain informative samples. This study developed a resampling algorithm for Rebalancing imbalanced data using Safe Sample Screening (Re-SSS), which is composed of selecting Informative Samples (Re-SSS-IS) and rebalancing via a Weighted SMOTE (Re-SSS-WSMOTE). The Re-SSS-IS selects informative samples from the majority class, and determines a suitable regularization parameter for SVM, while the Re-SSS-WSMOTE generates informative minority samples. Both Re-SSS-IS and Re-SSS-WSMOTE are based on safe sampling screening. The experimental results show that Re-SSS can effectively improve the classification performance of imbalanced classification problems.

A Study on the Role of Pivots in Bayesian Statistics

  • Hwang, Hyungtae
    • Communications for Statistical Applications and Methods
    • /
    • 제9권1호
    • /
    • pp.221-227
    • /
    • 2002
  • The concept of pivot has been widely used in various classical inferences. In this paper, it is proved by use of pivotal quantities that the Bayesian inferences can be arrived at the same results of classical inferences for the location-scale parameters models under the assumption of non-informative prior distributions. Some theorems are proposed in which the posterior distribution and the sampling distribution of a pivotal quantity coincide. The theorems are applied illustratively to some statistical models.

응답률이 관심변수의 지수함수를 따를 경우 정보적 표본설계 기법을 이용한 모수추정 (Estimation using informative sampling technique when response rate follows exponential function of variable of interest)

  • 정희영;신기일
    • 응용통계연구
    • /
    • 제30권6호
    • /
    • pp.993-1004
    • /
    • 2017
  • 표본조사에서는 추정의 정확성 및 정밀성 향상을 위해 흔히 층화추출법을 사용하며 층 내에서는 동일한 표본 가중치를 이용하여 표본을 추출한다. 그러나 실제 응답률은 관심변수 값에 영향을 받을 수 있기 때문에 주어진 동일한 가중치는 응답률을 반영하여 보정되어야 한다. 또한 관심변수가 연속형 보조변수와 선형 관계가 있고 보조변수를 기준으로 층이 나누어진 경우에는 층 내에서 동일한 가중치를 사용하는 것 보다 층을 세분화한 후 얻어진 가중치를 사용하는 것이 효과적일 수 있다. 본 연구에서는 응답률이 관심변수 자료 값의 지수함수이고, 관심변수가 보조변수와 선형 관계가 있을 때 정보적 표본설계 기법을 이용하여 추정의 정확성과 정밀성을 높이는 방법을 제안하였다. 또한 모의실험을 통하여 제안된 방법의 우수성을 확인하였다.

모의실험을 기반으로 지수형 응답률 보정을 위한 세부 층 결정에 관한 연구 (A study on the determination of substrata using the information of exponential response rate by simulation studies)

  • 민주원;신기일
    • 응용통계연구
    • /
    • 제31권5호
    • /
    • pp.621-636
    • /
    • 2018
  • 정보적 표본설계 기법을 적용하여 무응답의 영향을 줄이기 위한 연구가 진행되고 있다. 특히 초모집단모형(super population model)에 포함된 오차의 분포가 정규분포를 따르고 응답률이 지수함수를 따를 때 지수형 응답률 정보를 모수추정에 사용함으로써 추정의 정확성이 향상되는 것으로 알려져 있다. 최근 Chung과 Shin (2017)은 정보적 표본설계의 가중치를 구하기 위해 세부 층을 등간격으로 나누는 방법을 고려하였으며 세부 층의 개수가 추정의 정확성에 영향을 주는 것을 확인하였다. 이에 본 연구에서는 주어진 표본 규모에 따른 최적의 세부 층 개수와 최적의 층 경계를 구하기 위해 등간격, 분위수, LH 알고리즘을 이용하여 층을 나누는 방법을 살펴보았으며 모의실험을 통하여 각 방법의 결과를 비교하였다. 또한 다양한 형태의 보조변수 분포를 이용하여 실무에서 사용할 수 있는 세부 층 경계와 세부 층 개수를 정하는 기준을 제안하였다.

클래스 구분력이 없는 특징 소거법 (Removing non-informative features weakening of class separability)

  • 이재성;김대원
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국지능시스템학회 2007년도 추계학술대회 학술발표 논문집
    • /
    • pp.59-62
    • /
    • 2007
  • 본 논문에서는 불균형 및 Under-sampling된 바이오 데이터에 대하여 클래스 구분력이 없는 특징의 소거를 통해 이후 이어질 FLDA 둥 다양한 방법론올 적용할 수 있는 방법을 제안하고자 한다. 제안하는 알고리즘은 평균과 분산을 통해 클래스의 형태를 결정하는 기존 방법론의 문제점을 회피할 수 있는 방법을 제공하며, 클래스 구분력에 중점을 두어 특정을 선별하였을 경우 선별된 특정들의 상관 계수가 높은 문제를 극복할 수 있도록 한다. 이에 따라 알고리즘이 선택한 특정집합은 서로의 특징에 대해 상관계수가 낮으며, 클래스의 구분력이 높은 특정을 갖게 된다.

  • PDF

Naive Bayes 문서 분류기를 위한 점진적 학습 모델 연구 (A Study on Incremental Learning Model for Naive Bayes Text Classifier)

  • 김제욱;김한준;이상구
    • 정보기술과데이타베이스저널
    • /
    • 제8권1호
    • /
    • pp.95-104
    • /
    • 2001
  • In the text classification domain, labeling the training documents is an expensive process because it requires human expertise and is a tedious, time-consuming task. Therefore, it is important to reduce the manual labeling of training documents while improving the text classifier. Selective sampling, a form of active learning, reduces the number of training documents that needs to be labeled by examining the unlabeled documents and selecting the most informative ones for manual labeling. We apply this methodology to Naive Bayes, a text classifier renowned as a successful method in text classification. One of the most important issues in selective sampling is to determine the criterion when selecting the training documents from the large pool of unlabeled documents. In this paper, we propose two measures that would determine this criterion : the Mean Absolute Deviation (MAD) and the entropy measure. The experimental results, using Renters 21578 corpus, show that this proposed learning method improves Naive Bayes text classifier more than the existing ones.

  • PDF

간호사의 자원동원성, 의사소통유형이 간호업무성과에 미치는 영향 (Impact of Resourcefulness and Communication Style on Nursing Performance in Hospital Nurses)

  • 이혜순;옥지원
    • 기본간호학회지
    • /
    • 제19권2호
    • /
    • pp.253-260
    • /
    • 2012
  • Purpose: This study was done to identify the impact of resourcefulness and communication style on nursing performance in nurses working in hospitals. Method: Though a convenience sampling method 312 nurses were recruited between from July 4 and 17, 2011. Data were collected using a questionnaire, which included items on work related characteristics, resourcefulness, communication style, and nursing performance. Data were analyzed using t-test, ANOVA, Scheffe test, Pearson correlation coefficient and hierarchical regression analysis. Results: The major findings of this study were as follow; 1) There were significant relationships between nursing performance and resourcefulness ($p$<.001), informative communication style ($p$<.001), affiliativeness communication style ($p$<.001), and dominance communication style ($p$<.001). 2) The nursing performance was significantly associated with career in current department, resourcefulness, informative communication style, affiliativeness communication style, and dominance communication style in capability which explained 45.6% of variance in nursing performance. Conclusion: The results of this study demonstrate a relationship between resourcefulness, communication style, and nursing performance in hospital nurses indicating the need to use the study results to plan programs to prompt nurses in their use of resourcefulness and communication style in nursing care.

나이브 성향점수보정 추정량의 정확성 향상을 위한 이중 사후층화 방법 연구 (A study to improve the accuracy of the naive propensity score adjusted estimator using double post-stratification method)

  • 여이수;신기일
    • 응용통계연구
    • /
    • 제36권6호
    • /
    • pp.547-559
    • /
    • 2023
  • 표본조사에서 무응답의 적절한 처리는 추정의 정확성을 향상한다. 결측 메카니즘이 MCAR (missing completely at random) 또는 MAR (missing at random)인 경우에서는 이를 적절히 처리할 수 있는 다양한 방법이 연구되었다. 무응답이 발생하였을 때 사용하는 평균 추정량으로 흔히 성향점수보정 추정량이 사용되며 MAR 또는 MCAR 무응답인 경우, 알려진 표본 가중치와 타당한 방법으로 추정된 응답확률을 사용할 수 있으므로 성향점수보정 추정량은 불편추정량이 된다. 그러나 관심변수 값에 영향을 받는 무응답인 MNAR (missing not at random) 무응답에서는 정확한 응답확률을 구하는 것이 어려워 성향점수보정 추정량에 편향이 발생할 수 있다. Chung과 Shin (2017, 2022)은 무정보적 표본설계에서 MNAR 무응답이 발생하였을 때 평균 추정의 정확성을 향상하는 방법으로 단일 사후층화 방법을 제안하였다. 본 연구에서는 정보적 표본설계를 사용하고, MNAR 무응답이 발생한 경우에서 나이브 성향점수보정 추정량의 정확성 향상을 위한 이중 사후층화 방법을 제안하였다. 또한, 모의실험을 통해 제안된 방법의 우수성을 확인하였다.

Bayesian Inference on Variance Components Using Gibbs Sampling with Various Priors

  • Lee, C.;Wang, C.D.
    • Asian-Australasian Journal of Animal Sciences
    • /
    • 제14권8호
    • /
    • pp.1051-1056
    • /
    • 2001
  • Data for teat number for Landrace (L), Yorkshire (Y), crossbred of Landrace and Yorkshire (LY), and crossbred of Landrace, Yorkshire and Chinese indigenous Min Pig (LYM) were analyzed using Gibbs sampling. In Bayesian inference, flat priors and some informative priors were used to examine their influence on posterior estimates. The posterior mean estimates of heritabilities with flat priors were $0.661{\pm}0.035$ for L, $0.540{\pm}0.072$ for Y, $0.789{\pm}0.074$ for LY, and $0.577{\pm}0.058$ for LYM, and they did not differ (p>0.05) from their corresponding estimates of REML. When inverse Gamma densities for variance components were used as priors with the shape parameter of 4, the posterior estimates were still corresponding (p>0.05) to REML estimates and mean estimates using Gibbs sampling with flat priors. However, when the inverse Gamma densities with the shape parameter of 10 were utilized, some posterior estimates differed (p<0.10) from REML estimates and/or from other Gibbs mean estimates. The use of moderate degree of belief was influential to the posterior estimates, especially for Y and for LY where data sizes were small. When the data size is small, REML estimates of variance components have unknown distributions. On the other hand, Bayesian approach gives exact posterior densities of variance components. However, when the data size is small and prior knowledge is lacked, researchers should be careful with even moderate priors.