• 제목/요약/키워드: generalized lasso

검색결과 11건 처리시간 0.022초

Moderately clipped LASSO for the high-dimensional generalized linear model

  • Lee, Sangin;Ku, Boncho;Kown, Sunghoon
    • Communications for Statistical Applications and Methods
    • /
    • 제27권4호
    • /
    • pp.445-458
    • /
    • 2020
  • The least absolute shrinkage and selection operator (LASSO) is a popular method for a high-dimensional regression model. LASSO has high prediction accuracy; however, it also selects many irrelevant variables. In this paper, we consider the moderately clipped LASSO (MCL) for the high-dimensional generalized linear model which is a hybrid method of the LASSO and minimax concave penalty (MCP). The MCL preserves advantages of the LASSO and MCP since it shows high prediction accuracy and successfully selects relevant variables. We prove that the MCL achieves the oracle property under some regularity conditions, even when the number of parameters is larger than the sample size. An efficient algorithm is also provided. Various numerical studies confirm that the MCL can be a better alternative to other competitors.

일반화가법모형에서 축소방법의 적용연구 (A Study on Applying Shrinkage Method in Generalized Additive Model)

  • 기승도;강기훈
    • 응용통계연구
    • /
    • 제23권1호
    • /
    • pp.207-218
    • /
    • 2010
  • 일반화가법모형은 기존 선형회귀모형의 문제점을 대부분 해결한 통계모형이지만 의미있는 독립변수의 수를 줄이는 방법이 적용되지 않을 경우 과대적합 문제가 발생할 수 있다. 그러므로 일반화가법모형에서 변수 축소방법을 적용하는 연구가 필요하다. 회귀분석에서 변수 축소방법으로 최근에는 Lasso 계열의 접근법이 연구되고 있다. 본 연구에서는 활용성이 높은 통계모형인 일반화가법모형에 Lasso 계열의 모형 중에서 Group Lasso와 Elastic net 모형을 적용하는 방법을 제시하고 이들의 해를 구하는 절차를 제안하였다. 그리고 제안된 방법을 모의실험과 실제자료인 회계년도 2005년 자동차보혐 자료에 적용을 통해 비교하여 보았다. 그 결과 본 논문에서 제안한 Group Lasso와 Elastic net을 이용하여 변수 축소를 통한 일반화가법모형이 기존의 방법보다 더 나은 결과를 제공하는 것으로 분석 되었다.

Generalized Lasso를 이용한 공간 군집 기법 (Spatial Clustering Method Via Generalized Lasso)

  • 송은정;최호식;황승식;이우주
    • 응용통계연구
    • /
    • 제27권4호
    • /
    • pp.561-575
    • /
    • 2014
  • 본 논문에서는 질병과 연관성을 갖는 국소 공간 군집을 검출할 수 있는 벌칙 가능도 방법을 제안한다. 핵심적인 계산 알고리즘은 Tibshirani와 Taylor (2011)에 의해 제안된 일반화된 라소(generalized lasso)에 기반한다. 제안된 방법은 현재 널리 사용되고 있는 국소 공간 군집 방법인 Kulldorff의 기법에 비해 두가지 주요 장점을 가지고 있다. 첫째로, 제안된 방법은 사전에 군집의 크기를 미리 결정해 줄 필요가 없다. 둘째로, 임의의 설명변수를 공간 군집 탐색 기법에 고려할 수 있기 때문에 인구학적인 변수를 보정하였을 때 나타나는 국소 공간 군집을 찾는 것이 가능하다. 우리는 제안된 방법을 서울시 결핵 자료를 사용하여 설명한다.

Elastic Net를 이용한 시간 지연 추정 알고리즘 (Time delay estimation algorithm using Elastic Net)

  • 임준석; 이근화
    • 한국음향학회지
    • /
    • 제42권4호
    • /
    • pp.364-369
    • /
    • 2023
  • 두 개 수신기에 들어오는 신호 간의 시간 지연 추정 기술은 수중 음향 뿐만 아니라 실내 음향 및 로보틱스에 이르기까지 다양한 분야에서 응용되고 있는 기술이다. 시간 지연 추정 기술에는 수신기 사이 상호 상관으로부터 시간 지연량을 추정하는 방법이 한 기술 부류이고, 수신기 사이의 시간 지연을 파라메트릭 모델링을 하여 그 파라미터를 시스템 인식의 방법으로 추정하는 기술 부류가 있다. 두 부류 중 후자의 경우 시스템의 파라미터 중에서 지연과 직접 관련 있는 파라미터는 전체 중 극히 일부라는 특성이 있다. 이 특성을 이용하여 Lasso 정규화 같은 방법으로 추정 정확도를 높이기도 한다. 그러나 Lasso 정규화의 경우 필요한 정보가 소실되는 경우가 발생한다. 본 논문에서는 이를 보완하기 위해서 Lasso 정규화에 Ridge 정규화를 덧붙인 Elastic Net을 사용한 방법을 제안한다. 제안한 방법을 기존의 일반 상호 상관(Generalized Cross Correlation, GCC) 방법 및 Lasso 정규화를 사용한 방법과 비교하여, 백색 가우시안 신호원 및 유색 신호원에서도 추정 오차가 매우 적음을 보인다.

Variable selection in Poisson HGLMs using h-likelihoood

  • Ha, Il Do;Cho, Geon-Ho
    • Journal of the Korean Data and Information Science Society
    • /
    • 제26권6호
    • /
    • pp.1513-1521
    • /
    • 2015
  • Selecting relevant variables for a statistical model is very important in regression analysis. Recently, variable selection methods using a penalized likelihood have been widely studied in various regression models. The main advantage of these methods is that they select important variables and estimate the regression coefficients of the covariates, simultaneously. In this paper, we propose a simple procedure based on a penalized h-likelihood (HL) for variable selection in Poisson hierarchical generalized linear models (HGLMs) for correlated count data. For this we consider three penalty functions (LASSO, SCAD and HL), and derive the corresponding variable-selection procedures. The proposed method is illustrated using a practical example.

frailtyHL 통계패키지를 이용한 프레일티 모형의 변수선택: 유방암 생존자료 (Variable Selection in Frailty Models using FrailtyHL R Package: Breast Cancer Survival Data)

  • 김보현;하일도;노맹석;나명환;송호천;김자혜
    • 응용통계연구
    • /
    • 제28권5호
    • /
    • pp.965-976
    • /
    • 2015
  • 통계적 모형에서 적절한 변수를 선택하는 것은 회귀분석에서 매우 중요하다. 최근 벌점 함수(예: LASSO 및 SCAD)와 함께 벌점화 가능도를 사용하는 변수 선택 방법들이 선형모형 및 일반화 선형모형과 같은 단순한 통계 모형에서 널리 연구되고 있다. 이러한 방법들의 주요 장점은 중요한 변수를 선택하고 동시에 회귀계수를 추정하는 것이다. 그러므로 이 방법들은 0으로 회귀계수를 추정함으로써 중요하지 않은 변수를 삭제한다. 이 논문에서는 콕스 비례 위험 모형의 한 확장인 준 모수적 프레일티 모형에서 벌점화된 다단계 가능도(h-likelihood; HL)를 기반으로 적절한 변수를 선택하는 방법을 연구한다. 이를 위해 세 가지 벌점 함수 LASSO, SCAD 및 HL을 사용한다. 본 논문에서는 변수선택을 효율적으로 하기 위해 "frailtyHL" R 패키지 (Ha 등, 2012)를 기반으로 하여 새로운 함수를 개발하였다. 개발된 방법의 예증을 위해 전남대 의과대학 병원에서 수집된 유방암 생존자료를 이용하여 세 가지 변수 선택 방법의 결과를 비교하고, 이 변수선택방법들의 상대적 장 단점에 대해 토론한다.

영화흥행 영향요인 선택에 관한 연구 (A Study for the Drivers of Movie Box-office Performance)

  • 김연형;홍정한
    • 응용통계연구
    • /
    • 제26권3호
    • /
    • pp.441-452
    • /
    • 2013
  • 국내 영화 산업은 투자 배급사 멀티플렉스로 수직 계열화된 대기업 중심으로 온라인 구전 마케팅이 활발히 진행되고 있다, 최근에는 대기업 계열의 멀티플렉스 영화관 중심으로 3D 4D 영화포맷 복합상영을 통해 up-selling을 통한 흥행성과 극대화를 도모하고 있다. 영화산업 기술진보와 흥행여건 변화에 따라, 기존 관객 수 대신 매출액을 흥행성과로 정의하고, 국내 개봉 상업영화를 대상으로 축소추정기법을 포함한 여러 회귀모형을 적용하였다. 특히 LASSO회귀의 경우, 교차타당성 방법을 이용한 예측오차가 가장 적고 흥행성과에 설명력이 높은 변수 순으로 의미 있는 독립변수들을 빠르고 효율적으로 선택할 수 있었다. 2013년도 1분기 개봉 영화를 대상으로 실증분석 결과, 개봉 후 온라인 평점과 빈도 모두 영향력이 높았으나, 개봉 전에는 온라인 평점만 효과적인 것으로 나타났다. 상영포맷 또한 흥행성과에 유의한 영향을 미치는 것으로 나타났다.

Efficient Neural Network for Downscaling climate scenarios

  • Moradi, Masha;Lee, Taesam
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2018년도 학술발표회
    • /
    • pp.157-157
    • /
    • 2018
  • A reliable and accurate downscaling model which can provide climate change information, obtained from global climate models (GCMs), at finer resolution has been always of great interest to researchers. In order to achieve this model, linear methods widely have been studied in the past decades. However, nonlinear methods also can be potentially beneficial to solve downscaling problem. Therefore, this study explored the applicability of some nonlinear machine learning techniques such as neural network (NN), extreme learning machine (ELM), and ELM autoencoder (ELM-AE) as well as a linear method, least absolute shrinkage and selection operator (LASSO), to build a reliable temperature downscaling model. ELM is an efficient learning algorithm for generalized single layer feed-forward neural networks (SLFNs). Its excellent training speed and good generalization capability make ELM an efficient solution for SLFNs compared to traditional time-consuming learning methods like back propagation (BP). However, due to its shallow architecture, ELM may not capture all of nonlinear relationships between input features. To address this issue, ELM-AE was tested in the current study for temperature downscaling.

  • PDF

사례연구: 대구 파티마 병원 폐렴 입원 환자 수에 영향을 미치는 날씨 변수 선택 (Case study: Selection of the weather variables influencing the number of pneumonia patients in Daegu Fatima Hospital)

  • 최소현;이학래;박천건;이경은
    • Journal of the Korean Data and Information Science Society
    • /
    • 제28권1호
    • /
    • pp.131-142
    • /
    • 2017
  • 매년 폐렴 입원 환자 수는 증가하는 추세이며, 국내 질환 중 입원율 1위이기도 하다. 주로 박테리아와 바이러스가 주된 원인인 폐렴은 날씨의 영향을 받기도 한다. 본 연구에서는 날씨 변수로는 습도, 일조량, 일교차, 평균온도, 미세먼지 농도를 각각 1일 전부터 27일 전까지의 총 135개 변수를 고려하였다. 날씨와 입원 환자 수에 잠재적으로 영향을 미치는 위험 요인으로 연도 효과, 휴일 효과, 계절 효과를 추가적으로 고려하였다. 벌점화 일반화 선형 모형을 이용하여 폐렴 입원 환자 수와 관련된 변수를 선택하였다.

Modelling the deflection of reinforced concrete beams using the improved artificial neural network by imperialist competitive optimization

  • Li, Ning;Asteris, Panagiotis G.;Tran, Trung-Tin;Pradhan, Biswajeet;Nguyen, Hoang
    • Steel and Composite Structures
    • /
    • 제42권6호
    • /
    • pp.733-745
    • /
    • 2022
  • This study proposed a robust artificial intelligence (AI) model based on the social behaviour of the imperialist competitive algorithm (ICA) and artificial neural network (ANN) for modelling the deflection of reinforced concrete beams, abbreviated as ICA-ANN model. Accordingly, the ICA was used to adjust and optimize the parameters of an ANN model (i.e., weights and biases) aiming to improve the accuracy of the ANN model in modelling the deflection reinforced concrete beams. A total of 120 experimental datasets of reinforced concrete beams were employed for this aim. Therein, applied load, tensile reinforcement strength and the reinforcement percentage were used to simulate the deflection of reinforced concrete beams. Besides, five other AI models, such as ANN, SVM (support vector machine), GLMNET (lasso and elastic-net regularized generalized linear models), CART (classification and regression tree) and KNN (k-nearest neighbours), were also used for the comprehensive assessment of the proposed model (i.e., ICA-ANN). The comparison of the derived results with the experimental findings demonstrates that among the developed models the ICA-ANN model is that can approximate the reinforced concrete beams deflection in a more reliable and robust manner.