• Communications for Statistical Applications and Methods
• /
• 제23권2호
• /
• pp.105-117
• /
• 2016

In the paper, as a sequence of the first tutorial, we discuss sufficient dimension reduction methodologies used to estimate central subspace (sliced inverse regression, sliced average variance estimation), central mean subspace (ordinary least square, principal Hessian direction, iterative Hessian transformation), and central $k^{th}$-moment subspace (covariance method). Large-sample tests to determine the structural dimensions of the three target subspaces are well derived in most of the methodologies; however, a permutation test (which does not require large-sample distributions) is introduced. The test can be applied to the methodologies discussed in the paper. Theoretical relationships among the sufficient dimension reduction methodologies are also investigated and real data analysis is presented for illustration purposes. A seeded dimension reduction approach is then introduced for the methodologies to apply to large p small n regressions.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2012년도 춘계학술발표대회
• /
• pp.414-416
• /
• 2012

본 논문에서는 X-선 혈관 조영 영상 내 심혈관의 추출 방법을 제안한다. 본 방법은 불균일 조명 보정 필터를 사용함으로써 X-선 영상 내에서 나타나는 일정하지 않은 contrast, 낮은 명암도 및 불균일 조명 문제를 해결한다. 또한 영상의 지역적인 밝기 값의 변화의 특징을 고려하면서 분할 대상영역의 각 픽셀들의 2 차 미분((second partial derivation)을 행렬의 요소(element)로 갖는 Hessian 행렬의 고유치 (eigenvalue)를 영역확장의 문턱치 결정에 이용하여 전역적인 밝기값(intensity)만을 사용하는 분할의 단점을보완하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2004년도 춘계학술발표대회
• /
• pp.1641-1644
• /
• 2004

3차원 볼륨데이터에서 분할 대상영역의 밝기 값이 다양하면서 밝기 값이 유사한 영역과 인접한 경우 3차원 영역확장(region growing) 방법을 사용하여 영역을 분할하기 위해서는 영역확장의 중요한 요인인 동질성 기준 값의 적절한 선택이 요구된다. 본 논문에서는 영역 복셀(voxel)의 1차 미분 값의 크기인 기울기 크기(gradient magnitude)만으로 영역의 경계를 찾기가 쉽지않은 대상의 분할을 위해 볼륨데이터의 지역적인 밝기 값의 변화의 특징을 고려하면서 분할 대상영역의 복셀의 2차 미분(second partial derivation)을 행렬의 요소(element)로 갖는 Hessian 행렬의 고유치(eigenvalue)를 영역확장의 문턱치 결정에 이용하였다. 제안한 알고리즘은 3차원 영역확장의 결과에 가장 큰 영향을 미치는 적절한 문턱치의 선택으로 대상영역의 분할을 성공적으로 수행하여 3차원 영역확장의 단점을 보완하였다.

• 전기전자학회논문지
• /
• 제23권4호
• /
• pp.1302-1308
• /
• 2019

본 논문은 CNN (Convolutional Neural Network)와 2D Lidar 센서에서 획득한 위치 데이터를 이용하여 이미지를 분류하는 방법을 제시한다. Lidar 센서는 데이터 정확도, 형상 왜곡 및 광 변화에 대한 강인성 측면에서의 이점으로 인해 무인 장치에 널리 사용되어 왔다. CNN 알고리즘은 하나 이상의 컨볼루션 및 풀링 레이어로 구성되며 이미지 분류에 만족스러운 성능을 보여 왔다. 본 논문에서는 학습 방법에 따라 다른 유형의 CNN 아키텍처들인 Gradient Descent (GD) 및 Levenberg-arquardt (LM)를 구현하였다. LM 방법에는 학습 파라메터를 업데이트하는 요소 중 하나인 Hessian 행렬 근사 빈도에 따라 두 가지 유형이 있다. LM 알고리즘의 시뮬레이션 결과는 GD 알고리즘보다 이미지 데이터의 분류 성능이 우수하였다. 또한 Hessian 행렬 근사가 더 빈번한 LM 알고리즘은 다른 유형의 LM 알고리즘보다 작은 오류를 보여주었다.

• Communications for Statistical Applications and Methods
• /
• 제27권1호
• /
• pp.129-140
• /
• 2020

In this paper, we introduce an efficient algorithm for the non-convex penalized multinomial logistic regression that can be uniformly applied to a class of non-convex penalties. The class includes most non-convex penalties such as the smoothly clipped absolute deviation, minimax concave and bridge penalties. The algorithm is developed based on the concave-convex procedure and modified local quadratic approximation algorithm. However, usual quadratic approximation may slow down computational speed since the dimension of the Hessian matrix depends on the number of categories of the output variable. For this issue, we use a uniform bound of the Hessian matrix in the quadratic approximation. The algorithm is available from the R package ncpen developed by the authors. Numerical studies via simulations and real data sets are provided for illustration.

• Journal of applied mathematics & informatics
• /
• 제22권1_2호
• /
• pp.193-208
• /
• 2006

A modified BFGS algorithm for solving the unconstrained optimization, whose Hessian matrix at the minimum point of the convex function is of rank defects, is presented in this paper. The main idea of the algorithm is first to add a modified term to the convex function for obtain an equivalent model, then simply the model to get the modified BFGS algorithm. The superlinear convergence property of the algorithm is proved in this paper. To compared with the Tensor algorithms presented by R. B. Schnabel (seing [4],[5]), this method is more efficient for solving singular unconstrained optimization in computing amount and complication.

• 한국컴퓨터정보학회논문지
• /
• 제14권8호
• /
• pp.11-18
• /
• 2009

본 논문은 Levenberg-Marquardt 알고리즘에서 Jacobian 행렬의 주부분 행렬을 이용하여 학습속도를 개선하는 방법을 제안한다. Levenberg-Marquardt 학습은 오차함수에 대한 2차 도함수를 계산하기 위해 Hessian 행렬을 사용하는 대신 Jacobian 행렬을 이용한다. 이런 Jacobian 행렬을 가역행렬로 만들기 위해, Levenberg-Marquardt 학습은 ${\mu}$값을 증가시키거나 감소시키는 과정을 수행하고 ${\mu}$값의 변경에 따른 역행렬의 재계산이 필요하다. 따라서 본 논문에서는 ${\mu}$값의 설정을 위해 Jacobian 행렬의 주부분 행렬을 생성하고 주부분 행렬의 고유값 합을 이용하여 ${\mu}$값을 설정한다. 이와 같은 방법은 추가적인 역행렬 계산을 하지 않으므로 학습속도를 개선할 수 있다. 제안된 방법은 일반화된 XOR 문제와 필기체 숫자인식 문제를 대상으로 실험하여 학습속도의 향상을 검증하였다.

• 대한수학회논문집
• /
• 제9권3호
• /
• pp.753-765
• /
• 1994

The linearly constrained quadratic programming(QP) considered is : $$ min f(x) = c^T x + \frac{1}{2}x^T Hx $$ $$ (1) subject to A^T x \geq b,$$ where $c,x \in R^n, b \in R^m, H \in R^{n \times n)}$, symmetric, and $A \in R^{n \times n}$. If there are bounds on x, these are included in the matrix $A^T$. The Hessian matrix H may be positive definite or negative semi-difinite. For large problems H and the constraint matrix A are assumed to be sparse.

• Journal of the Korean Statistical Society
• /
• 제31권2호
• /
• pp.237-250
• /
• 2002

Motivated by Cook's (1986) assessment of local influence by investigating the curvature of a surface associated with the overall discrepancy measure, this paper extends this idea to the linear regression model with AR(p) disturbances. Diagnostic for the linear regression models with AR(p) disturbances are discussed when simultaneous perturbations of the response vector are allowed. For the derived criterion, numerical studies demonstrate routine application of this work.

• 대한전기학회논문지
• /
• 제45권1호
• /
• pp.1-8
• /
• 1996

Recently, much attention has been paid to problems which is concerned with voltage instability phenomena and much works on these phenomena have been made. In this paper, by substituting d $P_{k}$ d $e_{k}$ ( $v^{\rarw}$= e +j f) for $P_{k}$ in conventional load flow, direct method for finging the limit of voltage stability is proposed. Here, by using the fact that taylor se- ries expansion in .DELTA. $P_{k}$ and .DELTA. $Q_{k}$ is terminated at the second-order terms, constraint equation (d $P_{k}$ d $e_{k}$ =0) and power flow equations are formulated with new variables .DSLTA. e and .DELTA.f, so partial differentiations for constraint equation are precisely calculated. The fact that iteratively calculated equations are reformulated with new variables .DELTA.e and .DELTA.f means that limit of voltage stability can be traced precisely through recalculation of jacobian matrix at e+.DELTA.e and f+.DELTA.f state. Then, during iterative process divergence may be avoid. Also, as elements of Hessian mat rix are constant, its computations are required only once during iterative process. Results of application of the proposed method to sample systems are presented. (author). 13 refs., 11 figs., 4 tab.