Abstract
In survival analysis, the use of deep neural networks has become popular. It requires the mini-batch type stochastic gradient descent (SGD) algorithm. However, the existence of risk set in the partial likelihood can be problematic, which can be addressed by many previous works. In this paper, we proposed an advanced algorithm compared to the conventional SGD by applying an online mirror descent algorithm. It can be used for any convex optimization problem where the given tasks are closely related to online learning. A re-parameterization trick and bi-level optimization are used to construct the algorithm. The experiments on various setups reveal the superiority of the proposed algorithm. It can contribute to making an efficient mini-batch-based algorithm over the convex optimization and semi-parametric survival models.
점차 인기를 끌고 있는 깊은 신경망을 생존분석에 적용하기 위해서는 미니 배치 방식의 확률적 경사하강법이 필요하다. 하지만 생존분석에서 사용하는 부분 가능도 함수에 위험 집합이 존재하기에 이 알고리즘의 적용에 문제가 될 수 있다. 기존의 많은 연구들이 이 문제를 해결했으며, 본 논문에서는 이런 기존 연구들과 비교하여 더욱 발전된 알고리즘인 온라인 미러 디센트 알고리즘을 생존분석에 적용하였다. 이 방법은 온라인 학습과 밀접하게 관련된 모든 볼록함수 최적화 문제에 사용할 수 있다. 알고리즘을 구성하기 위해 재매개 변수화 기법과 이중 최적화가 사용되었고, 다양한 설정에서의 실험 결과는 제안된 알고리즘의 우수성을 보여준다. 이번 연구는 최적화 문제 및 반모수적 생존 모델에서 효율적인 미니 배치 기반 알고리즘을 개발하는데 기여하고 있다.