과제정보
이 성과는 (1)정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원 (No.NRF-2020R1A2B5B03001960), (2)정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원 (No. 2020-0-01373, 인공지능대학원지원(한양대학교)), (3)2017 년도 정부(과학기술정보통신부)의 재원으로 한국연구재단-차세대정보·컴퓨팅기술개발사업의 지원을 받아 수행된 연구임(No. NRF-2017M3C4A7069440).
DOI QR Code
최근 딥 러닝 (deep learning) 기술의 큰 발전으로 기존 기계 학습 분야의 기술들이 성공적으로 해결하지 못하던 많은 문제들을 해결할 수 있게 되었다. 이러한 딥 러닝의 학습 과정은 매우 많은 연산을 요구하기에 다수의 노드들로 모델을 학습하는 분산 학습 (distributed training) 기술이 연구되었다. 대표적인 분산 학습 기법으로 파라미터 서버 기반의 분산 학습 기법들이 있으며, 이 기법들은 파라미터 서버 노드가 학습의 병목이 될 수 있다는 한계를 갖는다. 본 논문에서는 이러한 파라미터 서버 병목 문제를 해결하는 파라미터 샤딩 기법에 대해 소개하고, 각 기법 별 학습 성능을 비교하고 그 결과를 분석하였다.
이 성과는 (1)정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원 (No.NRF-2020R1A2B5B03001960), (2)정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원 (No. 2020-0-01373, 인공지능대학원지원(한양대학교)), (3)2017 년도 정부(과학기술정보통신부)의 재원으로 한국연구재단-차세대정보·컴퓨팅기술개발사업의 지원을 받아 수행된 연구임(No. NRF-2017M3C4A7069440).