面向深度學(xué)習(xí)訓(xùn)練的內(nèi)存交換機制綜述

摘要： 隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展和深入應(yīng)用,深度學(xué)習(xí)訓(xùn)練規(guī)模持續(xù)增大,內(nèi)存不足已成為影響深度學(xué)習(xí)可用性的主要瓶頸之一.內(nèi)存交換機制是應(yīng)對深度學(xué)習(xí)訓(xùn)練內(nèi)存問題的關(guān)鍵技術(shù),該機制利用深度學(xué)習(xí)訓(xùn)練內(nèi)存需求的“時變”特征,在專用計算加速設(shè)備內(nèi)存與外部存儲之間按需移動數(shù)據(jù),通過瞬時內(nèi)存需求替代累積內(nèi)存需求,保障深度學(xué)習(xí)訓(xùn)練任務(wù)的運行.對面向深度學(xué)習(xí)訓(xùn)練的內(nèi)存交換機制進行綜述,以深度學(xué)習(xí)訓(xùn)練內(nèi)存...