一種面向通用計算設備的自動流水線并行訓練框架

摘要： 訓練大規(guī)模神經(jīng)網(wǎng)絡通常會出現(xiàn)單個計算節(jié)點的內(nèi)存和計算能力不足的情況，需要通過多個節(jié)點分布式訓練來實現(xiàn)?，F(xiàn)有的分布式深度學習框架主要針對特定的硬件環(huán)境設計，不能夠有效適應各類通用計算設備。為支持大規(guī)模深度神經(jīng)網(wǎng)絡的高效訓練，實現(xiàn)了一種通用的自動流水線并行分布式訓練框架。本框架通過結(jié)合基于流水線并行的模型并行策略與神經(jīng)網(wǎng)絡模型自動拆分算法，實現(xiàn)了在包括國內(nèi)新一代超級計算機在內(nèi)的通用... （共8頁）