面向深度神經(jīng)網(wǎng)絡(luò)大規(guī)模分布式數(shù)據(jù)并行訓(xùn)練的MC~2能耗模型

摘要： 深度神經(jīng)網(wǎng)絡(luò)（deep neural network,DNN）在許多現(xiàn)代人工智能（artificial intelligence,AI）任務(wù)中取得了最高的精度.近年來(lái)，使用高性能計(jì)算平臺(tái)進(jìn)行大規(guī)模分布式并行訓(xùn)練DNN越來(lái)越普遍.能耗模型在設(shè)計(jì)和優(yōu)化DNN大規(guī)模并行訓(xùn)練和抑制高性能計(jì)算平臺(tái)過(guò)量能耗方面起著至關(guān)重要的作用.目前，大部分的能耗模型都是從設(shè)備的角度出發(fā)對(duì)單個(gè)設(shè)備或多個(gè)設(shè)... （共20頁(yè)）