一種面向計(jì)算圖的及時(shí)內(nèi)存重用算法

摘要： 有限的設(shè)備內(nèi)存容量制約了深度神經(jīng)網(wǎng)絡(luò)模型的進(jìn)一步發(fā)展，內(nèi)存重用是少有的在不引入額外開(kāi)銷(xiāo)的前提下節(jié)省內(nèi)存使用的方法之一。計(jì)算圖中的中間張量占據(jù)著主要的內(nèi)存空間，是內(nèi)存重用算法的主要優(yōu)化對(duì)象。現(xiàn)有的典型內(nèi)存重用算法，包括大張量?jī)?yōu)先算法和短生命周期優(yōu)先算法，僅從單一特征出發(fā)，只考慮張量之間的生命周期是否重疊，忽略了鄰近張量之間的生命周期相對(duì)位置關(guān)系，計(jì)算圖越復(fù)雜，對(duì)內(nèi)存重用的挖掘越不...