從BERT到ChatGPT：大模型訓(xùn)練中的存儲(chǔ)系統(tǒng)挑戰(zhàn)與技術(shù)發(fā)展

摘要： 以ChatGPT為代表的大模型在文字生成、語(yǔ)義理解等任務(wù)上表現(xiàn)卓越，引起了工業(yè)界和學(xué)術(shù)界的廣泛關(guān)注.大模型的參數(shù)量在3年內(nèi)增長(zhǎng)數(shù)萬(wàn)倍，且仍呈現(xiàn)增長(zhǎng)的趨勢(shì).首先分析了大模型訓(xùn)練的存儲(chǔ)挑戰(zhàn)，指出大模型訓(xùn)練的存儲(chǔ)需求大，且具有獨(dú)特的計(jì)算模式、訪存模式、數(shù)據(jù)特征，這使得針對(duì)互聯(lián)網(wǎng)、大數(shù)據(jù)等應(yīng)用的傳統(tǒng)存儲(chǔ)技術(shù)在處理大模型訓(xùn)練任務(wù)時(shí)效率低下，且容錯(cuò)開(kāi)銷大.然后分別闡述了針對(duì)大模型訓(xùn)練的3類...