NM-SpMM:面向國產(chǎn)異構(gòu)向量處理器的半結(jié)構(gòu)化稀疏矩陣乘算法

摘要： 深度神經(jīng)網(wǎng)絡(luò)在自然語言處理、計算機視覺等領(lǐng)域取得了優(yōu)異的成果，由于智能應(yīng)用處理數(shù)據(jù)規(guī)模的增長和大模型的快速發(fā)展，對深度神經(jīng)網(wǎng)絡(luò)的推理性能要求越來越高，N∶M半結(jié)構(gòu)化稀疏化技術(shù)成為平衡算力需求和應(yīng)用效果的熱點技術(shù)之一。國產(chǎn)異構(gòu)向量處理器FT-M7032為智能模型處理中的數(shù)據(jù)并行和指令并行開發(fā)提供了較大空間。針對N∶M半結(jié)構(gòu)化稀疏模型計算稀疏模式多樣性，提出了一種面向FT-M703...