NM-SpMM:面向國產(chǎn)異構(gòu)向量處理器的半結(jié)構(gòu)化稀疏矩陣乘算法
計算機工程與科學
頁數(shù): 10 2024-07-15
摘要: 深度神經(jīng)網(wǎng)絡(luò)在自然語言處理、計算機視覺等領(lǐng)域取得了優(yōu)異的成果,由于智能應(yīng)用處理數(shù)據(jù)規(guī)模的增長和大模型的快速發(fā)展,對深度神經(jīng)網(wǎng)絡(luò)的推理性能要求越來越高,N∶M半結(jié)構(gòu)化稀疏化技術(shù)成為平衡算力需求和應(yīng)用效果的熱點技術(shù)之一。國產(chǎn)異構(gòu)向量處理器FT-M7032為智能模型處理中的數(shù)據(jù)并行和指令并行開發(fā)提供了較大空間。針對N∶M半結(jié)構(gòu)化稀疏模型計算稀疏模式多樣性,提出了一種面向FT-M703... (共10頁)