圖知識蒸餾綜述:算法分類與應(yīng)用分析

摘要： 圖數(shù)據(jù),如引文網(wǎng)絡(luò),社交網(wǎng)絡(luò)和交通網(wǎng)絡(luò),廣泛地存在現(xiàn)實生活中.圖神經(jīng)網(wǎng)絡(luò)憑借強大的表現(xiàn)力受到廣泛關(guān)注,在各種各樣的圖分析應(yīng)用中表現(xiàn)卓越.然而,圖神經(jīng)網(wǎng)絡(luò)的卓越性能得益于標(biāo)簽數(shù)據(jù)和復(fù)雜的網(wǎng)絡(luò)模型,而標(biāo)簽數(shù)據(jù)獲取困難且計算資源代價高昂.為了解決數(shù)據(jù)標(biāo)簽的稀疏性和模型計算的高復(fù)雜性問題,知識蒸餾被引入到圖神經(jīng)網(wǎng)絡(luò)中.知識蒸餾是一種利用性能更好的大模型(教師模型)的軟標(biāo)簽監(jiān)督信息來訓(xùn)練...