一種基于在線蒸餾的輕量化噪聲標(biāo)簽學(xué)習(xí)方法

摘要： 利用含有有損標(biāo)簽的噪聲數(shù)據(jù)來訓(xùn)練深度學(xué)習(xí)模型是機(jī)器學(xué)習(xí)中的研究熱點(diǎn).研究表明深度學(xué)習(xí)模型訓(xùn)練易受噪聲數(shù)據(jù)的影響而產(chǎn)生過擬合現(xiàn)象.最近，一種將元學(xué)習(xí)與標(biāo)簽校正相結(jié)合的方法能夠使模型更好地適應(yīng)噪聲數(shù)據(jù)以減緩過擬合現(xiàn)象，然而這種元標(biāo)簽校正方法依賴于模型的性能，同時(shí)輕量化模型在噪聲數(shù)據(jù)下不具備良好的泛化性能.針對這一問題，本文結(jié)合元學(xué)習(xí)提出一種基于在線蒸餾的輕量化噪聲標(biāo)簽學(xué)習(xí)方法 KD... （共13頁）