一種基于共同注意網(wǎng)絡(luò)的醫(yī)學(xué)視覺問答方法

摘要： 最近很多研究提出了醫(yī)學(xué)視覺問答（MVQA）的注意力模型。在醫(yī)學(xué)研究中，不僅“視覺注意力”的建模至關(guān)重要，對“問題注意力”進(jìn)行建模同樣具有重大意義。為了在醫(yī)學(xué)圖像和問題的注意過程中進(jìn)行雙向推理，本文提出一種新的MVQA架構(gòu)，稱為MCAN。該架構(gòu)融入一種跨模態(tài)共同注意網(wǎng)絡(luò)FCAF，用于識別問題中的關(guān)鍵詞和圖像中的主要部分。通過元學(xué)習(xí)通道注意模塊（MLCA）自適應(yīng)地為每個單詞和區(qū)域進(jìn)...