基于記憶驅(qū)動(dòng)的多模態(tài)醫(yī)學(xué)影像報(bào)告自動(dòng)生成研究
生物醫(yī)學(xué)工程學(xué)雜志
頁數(shù): 10 2024-01-29
摘要: 醫(yī)學(xué)影像報(bào)告自動(dòng)生成任務(wù)面臨疾病類型多樣、報(bào)告描述缺乏專業(yè)性和流暢性等多重挑戰(zhàn)。為解決以上問題,本文提出一種基于記憶驅(qū)動(dòng)的多模態(tài)醫(yī)學(xué)影像報(bào)告自動(dòng)生成方法(mMIRmd),首先使用基于移位窗口的層次視覺轉(zhuǎn)換器(Swin-Transformer)提取患者醫(yī)學(xué)影像的多視角視覺特征,通過基于轉(zhuǎn)換器的雙向編碼模型(BERT)提取病史信息的語義特征,然后將多模態(tài)特征進(jìn)行融合,提高模型對不同...