據(jù)國(guó)家知識(shí)產(chǎn)權(quán)局公告，清華大學(xué)申請(qǐng)一項(xiàng)名為“一種基于博弈交互的可解釋多模態(tài)感知方法及裝置“，公開號(hào)CN117409283A，申請(qǐng)日期為2023年10月。

專利摘要顯示，本申請(qǐng)?zhí)峁┮环N基于博弈交互的可解釋多模態(tài)感知方法及裝置，該方法包括：利用第一編碼器對(duì)RGB圖像進(jìn)行特征提取得到第一特征圖，將第一特征圖征映射到BEV空間得到第一BEV特征圖；利用第二編碼器對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行特征提取得到第二特征圖，將第二特征圖征映射到BEV空間得到第二BEV特征圖；利用融合編碼器對(duì)第一BEV特征圖和第二BEV特征圖進(jìn)行融合處理，得到融合特征圖；利用多任務(wù)檢測(cè)頭對(duì)融合特征圖進(jìn)行檢測(cè)處理，得到多任務(wù)目標(biāo)檢測(cè)結(jié)果；其中，在第一編碼器、第二編碼器、融合編碼器和多任務(wù)檢測(cè)頭的聯(lián)合訓(xùn)練中，在損失函數(shù)中加入基于博弈交互的融合交互損失函數(shù)。