Abstract：
基于深度学习模型的多模态学习方法已在静态、可控等简单场景下取得较优的语义理解性能，但在动态、开放等复杂场景下的泛化性仍然较低.近期已有不少研究工作尝试将类人知识引入多模态语义理解方法中，并取得不错效果.为了更深入了解当前知识驱动的多模态语义理解研究进展，文中在对相关方法进行系统调研与分析的基础上，归纳总结关系型和对齐型这两类主要的多模态知识表示框架.然后选择多个代表性应用进行具体介绍，包括图文匹配、目标检测、语义分割、视觉-语言导航等.此外，文中总结当前相关方法的优缺点并展望未来可能的发展趋势.
Keyword：
Reprint Author's Address：
Email：
Source ：
模式识别与人工智能
Year： 2023
Issue： 12
Volume： 36
Page： 1127-1138
Cited Count：
WoS CC Cited Count： 0
SCOPUS Cited Count：
ESI Highly Cited Papers on the List： 0 Unfold All
WanFang Cited Count：
Chinese Cited Count：
30 Days PV： 31
Affiliated Colleges：
