Abstract:
为了充分融合 RGB 和深度信息以进一步提高语义分割精度,引入注意力机制实现了 RGB 与深度 2 个模态特征的互补融合.基于编码器-解码器框架,提出了RGB-D双模态信息互补的语义分割网络,编码器采用双分支结构分别提取RGB图像和深度图像的特征,解码器采用逐层跳跃连接的结构渐进地融合不同粒度的语义信息实现逐像素语义分类.编码器对 2 个分支学习到的低层特征,利用 RGB-D 信息互补模块进行互补融合.RGB-D 信息互补模块包括Depth-guided Attention Module(Depth-AM)和RGB-guided Attention Module(RGB-AM)2种注意力.其中,Depth-AM将深度信息补充给RGB特征,解决由于光照变化引起的RGB特征不准确问题;RGB-AM将RGB信息补充给深度特征,解决由于缺乏物体的纹理信息而导致的深度特征不准确问题.在采用相同结构backbone的条件下,RGB-D双模态信息互补的语义分割网络与RDF-Net相比,在SUNRGB-D数据集上的平均交并比,像素精度和平均精度分别提升 1.8%,0.5%和 0.7%;在NYUv2 数据集上的平均交并比,像素精度和平均精度分别提升 1.8%,1.3%和 1.9%.
Keyword:
Reprint Author's Address:
Email:
Source :
计算机辅助设计与图形学学报
ISSN: 1003-9775
Year: 2023
Issue: 10
Volume: 35
Page: 1489-1499
Cited Count:
WoS CC Cited Count: 0
SCOPUS Cited Count:
ESI Highly Cited Papers on the List: 0 Unfold All
WanFang Cited Count: -1
Chinese Cited Count:
30 Days PV: 6