• Complex
  • Title
  • Keyword
  • Abstract
  • Scholars
  • Journal
  • ISSN
  • Conference
搜索

Author:

王立春 (王立春.) | 顾娜娜 (顾娜娜.) | 信建佳 (信建佳.) | 王少帆 (王少帆.)

Abstract:

为了充分融合 RGB 和深度信息以进一步提高语义分割精度,引入注意力机制实现了 RGB 与深度 2 个模态特征的互补融合.基于编码器-解码器框架,提出了RGB-D双模态信息互补的语义分割网络,编码器采用双分支结构分别提取RGB图像和深度图像的特征,解码器采用逐层跳跃连接的结构渐进地融合不同粒度的语义信息实现逐像素语义分类.编码器对 2 个分支学习到的低层特征,利用 RGB-D 信息互补模块进行互补融合.RGB-D 信息互补模块包括Depth-guided Attention Module(Depth-AM)和RGB-guided Attention Module(RGB-AM)2种注意力.其中,Depth-AM将深度信息补充给RGB特征,解决由于光照变化引起的RGB特征不准确问题;RGB-AM将RGB信息补充给深度特征,解决由于缺乏物体的纹理信息而导致的深度特征不准确问题.在采用相同结构backbone的条件下,RGB-D双模态信息互补的语义分割网络与RDF-Net相比,在SUNRGB-D数据集上的平均交并比,像素精度和平均精度分别提升 1.8%,0.5%和 0.7%;在NYUv2 数据集上的平均交并比,像素精度和平均精度分别提升 1.8%,1.3%和 1.9%.

Keyword:

注意力机制 深度学习 RGB-D语义分割 RGB-D信息互补 编码器-解码器

Author Community:

  • [ 1 ] [王立春]北京工业大学
  • [ 2 ] [信建佳]北京工业大学
  • [ 3 ] [王少帆]北京工业大学
  • [ 4 ] [顾娜娜]北京工业大学

Reprint Author's Address:

Email:

Show more details

Related Keywords:

Related Article:

Source :

计算机辅助设计与图形学学报

ISSN: 1003-9775

Year: 2023

Issue: 10

Volume: 35

Page: 1489-1499

Cited Count:

WoS CC Cited Count: 0

SCOPUS Cited Count:

ESI Highly Cited Papers on the List: 0 Unfold All

WanFang Cited Count: -1

Chinese Cited Count:

30 Days PV: 6

Online/Total:1229/11227739
Address:BJUT Library(100 Pingleyuan,Chaoyang District,Beijing 100124, China Post Code:100124) Contact Us:010-67392185
Copyright:BJUT Library Technical Support:Beijing Aegean Software Co., Ltd.