基于双模态编码的稀疏视触觉高分辨率感知系统及方法

著录项目

摘要

本申请实施例提供一种基于双模态编码的稀疏视触觉高分辨率感知系统及方法，属于智能机器人视觉触觉信号融合感知技术领域。该方案通过构建配对数据集；计算稀疏光强变化量，经映射后得到低分辨率变化图；对所述低分辨率变化图进行插值上采样，并与初始高分辨率背景图像进行通道拼接，得到联合条件特征张量，再基于生成模型输出高分辨率变化图；将所述高分辨率变化图与初始高分辨率背景图像进行叠加，得到高分辨率视触觉图像。本申请能够有效捕获多模态接触引发的光谱与光强特征，从而实现从低分辨率的稀疏矩阵数据向高分辨率、多模态的视触觉图像的高保真重建。

附图

附图 1