模型推理方法及电子设备

著录项目

摘要

本申请提供一种模型推理方法及电子设备，包括：基于目标模型的结构分析结果，确定目标模型中每层神经元的活跃度结果；基于活跃度结果，对目标模型中每层的模型权重执行神经元级物理重组，得到物理重组结果；在基于物理重组结果对目标模型的当前层推理计算的过程中，获取当前层的局部计算结果；基于当前层的局部计算结果，预测下一层的神经元激活状态，并生成下一层的神经元激活掩码；基于下一层的神经元激活掩码和物理重组结果，确定下一层的目标权重数据，并基于下一层的神经元激活掩码对初始计算阵列执行门控重构，得到目标计算阵列；基于下一层的目标权重数据和目标计算阵列，对目标模型的下一层进行推理计算，提高模型推理的执行效率。

附图

附图 1