大型文本生成模型量化方法、装置、电子设备和存储介质

著录项目

摘要

本发明提供一种大型文本生成模型量化方法、装置、电子设备和存储介质，方法包括：基于各候选量化比特数分别对基准文本生成模型进行量化，并以得到的各单一精度量化模型的第i层模型参数分别替换基准文本生成模型的第i层模型参数，得到第i层对应的多个候选量化模型；基于基准文本生成模型的效果指标以及第i层对应的各候选量化模型的效果指标，确定第i层对各候选量化比特数的敏感度；基于各层对各候选量化比特数的敏感度，构建目标函数并进行求解，从各候选量化比特数中确定各层的目标量化比特数，并基于各层的目标量化比特数更新各层在基准文本生成模型中的模型参数得到量化后的目标文本生成模型。本发明减少了计算量且保证了模型的量化精度。

附图

附图 1