跨平台的大模型迁移方法、装置、电子设备及存储介质

著录项目

摘要

本申请提供一种跨平台的大模型迁移方法、装置、电子设备及存储介质，涉及人工智能技术领域，可以应用于金融业务和医疗健康领域，该方法包括：获取目标大模型在原始处理平台上进行训练后的模型权重，将模型权重转换为通用中间格式文件；根据目标处理平台的架构类型，对通用中间格式文件执行与目标处理平台匹配的适配处理，得到推理部署文件，推理部署文件包括被目标处理平台执行模型推理任务的数据；根据目标处理平台的硬件资源信息，对推理部署文件进行模型推理任务调度，并将调度后的模型推理任务部署至目标处理平台运行。本申请实现了大模型在异构图形处理器平台之间的平滑迁移，提高了大模型在异构图形处理器平台间迁移的兼容性。

附图

附图 1