金融界2025年6月2日消息,国家知识产权局信息显示,支付宝(杭州)信息技术有限公司申请一项名为“训练数据构建方法及装置、大语言模型及电子设备”的专利,公开号CN120069083A,申请日期为2025年02月。
专利摘要显示,本说明书提供训练数据构建方法及装置、大语言模型及电子设备,所述训练数据构建方法包括:基于所述待微调模型的预训练数据生成包含错误信息的样本问题;为所述样本问题生成对应的样本答案,并将所述样本问题和对应的样本答案作为一个训练样本添加至训练数据。该方法所构建的训练数据中的训练样本内的样本问题包含错误信息,故据此对待微调模型进行微调后能够提高待微调模型的真实性,避免待微调模型出现幻觉问题;而且该方法所构建的训练数据中的训练样本内样本问题基于待微调模型的预训练数据构建,故据此对待微调模型进行微调不会涉及预训练阶段之外的知识,故微调后能够避免引入新的幻觉问题,从而进一步提高微调后的待微调模型的真实性。
来源:金融界