金融界2025年5月28日消息,国家知识产权局信息显示,支付宝(杭州)信息技术有限公司申请一项名为“训练大语言模型的方法及装置”的专利,公开号CN120046685A,申请日期为2025年02月。
专利摘要显示,本说明书实施例涉及训练大语言模型的方法及装置,方法包括:首先,通过将目标批次的训练样本输入所述大语言模型,确定目标训练轮次的过程数据,所述训练样本包括文本数据,所述过程数据包括训练损失值或各个参数的梯度值;然后,获取对目标训练轮次之前的连续N个训练轮次的过程数据进行统计得到的基准值;接下来,当所述目标训练轮次的过程数据与所述基准值之间的目标差异超过预设的第一阈值时,将所述目标训练轮次确定为异常训练轮次;最后,对所述异常训练轮次进行目标处理;所述目标处理包括跳过所述异常训练轮次,或者调整所述异常训练轮次中的超参数,以降低该异常训练轮次的影响。
天眼查资料显示,支付宝(杭州)信息技术有限公司,成立于2016年,位于杭州市,是一家以从事互联网和相关服务为主的企业。企业注册资本10000万人民币。通过天眼查大数据分析,支付宝(杭州)信息技术有限公司共对外投资了12家企业,参与招投标项目41次,财产线索方面有商标信息1条,专利信息5000条,此外企业还拥有行政许可57个。
来源:金融界