使用随机梯度算法对高斯核模型进行最小二乘学习法
博客专区 > KingLeao 的博客 > 博客详情
使用随机梯度算法对高斯核模型进行最小二乘学习法
KingLeao 发表于3个月前
使用随机梯度算法对高斯核模型进行最小二乘学习法
  • 发表于 3个月前
  • 阅读 3
  • 收藏 0
  • 点赞 0
  • 评论 0

华为云·免费上云实践>>>   

摘要: 设计矩阵M的维数为 n*b, 当训练样本数n或参数个数b是非常大的数值的时候,经常会出现计算内存不足的现象。在这种情况下,使用随机梯度算法往往会产生很好的效果。随机梯度算法是指,沿着训练平方误差 J 的梯度下降,对参数 x 依次进行学习的算法。

使用随机梯度算法对线性模型进行最小二乘学习法的算法流程:

①. 给θ以适当的初值。

②. 随机选择一个训练样本(例如,选择顺序为 的训练样本( , ))。

③. 对于选定的训练样本,采用使其梯度下降的方式,对参数θ进行更新。

在这里, 是名为学习系数的无穷小正标量,表示梯度下降的步幅。 是顺序为 的训练样本相对应的训练平方误差的梯度,表示梯度下降的方向。

④.直接解 达到收敛精度为止,重复上述②、③步的计算。

共有 人打赏支持
粉丝 0
博文 13
码字总数 6536
×
KingLeao
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: