Spark ML 正则化 标准化 归一化 ---- 扩展 spark 中的归一化 函数

原创
08/29 07:50
阅读数 27


扩展spark 的归一化函数思路简介

以Logistic 归一化为例,整体思路就是:

  1. 首先计算公式中需要用到的值,比如mean
  2. 将计算后的值封装在vector 中,针对需要计算的列依次使用math 函数进行计算
  3. 在withColumn 中使用udf 进行计算

为什么要计算mean 呢, Logistic 标准化函数如下

本文同步分享在 博客“shiter”(CSDN)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部