文章大纲 分箱操作简介 spark 分箱函数 简介 QuantileDiscretizer Bucketizer 两者区别 参考文献 分箱操作简介 1.等频分位数分箱 - 指定默认分箱个数后，将数据分箱到每个箱中并且每个箱中的...

文章大纲 简介 bert 回顾 bert 的问题 ALBERT (A Lite BERT) 改进1：将embedding的参数进行了因式分解 改进2：跨层的参数共享 改进3：抛弃了原来的NSP任务，现在使用SOP任务。 albert 的使用...

文章大纲 简介 Transformer 架构 总体结构 参考文献 简介 循环神经网络，虽然它很强大，但是也存在一些弊端。其中比较突出的问题是，循环神经网络每个循环单元都有向前依赖性，也就是当前时间...

LightGBM 跑起来是各种报错啊，内存不够啊，版本不对啊，各种匪夷所思 比如下面这个，升级之后，报个什么类型数据找不到，艹。。。 用他个库还真是不容易啊，还好是MIT 协议的随便改，随便商...

文章大纲 python 调用scala scala 调用 python 使用jython 参考文献 python 调用scala python 作为一种胶水语言调用其他语言比较容易 scala 代码 package example import org.apache.spark....

文章大纲 简介 简单抽样 分层抽样 随机抽样 SMOT 过采样 欠采样 代码样例 scala 版本 sampleBy python版本 参考文献 简介 spark scala最新版文档： http://spark.apache.org/docs/latest/ap...

文章大纲 简介 安装 参数解析 参考文献 简介 github仓库：https://github.com/Microsoft/LightGBM 官方文档：https://lightgbm.readthedocs.io/en/latest/ LightGBM：来自微软的快速稀度提升...

文章大纲 简介 设计模式 逻辑架构 技术架构 云平台 参考文献 简介 坝陵河大桥全长2237米，主跨长1088米，东岸引桥长940.4米，西岸引桥长200米。钢桁梁加劲桁梁宽28.0米，高10.0米，节间长度1...

文章大纲 人工智能健康管理平台架构思路初探 逻辑架构 技术架构 参考文献 人工智能健康管理平台架构思路初探 在医疗健康领域，我们将与数据相关的实体称之为数据实体，数据在生产，传输以及消...

文章大纲 简介 系统输入 输出 硬聚类 软聚类 结果展示 接口方案 API Examples 参考文献 简介 在医学数据库中的大多数初始记录不包含任何患者标识符信息。为了分析和检测这些患者记录的异常，...

文章大纲 1.数据需求 DATA DEMAND 2 .数据接入前瞻 DATA INGESTION PLAN 2.1整体方案 OVERALL PLAN 2.2接入账户 INGESTION ACCOUNT 2.3原始数据存储 RAW DATA STORAGE 2.4接入安全 INGESTIO...

文章大纲 简介 环境搭建 python 及jupyter 环境 About Example Usage Load a datafile/loadfile combination. 样例程序 Shortcut to loadfiles (meta data) 参考文献 简介 hcup 数据包含了：...

文章大纲 简介 数据 代码 简介 连续血糖监测(CGM) 初探 上一节主要描述了连续血糖监测的概念等内容，这一节针对我们收集到的数据及内容进行一个连续血糖监测的可视化实现 数据 数据样例： 前...

文章大纲 简介 线性模型主要训练参数 scala代码样例 输出样例 基于大数据的机器学习算法实践 基于PySpark2.x or 3.0 快速进行机器学习系列 参考文献 简介 spark 线性回归样例： http://spark...

文章大纲 标准输入输出重定向 scala 手动拼接 参考文献 标准输入输出重定向 import java.io.ByteArrayOutputStream val outCapture = new ByteArrayOutputStream Console.withOut(outCapture...

文章大纲 1. 基于阿里云的典型生产环境安全架构简介 1.1 网络安全 1.2 主机安全 1.3数据库安全 1.4应用安全 1.5日志 2. 源代码管理 2.1源代码安全性保障 2.2源代码的授权访问 2.3源代码的复制...

文章大纲 1. 阿里云服务可用性承诺 2. 阿里云容灾方案 2.1 阿里云容灾方案 2.2 机房容灾方案 2.3 异地容灾方案 3. 一般性容灾方案 4. 容灾规划与调整 5. 安全应急流程与预案 5.1 应急流程 5....

文章大纲 干工作的体会 ---- 要有渣男心态！ 做知识付费的体会 ---- 还不如好好工作跳槽来钱快！ 投资的一些体会 ---- 上班族不要炒股！投资自己！！！ 今年挣不到钱了嘛？从教培行业看顶层规...

文章大纲 扩展spark 的归一化函数思路简介 注意事项 spark 私有函数的使用 org.apache.spark.mllib.linalg.Vector.asBreeze 的使用 org.apache.spark.sql 的 withColumns 定义数据结构 调用方...

文章大纲 spark 中的归一化 MaxAbsScaler MinMaxScaler 参考文献 spark 中的归一化 MaxAbsScaler http://spark.apache.org/docs/latest/api/scala/org/apache/spark/ml/feature/MaxAbsScale...