加载中
spark 特征工程 -- 分箱 Binning

文章大纲 分箱操作简介 spark 分箱函数 简介 QuantileDiscretizer Bucketizer 两者区别 参考文献 分箱操作简介 1.等频分位数分箱 - 指定默认分箱个数后,将数据分箱到每个箱中并且每个箱中的...

前天 02:03
50
《自然语言处理实战入门》深度学习 ---- 预训练模型的使用(ALBERT)

文章大纲 简介 bert 回顾 bert 的问题 ALBERT (A Lite BERT) 改进1:将embedding的参数进行了因式分解 改进2:跨层的参数共享 改进3:抛弃了原来的NSP任务,现在使用SOP任务。 albert 的使用...

10/11 07:36
0
《自然语言处理实战入门》深度学习基础 ---- Transformer 与Attention 架构初探

文章大纲 简介 Transformer 架构 总体结构 参考文献 简介 循环神经网络,虽然它很强大,但是也存在一些弊端。其中比较突出的问题是,循环神经网络每个循环单元都有向前依赖性,也就是当前时间...

10/06 09:38
0
spark LightGBM 代码实现

LightGBM 跑起来是各种报错啊,内存不够啊,版本不对啊,各种匪夷所思 比如下面这个,升级之后,报个什么类型数据找不到,艹。。。 用他个库还真是不容易啊,还好是MIT 协议的随便改,随便商...

10/05 20:06
0
在spark 中实现 scala 和 python 相互调用

文章大纲 python 调用scala scala 调用 python 使用jython 参考文献 python 调用scala python 作为一种胶水语言调用其他语言比较容易 scala 代码 package example import org.apache.spark....

10/05 20:05
0
spark 数据采样

文章大纲 简介 简单抽样 分层抽样 随机抽样 SMOT 过采样 欠采样 代码样例 scala 版本 sampleBy python版本 参考文献 简介 spark scala最新版文档: http://spark.apache.org/docs/latest/ap...

09/18 23:46
10
spark 使用LightGBM

文章大纲 简介 安装 参数解析 参考文献 简介 github仓库:https://github.com/Microsoft/LightGBM 官方文档:https://lightgbm.readthedocs.io/en/latest/ LightGBM:来自微软的快速稀度提升...

09/17 23:00
0
大数据AI系统解决方案与技术架构目录

文章大纲 简介 设计模式 逻辑架构 技术架构 云平台 参考文献 简介 坝陵河大桥全长2237米,主跨长1088米,东岸引桥长940.4米,西岸引桥长200米。钢桁梁加劲桁梁宽28.0米,高10.0米,节间长度1...

09/14 02:12
24
大数据与人工智能在医疗健康领域的系统架构初探

文章大纲 人工智能健康管理平台架构思路初探 逻辑架构 技术架构 参考文献 人工智能健康管理平台架构思路初探 在医疗健康领域,我们将与数据相关的实体称之为数据实体,数据在生产,传输以及消...

09/13 09:00
0
《大数据+AI在大健康领域中最佳实践前瞻》---- 检验检测中的单一实体识别前瞻与探索

文章大纲 简介 系统输入 输出 硬聚类 软聚类 结果展示 接口方案 API Examples 参考文献 简介 在医学数据库中的大多数初始记录不包含任何患者标识符信息。为了分析和检测这些患者记录的异常,...

03/29 00:54
0
《大数据+AI在大健康领域中最佳实践前瞻》 ---- 健康体检类数据的元数据解读与探索

文章大纲 1.数据需求 DATA DEMAND 2 .数据接入前瞻 DATA INGESTION PLAN 2.1整体方案 OVERALL PLAN 2.2接入账户 INGESTION ACCOUNT 2.3原始数据存储 RAW DATA STORAGE 2.4接入安全 INGESTIO...

03/28 07:17
0
《大数据+AI在大健康领域中最佳实践前瞻》---- 使用python PyHCUP 处理 hcup 数据集的asc 格式数据

文章大纲 简介 环境搭建 python 及jupyter 环境 About Example Usage Load a datafile/loadfile combination. 样例程序 Shortcut to loadfiles (meta data) 参考文献 简介 hcup 数据包含了:...

03/28 06:49
0
连续血糖监测(CGM) 可视化实现

文章大纲 简介 数据 代码 简介 连续血糖监测(CGM) 初探 上一节主要描述了连续血糖监测的概念等内容,这一节针对我们收集到的数据及内容进行一个连续血糖监测的可视化实现 数据 数据样例: 前...

03/28 03:34
0
spark 线性回归scala 基本样例

文章大纲 简介 线性模型主要训练参数 scala代码样例 输出样例 基于大数据的机器学习算法实践 基于PySpark2.x or 3.0 快速进行机器学习系列 参考文献 简介 spark 线性回归样例: http://spark...

09/07 07:16
0
spark 打印 dataFrame

文章大纲 标准输入输出重定向 scala 手动拼接 参考文献 标准输入输出重定向 import java.io.ByteArrayOutputStream val outCapture = new ByteArrayOutputStream Console.withOut(outCapture...

09/07 00:44
24
基于阿里云的一般性系统安全措施介绍

文章大纲 1. 基于阿里云的典型生产环境安全架构简介 1.1 网络安全 1.2 主机安全 1.3数据库安全 1.4应用安全 1.5日志 2. 源代码管理 2.1源代码安全性保障 2.2源代码的授权访问 2.3源代码的复制...

09/06 08:49
0
基于阿里云的系统灾备方法架构与安全应急预案介绍

文章大纲 1. 阿里云服务可用性承诺 2. 阿里云容灾方案 2.1 阿里云容灾方案 2.2 机房容灾方案 2.3 异地容灾方案 3. 一般性容灾方案 4. 容灾规划与调整 5. 安全应急流程与预案 5.1 应急流程 5....

09/06 03:38
0
2021 年的一些体会:工作,家庭,投资,面试

文章大纲 干工作的体会 ---- 要有渣男心态! 做知识付费的体会 ---- 还不如好好工作跳槽来钱快! 投资的一些体会 ---- 上班族不要炒股!投资自己!!! 今年挣不到钱了嘛?从教培行业看顶层规...

09/05 06:58
0
Spark ML 正则化 标准化 归一化 ---- 扩展 spark 中的归一化 函数

文章大纲 扩展spark 的归一化函数思路简介 注意事项 spark 私有函数的使用 org.apache.spark.mllib.linalg.Vector.asBreeze 的使用 org.apache.spark.sql 的 withColumns 定义数据结构 调用方...

08/29 07:50
0
Spark ML 正则化 标准化 归一化 ---- spark 中的归一化

文章大纲 spark 中的归一化 MaxAbsScaler MinMaxScaler 参考文献 spark 中的归一化 MaxAbsScaler http://spark.apache.org/docs/latest/api/scala/org/apache/spark/ml/feature/MaxAbsScale...

08/29 07:48
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部