加载中
spark Pipeline操作

import org.apache.spark.ml.Pipeline import org.apache.spark.ml.classification.LogisticRegression import org.apache.spark.ml.evaluation.BinaryClassificationEvaluator import org.a...

2018/11/20 18:28
93
使用spark操作ensemble

// Ensemble源代码地址,https://github.com/XXXShao/EnsembleModelingInSpark // 需要打成jar包再导入方可使用 import Ensemble.{Ensembler,EnsembleModel} import org.apache.spark.ml.lin...

IsolationForest算法spark实现

/* Notice: 需要事先将IsolationForest算法源码利用mvn方式jar包,才可以使用import org.apache.spark.ml.iforest.IForest scala源代码地址:https://github.com/titicaca/spark-iforest pyt...

2018/12/28 10:12
487
spark内存管理总结

##spark.executor.memory详细介绍 https://www.jianshu.com/p/10e91ace3378 ##堆外内存(Off-heap Memory)介绍 https://www.iteblog.com/archives/2342.html ####default INFO yarn.Client: W...

2018/10/11 14:58
996
Linux搭建spark单机操作环境

https://blog.csdn.net/king13127/article/details/86528416 https://www.cnblogs.com/duanxz/p/4437802.html ##spark、Hadoop、java、scala https://blog.csdn.net/pucao_cug/article/detai...

spark操作stacking学习资料汇总

##源代码打成jar包后可以加载到spark中使用 https://github.com/XXXShao/EnsembleModelingInSpark/blob/master/src/test/scala/EnsembleTest.scala https://github.com/deil87/automl-geneti...

2019/02/21 14:26
178
Tensorflow on Spark

##配置教程 http://www.mamicode.com/info-detail-2053559.html https://blog.csdn.net/fishseeker/article/details/61918138?utm_source=tuicool&utm_medium=referral ##源代码 https://gi...

spark任务出现Lost executor报错的几点解决方案

1、spark.executor.extraJavaOptions="-XX:MaxPermSize=1024m" 2、spark.rpc.message.maxSize=1024 3、增加executor内存 executor默认的永久代内存是64K,可以看到永久代使用率长时间为99%,...

2018/09/26 15:17
343
spark运用逻辑回归算法操作Titanic数据集

/* 参考资料: 使用scala部署XGBoost算法:http://bailiwick.io/2017/08/21/using-xgboost-with-the-titanic-dataset-from-kaggle/ 使用Java部署逻辑回归算法:https://blog.csdn.net/javaf...

2018/12/28 11:28
213

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部