文档章节

Spark R学习心得

pearma
 pearma
发布于 2017/04/22 17:53
字数 226
阅读 25
收藏 0

##环境设置

  • 安装Spark

    如何在windows环境下,安装单机版Spark,网上已经有很多教程,这里不再赘述。

  • 安装R或者R Studio

    这个也很简单,下一步,下一步就行了。

  • 配置R与Spark连通

    .libPaths(c(.libPaths(), 'd:/spark/R/lib'))  #设置lib路径,确保能够引用SparkR库
    Sys.setenv(SPARK_HOME = 'd:/spark') #设置spark_home的环境变量
    Sys.setenv(PATH = paste(Sys.getenv(c('PATH')), 'd:/spark/bin', sep=';'))  #设置spark bin的路径,确保能够调用spark-submit
    library(SparkR)
    #初始化spark,获取sc; 这里的写法是参考了run-example里的写法。因为是在本机上调试,所以不能采用主机加端口号的写法。
    sc <- sparkR.init(master="local[*]",sparkEnvir=list(spark.executor.memory="1g",spark.cores.max="10"))
    sqlContext <- sparkRSQL.init(sc)
    #创建一个data frame,然后再读出来,确认使用了spark库。
    df1<-as.DataFrame(sqlContext ,iris)
    showDF(df1)
    sparkR.stop()
    
    

© 著作权归作者所有

下一篇: Scala 学习
pearma
粉丝 3
博文 67
码字总数 26042
作品 0
徐汇
高级程序员
私信 提问
Spark(一)-- Standalone HA的部署

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/45629643 首先交代一下集群的规模和配置 集群有六台机器,均是VM虚拟机,每台2...

jchubby
2015/05/11
0
0
Apache Spark 2.4.0 正式发布

Apache Spark 2.4 与昨天正式发布,Apache Spark 2.4 版本是 2.x 系列的第五个版本。 如果想及时了解 Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号: itebloghadoop Apache Spa...

Spark
2018/11/09
0
0
在 Databricks 可获得 Spark 1.5 预览版

我们兴奋地宣布,从今天开始,Apache Spark1.5.0的预览数据砖是可用的。我们的用户现在可以选择提供集群与Spark 1.5或先前的火花版本准备好几个点击。 正式,Spark 1.5预计将在数周内公布,和社区...

stark_summer
2015/08/25
60
0
Apache Zeppelin 0.6.2 发布

Apache Zeppelin 0.6.2 发布了,更新内容如下: 改进 Spark interpreter binary is compatibile with Spark 1.6/Scala 2.10 and Spark 2.0/Scala 2.11 without rebuild Note storage aware ......

局长
2016/10/18
1K
1
centos7 安装 spark

wget http://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.6.tgz tar -zxvf spark-2.1.0-bin-hadoop2.6.tgz mkdir -p /usr/local/spark cp -r spark-2.1.0-bin-hadoop2.6 /usr/lo......

Java搬砖工程师
2018/12/26
22
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周六乱弹 —— 早上儿子问我他是怎么来的

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @凉小生 :#今日歌曲推荐# 少点戾气,愿你和这个世界温柔以待。中岛美嘉的单曲《僕が死のうと思ったのは (曾经我也想过一了百了)》 《僕が死の...

小小编辑
39分钟前
48
0
Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
今天
9
0
计算机实现原理专题--二进制减法器(二)

在计算机实现原理专题--二进制减法器(一)中说明了基本原理,现准备说明如何来实现。 首先第一步255-b运算相当于对b进行按位取反,因此可将8个非门组成如下图的形式: 由于每次做减法时,我...

FAT_mt
昨天
6
0
好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
昨天
7
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部