Spark R学习心得

原创
2017/04/22 17:53
阅读数 67

##环境设置

  • 安装Spark

    如何在windows环境下,安装单机版Spark,网上已经有很多教程,这里不再赘述。

  • 安装R或者R Studio

    这个也很简单,下一步,下一步就行了。

  • 配置R与Spark连通

    .libPaths(c(.libPaths(), 'd:/spark/R/lib'))  #设置lib路径,确保能够引用SparkR库
    Sys.setenv(SPARK_HOME = 'd:/spark') #设置spark_home的环境变量
    Sys.setenv(PATH = paste(Sys.getenv(c('PATH')), 'd:/spark/bin', sep=';'))  #设置spark bin的路径,确保能够调用spark-submit
    library(SparkR)
    #初始化spark,获取sc; 这里的写法是参考了run-example里的写法。因为是在本机上调试,所以不能采用主机加端口号的写法。
    sc <- sparkR.init(master="local[*]",sparkEnvir=list(spark.executor.memory="1g",spark.cores.max="10"))
    sqlContext <- sparkRSQL.init(sc)
    #创建一个data frame,然后再读出来,确认使用了spark库。
    df1<-as.DataFrame(sqlContext ,iris)
    showDF(df1)
    sparkR.stop()
    
    
展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部