spark架构设计&编程模型 02
spark架构设计&编程模型 02
stark_summer 发表于3年前
spark架构设计&编程模型 02
  • 发表于 3年前
  • 阅读 143
  • 收藏 3
  • 点赞 0
  • 评论 0

腾讯云 新注册用户 域名抢购1元起>>>   

摘要: spark架构设计&编程模型 02 spark架构设计&编程模型 02 spark架构设计&编程模型 02 spark架构设计&编程模型 02

启动spark-shell:



简单的RDD:


上述代码中使用的sc,这是Spark-Shell帮助我们自动生成的SparkContext的实例:


我们把生成的RDD的每个元素都乘以3:


上述的操作都是transformations我们需要触发一个action才能执行:



我们可以看到预期结果,但我们可以看到collect操作返回的是一个Array,所以数据不要太多,否则会出现OOM

下面执行下filter操作:




真的spark编程应该是完全函数式的,我们把上述操作用一行代码搞定:




共有 人打赏支持
粉丝 59
博文 75
码字总数 51050
×
stark_summer
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: