Spark 2.4.0 编程指南--快速入门

原创
2018/12/18 14:18
阅读数 244

Spark 2.4.0 编程指南--快速入门

更多资源

视频

<iframe width="800" height="500" src="//player.bilibili.com/player.html?aid=38193405&cid=67137841&page=2" scrolling="no" border="0" frameborder="no" framespacing="0" allowfullscreen="true"> </iframe>

文档

前置条件

  • 已安装好java(选用的是java 1.8.0_191)
  • 已安装好scala(选用的是scala 2.11.121)
  • 已安装好hadoop(选用的是Hadoop 3.1.1)
  • 已安装好spark(选用的是spark 2.4.0)

技能标签

  • Spark 2.4.0 Spark session available as 'spark'
  • 在Spark 2.0之后,RDD被数据集(Dataset)取代
  • Spark session 读取HDFS文件做为数据集
  • 数据集函数,count(),first(),filter(),reduce()
  • 统计所有行单词总个数
  • 计算行中最多单词的个数
  • 计算最多单词个数的行
  • 按单词分组统计个数(WordCount)
  • 官网: http://spark.apache.org/docs/2.4.0/quick-start.html

示例

  • Spark session 读取HDFS文件做为数据集
 val dataSet = spark.read.textFile("/home/liuwen/data/a.txt")
  • 数据集调用count()函数
 dataSet.count()

  • 数据集调用first()函数
 //其实调用的是head()函数
 dataSet.first()
  • 数据集调用show()函数
 dataSet.show()  //默认取前20行数据,并进行20个字符的截断
 dataSet.show(10,false)   //取前20行数据,并且不进行截断
  • 数据集调用filter()函数
 dataSet.filter(line => line.contains("spark"))
  • 统计所有行单词总个数
 import spark.implicits._
val lineWordLength = dataSet.map( line => line.split(" ").size)
val result = lineWordLength.reduce((a,b) => a + b)

  • 计算行中最多有多少个单词
import spark.implicits._
val lineWordLength = dataSet.map( line => line.split(" ").size)
val result = lineWordLength.reduce((a,b) => Math.max(a,b))

  • 计算最多单词个数的行
import spark.implicits._
val result = dataSet.reduce((a,b) => {
  if(a.split(" ").size > b.split(" ").size) a  else b
})

  • 按单词分组统计单词个数(WorldCount)
import spark.implicits._

    val distFile = spark.read.textFile("hdfs://standalone.com:9000/home/liuwen/data/word.txt")

    //方式一
    //val dataset = distFile.flatMap( line => line.split(" ")).groupByKey(x => x ).count()


    //方式二
    val dataset = distFile.flatMap( line => line.split(" ")).map(x => (x,1)).groupByKey(x => x).reduceGroups((a,b) => (a._1,a._2+b._2))

    //方式三
    //val dataset = distFile.flatMap( line => line.split(" ")).groupByKey(identity ).count()


end

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部