加载中
hive on spark 趟坑指南

1、执行SQL 查询时候,报Failed to submit Spark work 错误。 Failed to execute spark task, with exception 'java.lang.Exception(Failed to submit Spark work, please retry later)' FA...

05/31 23:14
20
spark-streaming连接消费nsq

spark-streaming连接消费nsq 目的 使用 NSQ作为消息流 使用 spark-streaming 进行消费 对数据进行清洗后,保存到hive仓库中 连接方案 1、编写Spark Streaming Custom Receivers(spark-strea...

01/18 10:39
42
spark 常见操作

为spark DataFrom 添加一个为 空的新列,使用UDF函数 想产生一个IntegerType类型列为null的DataFrame该怎么做。 import org.apache.spark.sql.functions._ import org.apache.spark.sql.type...

Hadoop-ha 集群搭建

概念了解 主从结构:在一个集群中,会有部分节点充当主服务器的角色,其他服务器都是从服务器的角色,当前这种架构模式叫做主从结构。 主从结构分类: 1、一主多从 2、多主多从 Hadoop中的H...

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部