加载中
SparkSession创建dataset到物理计划的过程

一、主过程 val spark=SparkSession.getOrCreate(); val df=spark.read.format("txt").load df.foreach(println(_)) 以上示例代码创建一个dataset并且执行print动作,我们就来看看这个过程是...

08/31 20:40
58
SparkSql的解析过程

SparkSession中解析logicPlan和SparkPlan的核心类有以下这些: BaseSessionStateBuilder, sqlParse:SparkSqlParser resourceLoader:SessionResourceLoader analyzer:内部创建 optimizer:...

08/28 17:14
12
SparkContext,DagScheduler,TaskSchedulerImpl和TaskSetManager的关系

SparkContext,DagScheduler,TaskSchedulerImpl和TaskSetManager的关系 一、任务提交 SparkContext负责RDD的创建,runJob方法提交任务。 DagScheduler收到SparkContext提交的任务后,划分成...

08/26 01:19
27
Spark submit的配置参数

Spark submit的时候,默认会从conf/spark-defaults.conf文件中加载默认参数,spark submit命令行传参会覆盖默认参数。 Spark的主要步骤 1、spark submit提交程序 2、Yarn或者standalone等资源...

08/23 09:22
19
Spark Yarn资源调度流程简析

一、Yarn Cluster模式 简单说下Spark Yarn cluster模式的资源调度过程。 这种模式用到YarnClusterScheduler和YarnClusterScheduleBackend。前者没啥特别的和一般的任务调度器类似,主要继承T...

谈谈Yarn的日志聚合

1、Yarn日志聚合 Yarn中的任务执行完成后,再想查看历史日志一般都查不到了,因为这时候运行任务的Container已经释放了,这种情况我们可以开启Yarn的日志聚合功能。 首先配置yarn-site.xml <...

08/15 12:25
208
hadoop Yarn单机搭建

今天首先来总结一下windows下安装hadoop3.3.0版本的过程。 1、首先下载版本, https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common 选择需要的版本,这里我选的是最新版本hadoop 3....

期货操盘手法

想让一个人改变命运,最简便的方法就是让他搞期货,可以上天,也可以入地。 期货就是要看准,胆大,心狠,少一条都不行,快速翻10倍,100倍,达到改变命运的最终目的。 唯一的方法就是趋势操...

08/05 16:48
70
Spark Client 和 Spark Cluster的区别

两种运行模式:Yarn-cluster和Yarn-client 在YARN-Cluster模式中,当用户向YARN中提交一个应用程序后,YARN将分两个阶段运行该应用程序: 第一个阶段是把Spark的Driver作为一个ApplicationMa...

07/28 11:06
380
pyspark入门

python脚本方式执行spark程序,好处是不用编译,写完就走! 示例脚本如下: from pyspark import SparkConf, SparkContext conf = SparkConf().setAppName("myTest").setMaster("local") sc ...

Spark-shell的使用

spark-shell作为交互式本地调试spark程序的利器,非常有用。 看看怎么上手吧,首先下载最新版的spark,这里下载的是spark 3.0版本。 然后执行bin\spark-shell脚本,进入交互环境: scala> s...

大数据组件实操

大数据组件实操,选择流行的大数据组件: Spark,airflow,zeppelin,ELK三剑客 今天开始实操airflow的使用。

chrome怎么发送post请求

fetch(new Request('url',{ method:'POST', headers: {'Content-Type': 'application/x-www-form-urlencoded'}, body:"param1=value1¶m2=value2" })).then((resp)=>{console.log(resp)})...

05/17 21:17
105
spring boot使用freemaker做web应用

1、添加spring boot依赖 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.4.0.RELEASE</version> ......

05/13 15:19
47
Spark Sql读取txt文件和Mysql

package spark import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.log4j.Logger import org.apache.spark.sql.SparkSession object MainSpark { v...

scala和java混合开发打包

如何进行scala和java混合开发打包? 首先创建maven工程,在pom.xml添加一下依赖 <properties> <java.version>1.8</java.version> <project.build.sourceEncoding>UTF-8</project.build.sourc...

欢迎使用 zk-etcd-config

https://github.com/houyijun/zk-etcd-config 欢迎使用 zk-etcd-config zk-etcd-config是一款轻量级的动态属性配置接口,同时支持etcd v3和zookeeper两种中间件 github地址 用zk-etcd-confi...

05/04 16:45
35
顶级开源工具,互联网必备

Grafana :数据可视化组件 可视化 : grafana ,promethus,kibana,redash,metabase 存储: hbase,hdfs,influxdb,hbase,cassardar,kafka,es 计算: xdata,camel,spoon,spark,flink,log...

区块链python实现

1、区块链的基本结构 一个区块由:时间戳、hash值,上一个区块的hash值,本区块data信息组成。 2、python简单实现 import hashlib #导入加密模块 import time #导入时间模块 #定义一个区类,...

04/20 11:37
98
spring boot中mapper文件写法

主要是日期格式,参考如下:

04/17 16:57
36

没有更多内容

加载失败,请刷新页面

返回顶部
顶部