加载中
spark的宽依赖和窄依赖

spark的宽依赖和窄依赖 spark 划分stage取决于rdd之间的依赖,rdd之间的依赖分为宽依赖和窄依赖 窄依赖是指 父rdd的一个分区指被子rdd的一个分区使用,参考下图,父rdd只会被一个子rdd使用 宽依...

2018/11/05 19:05
56
Hbase 学习笔记

hbase 学习笔记 hbase表结构 hbase是一个非关系型的数据库 面向列存储数据 表是行的集合 行是列族的集合 列族是列的集合 列是键值的集合 实例 hbase 基本概念 Column Family又叫列族,Hbase...

2018/08/03 11:25
6
spark streaming 程序学习笔记

spark streaming 学习笔记 StreamingContext: spark streaming 程序必须创建 StreamingContext对象,她是流处理操作的主入口, new StreamingContext(sparkContext, Seconds(duration)) 传递两...

2018/07/11 17:01
1
Nginx 反向代理配置笔记 最精简配置

Nginx 反向代理 内外网端口号 支持websocket协议

Oozie笔记

数据分析工作流,任务调度

2018/01/30 11:26
84
hive存储格式和表类型,分区分桶

存储格式 textfile: 默认格式.存储为行存储 ORCfile:按照行分块,按照列存储,特点数据压缩比非常高 Parquet:具有较好的压缩比,方便 MapReduce计算 parquet 和 ORC 对比 表类型 内部表:一般的表...

2018/01/29 16:35
30
java web项目开发流程

需求->原型->接口/表设计 ----------------------------------产品经理介入------------------------------- 1: 产品经理分析客户(市场)需求,整理需求,产出物->产品原型 2: 整理业务逻辑流程...

2017/12/03 11:20
19
hive 表类型和基本表操作

概要: hive是一个基于 hdfs的数据仓库,会将 hsq(类似于sql)的语句转换成 mapreduce 执行,如果配置了 其他计算引擎比如spark(hive on spark),那么会转换成其他的 来执行, hive数据类型 基本数...

2017/04/01 10:54
26
zookeeper 简析

zookeeper 15分钟简析

2017/03/27 18:23
20
Hadoop yarn 详解

Hadoop yarn 详解

2017/03/25 16:08
37
Flume-ng+kafka+storm+hbase 整合实例

flume +kafka+storm+hbase 整合java 实例

2017/03/17 18:40
1K
storm 入门教程+简单实例

storm 教程 实例 流数据处理 storm spout bolt tuple

2017/03/15 17:38
602

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部