加载中
Spark 运行原理

题记 spark的运行原理对于spark的学习尤为重要,如果不了解其运行原理,也就不会从根本上将spark的程序写好。这将是写的最后一篇关于spark理论的文章。接下来将从实践方面来分享spark Spark...

10/08 16:14
10
CDH错误汇总(持续更新)

1. CDH安装过程中出现 socket.gaierror: [Errno -2] Name or service not known 原因: 服务器可能IP或mac地址冲突 解决: rm -rf /usr/bin/host 2. HDFS-副本不足的块 原因: 设置的副本备份数...

07/29 10:40
1
大数据基础之Hadoop基础系列:MapReduce的原理

原理 一个大任务分成多个小的子任务(Map),并行执行后,合并结果(Reduce). 基本概念 Job & Task JobTracker 作业调度 分配任务,监控任务执行进度 TaskTracker 执行任务 汇报任务状态 MapReduc...

大数据基础之Hadoop基础系列:HDFS文件系统

HDFS 基本概念 块 (Block) 是一个固定大小的逻辑单元 HDFS的文件被分成块进行存储 HDFS块的默认大小64MB 块是文件存储处理的逻辑单元 HDFS 的两类节点 NameNode ( HDFS的管理节点,唯一,存放文...

07/09 18:18
1
大数据基础之Hadoop基础系列:安装篇

准备Linux OS 环境 方式一: 使用 虚拟机 方式二: 使用云主机 (推荐使用,快速方便) 安装JDK (此处略过, 因为 Hadoop 是Java开发的,所以运行时需要Java环境的.) 并设置环境变量 配置 Hadoop 在...

07/09 18:17
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部