文档章节

Hadoop公开课:完全分布式脚本分析

乐搏学院
 乐搏学院
发布于 2017/08/01 16:34
字数 159
阅读 82
收藏 0

钉钉、微博极速扩容黑科技,点击观看阿里云弹性计算年度发布会!>>>

脚本分析start-all.sh

  1)首先进入/soft/Hadoop/sbin目录

  2)nano start-all.sh

  sbin/start-all.sh主要做的事情:

  1) libexec/hadoop-config.sh

  2) start-dfs.sh

  3) start-yarn.sh

  3)cat libexec/hadoop-config.sh hadoop_conf_dir =etc/hadoop

  4)cat sbin/start-dfs.sh

  sbin/start-dfs.sh的作用:

  1)libexec/hadoop-config.sh

  2)sbin/hadoop-daemons.sh --config .. --hostname .. start namenode ...

  3)sbin/hadoop-daemons.sh --config .. --hostname .. start datanode ...

  4)sbin/hadoop-daemons.sh --config .. --hostname .. start sescondarynamenode ...

  5)sbin/hadoop-daemons.sh --config .. --hostname .. start zkfc ...//

  5)cat sbin/start-yarn.sh

  libexec/yarn-config.sh作用

  sbin/yarn-daemon.sh start resourcemanager

  sbin/yarn-daemons.sh start nodemanager

  6)cat sbin/hadoop-daemons.sh

  sbin/hadoop-daemons.sh的作用:

  libexec/hadoop-config.sh

  slaves

  hadoop-daemon.sh

  7)cat sbin/hadoop-daemon.sh

  sbin/hadoop-daemon.sh的作用

  libexec/hadoop-config.sh

  bin/hdfs ...

  8)sbin/yarn-daemon.sh




  sbin/yarn-daemon.sh作用

  libexec/yarn-config.sh

  bin/yarn

  Start-all.sh ===config.sh----start-dfs.sh 和start-yarn.sh

  Start-dfs.sh -----config.sh----(namenode,send,datanode)

  Stop-dfs.sh------config---------------------------------------

  hadoop-daemon.sh ----------->

乐搏学院
粉丝 8
博文 526
码字总数 707467
作品 0
丰台
程序员
私信 提问
加载中
请先登录后再评论。
Nutch:从搜索引擎到网络爬虫---分享公开课

Nutch:从搜索引擎到网络爬虫—分享公开课 开源力量公开课,每周二晚线上线下同时开课,让我们一起向IT技术大牛们学习! 课程题目: 开源力量公开课第三十一期- Nutch:从搜索引擎到网络爬虫 ...

liuhua0312
2013/09/13
30
0
分享杨尚川老师的Nutch:从搜索引擎到网络爬虫

分享杨尚川老师的Nutch:从搜索引擎到网络爬虫 开源力量公开课,每周二晚线上线下同时开课,让我们一起向IT技术大牛们学习! 课程题目: 开源力量公开课第三十一期- Nutch:从搜索引擎到网络爬...

liuhua0312
2013/09/12
675
1
Nutch:从搜索引擎到网络爬虫--开源力量公开课第三十一期

开源力量公开课第三十一期- Nutch:从搜索引擎到网络爬虫 开源力量公开课,每周二晚线上线下同时开课,让我们一起向IT技术大牛们学习! 课程题目: 开源力量公开课第三十一期- Nutch:从搜索引...

liuhua0312
2013/09/10
524
5
开源力量公开课第三十一期- Nutch:从搜索引擎到网络爬虫

开源力量公开课第三十一期- Nutch:从搜索引擎到网络爬虫 开源力量公开课,每周二晚线上线下同时开课,让我们一起向IT技术大牛们学习! 课程题目: 开源力量公开课第三十一期- Nutch:从搜索引...

liuhua0312
2013/09/10
296
0
Nutch:从搜索引擎到网络爬虫---分享公开课

Nutch:从搜索引擎到网络爬虫—分享公开课 开源力量公开课,每周二晚线上线下同时开课,让我们一起向IT技术大牛们学习! 课程题目: 开源力量公开课第三十一期- Nutch:从搜索引擎到网络爬虫 ...

liuhua0312
2013/09/13
256
4

没有更多内容

加载失败,请刷新页面

加载更多

Day 4 掌握pip命令,管理好你的Python资源包

在文章底部你的每一次随手 → 分享、点赞、在看都很重要,感谢!!! 精华推荐:精选20篇满足你对前沿理论、技术和经验总结 开源优测专辑集合: 1. 前沿理论、工具和趋势总结 2. 快学Python3...

苦叶子
07/02
0
0
Motan中使用异步RPC接口

这周六参加了一个美团点评的技术沙龙,其中一位老师在介绍他们自研的 RPC 框架时提到一点:RPC 请求分为 sync,future,callback,oneway,并且需要遵循一个原则:能够异步的地方就不要使用同...

Java公众号_Kirito的技术分享
2017/12/27
3
0
JS逆向 | 防脱发的秘诀

作者:Jerryning 公众号:Python编程与实战 hello,大jia好,又到了练手时间了,这是我给大伙分享的第…篇逆向文章。前面的几篇猛戳下面: Python爬虫之JS逆向入门篇 JS逆向之新榜登录 JS逆向...

州的先生
2019/08/27
0
0
python练习-001

从今天起,我们进入python的学习,会根据每天一个案例的方法,由浅入深的学习python。 python学习对于初学者来说,最大的问题在于不知道自己学了能做啥,每天敲这些无聊的代码很枯燥,所以学...

致码高胜寒
2019/01/16
11
0
yolov5 简单教程

该库代表Ultralytics对未来对象检测方法的开源研究,并结合了以前的YOLO库https://github.com/ultralytics/yolov3在自定义数据集上训练了数千个模型而得到的最佳实践。**所有代码和模型都在积...

人工智能遇见磐创
35分钟前
12
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部