文档章节

Hadoop公开课:完全分布式脚本分析

乐搏学院
 乐搏学院
发布于 2017/08/01 16:34
字数 159
阅读 7
收藏 0

脚本分析start-all.sh

  1)首先进入/soft/Hadoop/sbin目录

  2)nano start-all.sh

  sbin/start-all.sh主要做的事情:

  1) libexec/hadoop-config.sh

  2) start-dfs.sh

  3) start-yarn.sh

  3)cat libexec/hadoop-config.sh hadoop_conf_dir =etc/hadoop

  4)cat sbin/start-dfs.sh

  sbin/start-dfs.sh的作用:

  1)libexec/hadoop-config.sh

  2)sbin/hadoop-daemons.sh --config .. --hostname .. start namenode ...

  3)sbin/hadoop-daemons.sh --config .. --hostname .. start datanode ...

  4)sbin/hadoop-daemons.sh --config .. --hostname .. start sescondarynamenode ...

  5)sbin/hadoop-daemons.sh --config .. --hostname .. start zkfc ...//

  5)cat sbin/start-yarn.sh

  libexec/yarn-config.sh作用

  sbin/yarn-daemon.sh start resourcemanager

  sbin/yarn-daemons.sh start nodemanager

  6)cat sbin/hadoop-daemons.sh

  sbin/hadoop-daemons.sh的作用:

  libexec/hadoop-config.sh

  slaves

  hadoop-daemon.sh

  7)cat sbin/hadoop-daemon.sh

  sbin/hadoop-daemon.sh的作用

  libexec/hadoop-config.sh

  bin/hdfs ...

  8)sbin/yarn-daemon.sh




  sbin/yarn-daemon.sh作用

  libexec/yarn-config.sh

  bin/yarn

  Start-all.sh ===config.sh----start-dfs.sh 和start-yarn.sh

  Start-dfs.sh -----config.sh----(namenode,send,datanode)

  Stop-dfs.sh------config---------------------------------------

  hadoop-daemon.sh ----------->

© 著作权归作者所有

共有 人打赏支持
乐搏学院
粉丝 6
博文 526
码字总数 707467
作品 0
丰台
程序员
Nutch:从搜索引擎到网络爬虫

开源力量公开课第三十一期- Nutch:从搜索引擎到网络爬虫 开源力量公开课,每周二晚线上线下同时开课,让我们一起向IT技术大牛们学习! 课程题目: 开源力量公开课第三十一期- Nutch:从搜索引...

liuhua0312
2013/09/10
1K
1
CCA Spark and Hadoop Developer (CCA175) 公开课信息

CCA Spark and Hadoop Developer (CCA175) 开发者认证 认证准备建议:Spark andHadoop开发者培训 考试形式:120分钟;70%通过;解决10~12基于CDH5机群上需通过实际操作的问题 线上:长期开课...

CDHandHadoop
2017/05/09
0
0
Hadoop集群安装部署详解

本文主要介绍Hadoop的一些基本信息及完全分布式安装,每一步都是笔者亲自操作所记录下来的,现分享出来希望能帮助到正准备研究Hadoop的朋友 Hadoop介绍 Hadoop由HDFS、MapReduce、Hbase、Hiv...

阿郎_
2017/04/04
0
0
一脸懵逼学习基于CentOs的Hadoop集群安装与配置(三台机器跑集群)

1:Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层...

别叫小伙
2017/10/09
0
0
NUTCH公开课:从搜索引擎到网络爬虫

课程背景:Nutch诞生于2002年8月,是Apache旗下的一个用Java实现的开源搜索引擎项目,自Nutch1.2版本之后,Nutch已经从搜索引擎演化为网络爬虫,接着Nutch进一步演化为两大分支版本:1.X和2...

杨尚川
2013/09/12
3.3K
1

没有更多内容

加载失败,请刷新页面

加载更多

如何通过 J2Cache 实现分布式 session 存储

做 Java Web 开发的人多数都会需要使用到 session (会话),我们使用 session 来保存一些需要在两个不同的请求之间共享数据。一般 Java 的 Web 容器像 Tomcat、Resin、Jetty 等等,它们会在...

红薯
今天
3
0
C++ std::thread

C++11提供了std::thread类来表示一个多线程对象。 1,首先介绍一下std::this_thread命名空间: (1)std::this_thread::get_id():返回当前线程id (2)std::this_thread::yield():用户接口...

yepanl
今天
3
0
Nignx缓存文件与动态文件自动均衡的配置

下面这段nginx的配置脚本的作用是,自动判断是否存在缓存文件,如果有优先输出缓存文件,不经过php,如果没有,则回到php去处理,同时生成缓存文件。 PHP框架是ThinkPHP,最后一个rewrite有关...

swingcoder
今天
1
0
20180920 usermod命令与用户密码管理

命令 usermod usermod 命令的选项和 useradd 差不多。 一个用户可以属于多个组,但是gid只有一个;除了gid,其他的组(groups)叫做扩展组。 usermod -u 1010 username # 更改用户idusermod ...

野雪球
今天
3
0
Java网络编程基础

1. 简单了解网络通信协议TCP/IP网络模型相关名词 应用层(HTTP,FTP,DNS等) 传输层(TCP,UDP) 网络层(IP,ICMP等) 链路层(驱动程序,接口等) 链路层:用于定义物理传输通道,通常是对...

江左煤郎
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部