文档章节

Hadoop公开课:完全分布式脚本分析

乐搏学院
 乐搏学院
发布于 2017/08/01 16:34
字数 159
阅读 6
收藏 0
点赞 0
评论 0

脚本分析start-all.sh

  1)首先进入/soft/Hadoop/sbin目录

  2)nano start-all.sh

  sbin/start-all.sh主要做的事情:

  1) libexec/hadoop-config.sh

  2) start-dfs.sh

  3) start-yarn.sh

  3)cat libexec/hadoop-config.sh hadoop_conf_dir =etc/hadoop

  4)cat sbin/start-dfs.sh

  sbin/start-dfs.sh的作用:

  1)libexec/hadoop-config.sh

  2)sbin/hadoop-daemons.sh --config .. --hostname .. start namenode ...

  3)sbin/hadoop-daemons.sh --config .. --hostname .. start datanode ...

  4)sbin/hadoop-daemons.sh --config .. --hostname .. start sescondarynamenode ...

  5)sbin/hadoop-daemons.sh --config .. --hostname .. start zkfc ...//

  5)cat sbin/start-yarn.sh

  libexec/yarn-config.sh作用

  sbin/yarn-daemon.sh start resourcemanager

  sbin/yarn-daemons.sh start nodemanager

  6)cat sbin/hadoop-daemons.sh

  sbin/hadoop-daemons.sh的作用:

  libexec/hadoop-config.sh

  slaves

  hadoop-daemon.sh

  7)cat sbin/hadoop-daemon.sh

  sbin/hadoop-daemon.sh的作用

  libexec/hadoop-config.sh

  bin/hdfs ...

  8)sbin/yarn-daemon.sh




  sbin/yarn-daemon.sh作用

  libexec/yarn-config.sh

  bin/yarn

  Start-all.sh ===config.sh----start-dfs.sh 和start-yarn.sh

  Start-dfs.sh -----config.sh----(namenode,send,datanode)

  Stop-dfs.sh------config---------------------------------------

  hadoop-daemon.sh ----------->

© 著作权归作者所有

共有 人打赏支持
乐搏学院
粉丝 6
博文 526
码字总数 707467
作品 0
丰台
程序员
Nutch:从搜索引擎到网络爬虫

开源力量公开课第三十一期- Nutch:从搜索引擎到网络爬虫 开源力量公开课,每周二晚线上线下同时开课,让我们一起向IT技术大牛们学习! 课程题目: 开源力量公开课第三十一期- Nutch:从搜索引...

liuhua0312
2013/09/10
1K
1
CCA Spark and Hadoop Developer (CCA175) 公开课信息

CCA Spark and Hadoop Developer (CCA175) 开发者认证 认证准备建议:Spark andHadoop开发者培训 考试形式:120分钟;70%通过;解决10~12基于CDH5机群上需通过实际操作的问题 线上:长期开课...

CDHandHadoop
2017/05/09
0
0
Hadoop集群安装部署详解

本文主要介绍Hadoop的一些基本信息及完全分布式安装,每一步都是笔者亲自操作所记录下来的,现分享出来希望能帮助到正准备研究Hadoop的朋友 Hadoop介绍 Hadoop由HDFS、MapReduce、Hbase、Hiv...

阿郎_
2017/04/04
0
0
一脸懵逼学习基于CentOs的Hadoop集群安装与配置(三台机器跑集群)

1:Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层...

别叫小伙
2017/10/09
0
0
NUTCH公开课:从搜索引擎到网络爬虫

课程背景:Nutch诞生于2002年8月,是Apache旗下的一个用Java实现的开源搜索引擎项目,自Nutch1.2版本之后,Nutch已经从搜索引擎演化为网络爬虫,接着Nutch进一步演化为两大分支版本:1.X和2...

杨尚川
2013/09/12
3.3K
1
百度深度学习公开课再升级, 「地表最强」嘉宾阵容惊现成都

  短短一个月,百度深度学习公开课已走过北京、深圳和杭州三站,5 月 26 日即将在天府之国成都迎来本季收官站。百度深度学习公开课「一票难求」,此前的报名入选率仅有 20%,能参加的开发者...

机器之心
05/21
0
0
Hadoop 生态圈危机四伏,如何应对大数据基础平台的安全威胁 | 硬创公开课预告

当前,以 Hadoop 为基础的大数据开源生态圈应用非常广泛。国内 Hadoop 已经广泛应用于金融、电信、制造、能源以及医疗健康领域,而这些领域每天都有数以亿计的数据产生,对于大数据资产的存储...

郭佳
2017/12/18
0
0
Hadoop完全分布式模式的配置与安装

转自: http://www.cyblogs.com/ 我自己的博客~ 首先, 我们需要3台机器, 这里我是在Vmware里面创建了3台虚拟机, 来保证我的Hadoop完全分布式的最基本配置.我这里选择的CentOS, 因为RedHat系列...

陈袁at互联
2015/05/03
0
2
Hadoop手把手逐级搭建,从单机伪分布到高可用+联邦(2)Hadoop完全分布式(full)

第二阶段: Hadoop完全分布式(full) 0. 步骤概述 1. 克隆4台虚拟机 1.1 使用hadoop0克隆4台虚拟机hadoop1,hadoop2,hadoop3,hadoop4 1.2生成新的mac地址 1.3 修改主机名 1.4 修改hadoop1的IP地...

bigablecat
2017/12/27
0
0
【9月测试公开课】三大课程·覆盖软件测试全过程

Parasoft公开课 - 覆盖软件测试全过程的智能测试平台 [开课时间]:9月7日 下午2:00—4:00 [活动费用]:前50名免费 网络在线公开课 报名地址 2. 黑盒测试公开课 - 前惠普资深测试经理吴老师分...

百mumu
2016/08/30
6
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

实现异步有哪些方法

有哪些方法可以实现异步呢? 方式一:java 线程池 示例: @Test public final void test_ThreadPool() throws InterruptedException { ScheduledThreadPoolExecutor scheduledThre......

黄威
今天
0
0
linux服务器修改mtu值优化cpu

一、jumbo frames 相关 1、什么是jumbo frames Jumbo frames 是指比标准Ethernet Frames长的frame,即比1518/1522 bit大的frames,Jumbo frame的大小是每个设备厂商规定的,不属于IEEE标准;...

六库科技
今天
0
0
牛客网刷题

1. 二维数组中的查找(难度:易) 题目描述 在一个二维数组中(每个一维数组的长度相同),每一行都按照从左到右递增的顺序排序,每一列都按照从上到下递增的顺序排序。请完成一个函数,输入...

大不了敲一辈子代码
今天
0
0
linux系统的任务计划、服务管理

linux任务计划cron 在linux下,有时候要在我们不在的时候执行一项命令,或启动一个脚本,可以使用任务计划cron功能。 任务计划要用crontab命令完成 选项: -u 指定某个用户,不加-u表示当前用...

黄昏残影
昨天
0
0
设计模式:单例模式

单例模式的定义是确保某个类在任何情况下都只有一个实例,并且需要提供一个全局的访问点供调用者访问该实例的一种模式。 实现以上模式基于以下必须遵守的两点: 1.构造方法私有化 2.提供一个...

人觉非常君
昨天
0
0
《Linux Perf Master》Edition 0.4 发布

在线阅读:https://riboseyim.gitbook.io/perf 在线阅读:https://www.gitbook.com/book/riboseyim/linux-perf-master/details 百度网盘【pdf、mobi、ePub】:https://pan.baidu.com/s/1C20T......

RiboseYim
昨天
1
0
conda 换源

https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mir......

阿豪boy
昨天
1
0
Confluence 6 安装补丁类文件

Atlassian 支持或者 Atlassian 缺陷修复小组可能针对有一些关键问题会提供补丁来解决这些问题,但是这些问题还没有放到下一个更新版本中。这些问题将会使用 Class 类文件同时在官方 Jira bug...

honeymose
昨天
0
0
非常实用的IDEA插件之总结

1、Alibaba Java Coding Guidelines 经过247天的持续研发,阿里巴巴于10月14日在杭州云栖大会上,正式发布众所期待的《阿里巴巴Java开发规约》扫描插件!该插件由阿里巴巴P3C项目组研发。P3C...

Gibbons
昨天
1
0
Tomcat介绍,安装jdk,安装tomcat,配置Tomcat监听80端口

Tomcat介绍 Tomcat是Apache软件基金会(Apache Software Foundation)的Jakarta项目中的一个核心项目,由Apache、Sun和其他一些公司及个人共同开发而成。 java程序写的网站用tomcat+jdk来运行...

TaoXu
昨天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部