文档章节

2.马士兵_hadoop初识

BeGit
 BeGit
发布于 2017/04/08 12:08
字数 675
阅读 105
收藏 1

1.namenode启动:hadoop-daemon.sh start namenode,datanode启动:hadoop-daemon.sh start datanode

2.查看namenode状态信息:hdfs dfsadmin -report|more;查看进程:netstat -ntlp;可以打开web页查看集群情况:http://192.168.56.100:50070;其中utilities可以查看目录树block情况,可以查看启动日志,如果出问题了可以看看。

3.默认hadoop会把数据放到tmp目录下面,所以可能会被清理掉。

4.namenode关闭:hadoop-daemon.sh stop namenode,datanode关闭:hadoop-daemon.sh stop datanode

5./usr/local/hadoop/etc/hadoop/slaves 这个文件集中管理着相关的子节点信息。

6.如果考虑管理的datanode节点很多,就要集中式的管理,那么就在/usr/local/hadoop/etc/hadoop/slaves中配置相关datanode节点后,namenode调用后直接发送命令给相应机器即可。命令是:start-dfs.sh,secondaaryNamenode启动就启动吧。

7.每次启动这么多slave机器,自动密码如何设置呢?我们把master生成的公钥传给slave,root用私钥登录后,slave用公钥可以解密成功,那就不需要在输入密码了。

cd ;.ssh;ssh-copy-id slave1/slave2/slave3;ssh slave1直接登录成功。start-dfs.sh,stop-dfs.sh。如果防火墙没开的话应该就可以控制启动关闭了。如果slave数量很大,用shell脚本1次性copy。

8.hdfs就看成一块大硬盘,hadoop fs -ls /,可以查看所有文件系统的。大部分命令和linux使用差不多。如删除文件,hadoop fs -rm /hello.txt。如下面这些常用命令的使用:

9.如何修改文件保存的block数量呢?怎么查这些配置文件呢?

在hadoop的安装包下面有doc可以查看:F:\BaiduNetdiskDownload\hadoop-2.7.3\share\doc\hadoop\index.html,如查询dfs.replication后修改后重启集群,上传新文件就会发现是2块了。

10.下面我们测试如果kill了slave3,那block能否自动复制到slave1上呢,自动冗余?

为了观察方便,我们把master的心跳检查调小点。修改hdfs-site.xml的属性后(dfs.namenode.heartbeat.recheck-interval),重启。stop slave3后,block1节点确实自动从slave2复制到slave1上了。原来是在slave2和slave3上。

实验后发现slave3启动后也没有删掉刚才的块。

总结:

1.hadoop一台机器可以带动上百上千台机器,很容易动态扩展。hdf是主流的,只不过在上的计算框架和引擎竞争比较多。

2.伪分布式程序可以作为单机的java开发测试使用,部署生产效果理论相似。动态扩展只要core-site.xml中指定master地址就能自动发现。

© 著作权归作者所有

BeGit
粉丝 20
博文 93
码字总数 71312
作品 0
顺义
后端工程师
私信 提问
初识Hadoop

Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身。 《Hadoop基础教程》是我读的第一...

Emilypz
2015/10/09
797
5
[Hadoop大数据]——Hive初识

Hive出现的背景 Hadoop提供了大数据的通用解决方案,比如存储提供了Hdfs,计算提供了MapReduce思想。但是想要写出MapReduce算法还是比较繁琐的,对于开发者来说,需要了解底层的hadoop api。...

青夜之衫
2017/12/05
0
0
十小时入门大数据学习笔记(二)

第二章 初识Hadoop 2.1Hadoop概述 名称由来:项目作者的孩子对黄色大象玩具的命名 开源、分布式存储与分布式计算的平台 在这里还是要推荐下我自己建的大数据学习群:199427210,群里都是学大数...

董黎明
03/02
16
0
Ext.Error: Unable to parse the JSON returned by the server: You're trying to decode an invalid JSON String

Firefox给出的错误 Ext.Error: Unable to parse the JSON returned by the server: You're trying to decode an invalid JSON String: articlelist.jsp {"results":"100","rows":[{"id":"1"......

anonymous_007
2014/05/28
2.4K
2
初识hadoop

初识hadoop 概念 hadoop首先是大数据领域。大数据领域至少是分布式的,分布式数据必然是有一定规模了。如果数据只有几个G或者更小就没有什么意义了。 hadoop最核心的概念就是HDFS和MapReduce...

王二狗子11
2018/01/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
今天
4
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
今天
6
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
今天
4
0
OSChina 周日乱弹 —— 我,小小编辑,食人族酋长

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @宇辰OSC :分享娃娃的单曲《飘洋过海来看你》: #今日歌曲推荐# 《飘洋过海来看你》- 娃娃 手机党少年们想听歌,请使劲儿戳(这里) @宇辰OSC...

小小编辑
今天
989
11
MongoDB系列-- SpringBoot 中对 MongoDB 的 基本操作

SpringBoot 中对 MongoDB 的 基本操作 Database 库的创建 首先 在MongoDB 操作客户端 Robo 3T 中 创建数据库: 增加用户User: 创建 Collections 集合(类似mysql 中的 表): 后面我们大部分都...

TcWong
今天
40
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部