文档章节

Hadoop

熊爸爸
 熊爸爸
发布于 2016/08/25 21:08
字数 214
阅读 5
收藏 0

1. 简单描述如何安装配置一个apache开源版hadoop,只描述即可,无需列出完整步骤,能列出步骤更好。

1 ) 安装JDK并配置环境变量(/etc/profile)

2) 关闭防火墙

3) 配置hosts文件,方便hadoop通过主机名访问(/etc/hosts)

4) 设置ssh免密码登录

5) 解压缩hadoop安装包,并配置环境变量

6) 修改配置文件( $HADOOP_HOME/conf )

hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml

7) 格式化hdfs文件系统 (hadoop namenode -format)

8) 启动hadoop ( $HADOOP_HOME/bin/start-all.sh )

9) 使用jps查看进程

 

2:列出hadoop集群启动中的所有进程和进程的作用

a) Namenode 管理集群  记录namenode文件信息

b) Secondname 可以做备份  对一定范围内的数据做快照

c) Datanode  存储数据

d) Jobtarcker 管理任务  分配任务

e) Tasktracker   执行任务

© 著作权归作者所有

共有 人打赏支持
上一篇: hive常用函数
下一篇: hive 动态分区
熊爸爸

熊爸爸

粉丝 1
博文 23
码字总数 441
作品 0
浦东
高级程序员
私信 提问

暂无文章

生产者消费者问题(PV操作)

一、明确定义 要理解生产消费者问题,首先应弄清PV操作的含义:PV操作是由P操作原语和V操作原语组成(原语是不可中断的过程),对信号量进行操作,具体定义如下: P(S):①将信号量S的值减...

shzwork
11分钟前
0
0
重新认识网络通信协议

OSI网络分层 应用层 http, smtp,pop3这些都属于应用层协议 为用户的应用程序提供服务 表示层 确保一个系统的应用层发送的信息被另一个系统的应用层接收到 会话层 通过传输层建立数据传输的通...

最胖的瘦子
22分钟前
0
0
【转】分布式数据流的轻量级异步快照

本篇翻译自论文:Lightweight Asynchronous Snapshots for Distributed Dataflows,Flink的容错快照模型即来源于该论文。原文地址:https://arxiv.org/pdf/1506.08603.pdf 分布式数据流的轻量...

yiduwangkai
24分钟前
0
0
java使用反射机制设置私有成员变量的值

写一个方法:public void setProperty(Objectobj, String propertyName, Object value){}, 此方法可将obj对象中名为propertyName的属性的值设置为value。(这里不知道obj对象的propertyNam...

群星纪元
30分钟前
0
0
用 Tapestry 的方式在页面模板中加入注释

<span jwcid="$remove$">这里是注释</span>

LeoXu
30分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部