安装Hadoop(伪分布式)
安装Hadoop(伪分布式)
十七宝宝 发表于10个月前
安装Hadoop(伪分布式)
  • 发表于 10个月前
  • 阅读 3
  • 收藏 0
  • 点赞 0
  • 评论 0

移动开发云端新模式探索实践 >>>   

安装hadoop:

先上传hadoop的安装包到服务器上去/home/hadoop/

在hadoop2.x的配置文件位置$HADOOP_HOME/etc/hadoop

伪分布式需要修改5个配置文件

1配置hadoop

第一个:hadoop-env.sh

echo $JAVA_HOME

vim hadoop-env.sh

#第27行

export JAVA_HOME=/home/hadoop/app/jdk

第二个:core-site.xml

<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->

vim core-site.xml

<property>

<name>fs.defaultFS</name>

<value>hdfs://weekend-1206-01:9000</value>

</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/hadoop/tmp</value>

</property>

第三个:hdfs-site.xml

vim hdfs-site.xml

<!-- 指定HDFS副本的数量 -->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

<!-- 指定mr运行在yarn上 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

第五个:yarn-site.xml

vim yarn-site.xml

<!-- 指定YARN的老大(ResourceManager)的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop</value>

</property>

<!-- reducer获取数据的方式 -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

2将hadoop添加到环境变量

vim /etc/profile

export JAVA_HOME=/home/hadoop/app/jdk

export HADOOP_HOME=/home/hadoop/app/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

source /etc/profile

3格式化namenode(是对namenode进行初始化)

hdfs namenode -format (hadoop namenode -format)

成功打印:

17/07/26 06:21:10 INFO common.Storage: Storage directory /home/hadoop/hadoop/tmp/dfs/name has been successfully formatted.

 

4启动hadoop

先启动HDFS

start-dfs.sh

再启动YARN

start-yarn.sh

5验证是否启动成功

使用jps命令验证

 

 

http://192.168.25.17:50070 (HDFS管理界面)

http://192.168.25.17:8088 (MR管理界面)

  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 0
博文 12
码字总数 6864
×
十七宝宝
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: