hadoop2.6.4 在ubuntu14.04下的搭建
hadoop2.6.4 在ubuntu14.04下的搭建
一千零一夜个为什么 发表于8个月前
hadoop2.6.4 在ubuntu14.04下的搭建
  • 发表于 8个月前
  • 阅读 14
  • 收藏 0
  • 点赞 0
  • 评论 0

腾讯云 新注册用户 域名抢购1元起>>>   

摘要: hadoop 2.6.4 ubuntu14.04

一、准备环境:
a.ubuntu14.04-64
b.hadoop2.6.4(https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.6.2/hadoop-2.6.2.tar.gz)
c.自行配置
二、java以及秘钥登陆[。。。]
三、hadoop的安装
a.tar -zxvf hadoop-2.6.2.tar.gz 解压后放置在/data/下 命名为hadoop
b.修改hadoop-env.sh
vim /data/hadoop/etc/hadoop/hadoop-env.sh 大概在# set JAVA_HOME in this file下面添加
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
c.vim /data/hadoop/etc/hadoop/core-site.xml 添加如下:


fs.defaultFS
hdfs://localhost:9000


hadoop.tmp.dir
/data/hadoop/tmp


hadoop.native.lib
true
 

d. vim /data/hadoop/etc/hadoop/hdfs-site.xml 添加如下:
<configuration>
    <property> 
        <name>dfs.replication</name> 
        <value>1</value> 
    </property> 
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data/hadoop/hdfs/data</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

e.vim /data/hadoop/etc/hadoop/mapred-site.xml 添加如下:
<configuration>
    <property>
    <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

f. vim /data/hadoop/etc/hadoop/yarn-site.xml 添加如下:
<configuration>
<property> 
    <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value>  ##注意这里有坑  mapreduce.shuffle 链接符为.的时候有问题
    </property>
</configuration>

四、创建文件夹
cd /data/hadoop
mkdir tmp
cd tmp
mkdir name data
chmod -R 777 tmp
五、格式化
cd /data/hadoop/bin
hdfs namenode -format
六、启动了
cd /data/hadoop/sbin
./start-all.sh
jps 可以查看到
6个进程即可

转自于:http://www.hitoky.com/index.php/archives/13.html

 

共有 人打赏支持
粉丝 4
博文 39
码字总数 12967
×
一千零一夜个为什么
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: