文档章节

hadoop2.6.4 在ubuntu14.04下的搭建

一千零一夜个为什么
 一千零一夜个为什么
发布于 2017/04/07 09:56
字数 283
阅读 34
收藏 0

一、准备环境:
a.ubuntu14.04-64
b.hadoop2.6.4(https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.6.2/hadoop-2.6.2.tar.gz)
c.自行配置
二、java以及秘钥登陆[。。。]
三、hadoop的安装
a.tar -zxvf hadoop-2.6.2.tar.gz 解压后放置在/data/下 命名为hadoop
b.修改hadoop-env.sh
vim /data/hadoop/etc/hadoop/hadoop-env.sh 大概在# set JAVA_HOME in this file下面添加
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
c.vim /data/hadoop/etc/hadoop/core-site.xml 添加如下:


fs.defaultFS
hdfs://localhost:9000


hadoop.tmp.dir
/data/hadoop/tmp


hadoop.native.lib
true
 

d. vim /data/hadoop/etc/hadoop/hdfs-site.xml 添加如下:
<configuration>
    <property> 
        <name>dfs.replication</name> 
        <value>1</value> 
    </property> 
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data/hadoop/hdfs/data</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

e.vim /data/hadoop/etc/hadoop/mapred-site.xml 添加如下:
<configuration>
    <property>
    <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

f. vim /data/hadoop/etc/hadoop/yarn-site.xml 添加如下:
<configuration>
<property> 
    <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value>  ##注意这里有坑  mapreduce.shuffle 链接符为.的时候有问题
    </property>
</configuration>

四、创建文件夹
cd /data/hadoop
mkdir tmp
cd tmp
mkdir name data
chmod -R 777 tmp
五、格式化
cd /data/hadoop/bin
hdfs namenode -format
六、启动了
cd /data/hadoop/sbin
./start-all.sh
jps 可以查看到
6个进程即可

转自于:http://www.hitoky.com/index.php/archives/13.html

 

© 著作权归作者所有

共有 人打赏支持
一千零一夜个为什么
粉丝 3
博文 43
码字总数 13413
作品 0
朝阳
程序员
hadoop2.6.4 安装和编译

hadoop集群搭建 tools: SecureCRT8.0 VMware12 RHEL 6.6 x64 网络规划: hadoop0 192.168.248.150 hadoop1 192.168.248.151 hadoop2 192.168.248.152 hadoop3 192.168.248.153 设置静态ip:......

lizer2016
2016/07/26
0
0
Samba服务器共享文件夹无网络访问权限

我的虚拟机中是Ubuntu14.04,主机是win7.虚拟机中搭建了Samba服务器,设置了共享目录,可是我在主机端去访问该共享目录的时候报错说没有网络访问权限,selinux是关闭的,防火墙也是关掉的。...

我爱c语言
2016/05/17
555
6
Ubuntu15.10上的Docker Registry问题解决

Docker在Ubuntu15.10上搭建registry时出现问题,总是报TLS错。 1、Ubuntu14.04及之前版本的解决方法 然后,网上搜索的解决办法都是: 修改/etc/default/docker文件,加入: DOCKEROPTS='--in...

openthings
2016/04/14
203
0
hadoop2.6.4 不同job之间小数据传输

我这边有一个MR程序,跑在hadoop2.6.4集群上,2台机子,1个namenode,2个datanode,这个MR里面有3个JOB,分别标记JOB1,JOB2,JOB3,在JOB1中会计算出几个中间结果,需要被JOB3用到,如何传给...

llxlf
2016/02/25
196
0
使用Nodejs通过thrift框架访问HBase卡住不动问题

Ubuntu14.04搭建HBase环境成功,在hbase shell里增删改查操作都没有问题。用HBASE的restAPI也可以访问。但用nodejs通过thrift框架访问HBase时,代码执行到client.openScanner这行就卡住了,也...

TateYao
2017/03/15
135
0

没有更多内容

加载失败,请刷新页面

加载更多

df和du命令 磁盘分区

9月25日任务 4.1 df命令 4.2 du命令 4.3/4.4 磁盘分区 df 命令 查看系统磁盘空间使用情况 常用参数 -h (human-readble) # 人性化的为空间大小转换单位显示[root@centos7 ~]# df -h文件系...

robertt15
21分钟前
1
0
【a&sAI创新】华为CloudIVS轻量云:借力打力,四两拨千斤

[摘要] 1、测评表现就目前来说,AI的门槛还是比较高的,业内所熟知的算法企业,为了追求算法的极致,比如人脸识别公司,仍在不断扩大研发...   1、测评表现   就目前来说,AI的门槛还是比...

yizhichao
37分钟前
2
0
安卓安装APK报错error: INSTALL_FAILED_UPDATE_INCOMPATIBLE

记录一个 DELETE_FAILED_INTERNAL_ERROR Error while Installing APK问题 之前遇到这个问题 方案1 将data/data/目录下该应用的包名的目录删除掉,如:adb shell rm -rf data/data/com.demo.h...

切切歆语
38分钟前
1
0
用网关zuul时,熔断hytrix里面的坑

1,zuul 默认的隔离级别是信号量,默认最大隔离信号量是100 信号量隔离和线程池隔离的区别如下: https://my.oschina.net/u/867417/blog/2120713 默认设置: 2,zuul里隔离是按服务隔离的,也...

爱吃大肉包
38分钟前
0
0
使用SSM+Solr优雅的实现电商项目中的搜索功能

在学习了Redis&Spring-Data-Redis入门和Solr&Spring-Data-Solr入门后,接下来就该是项目实战了。这次我们用Vue.JS和ElementUI写前端页面,优雅的整合SSM-Shiro-Redis-Solr框架。 手摸手教你优...

TyCoding
38分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部