文档章节

hadoop2.6.4 在ubuntu14.04下的搭建

一千零一夜个为什么
 一千零一夜个为什么
发布于 2017/04/07 09:56
字数 283
阅读 21
收藏 0
点赞 0
评论 0

一、准备环境:
a.ubuntu14.04-64
b.hadoop2.6.4(https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.6.2/hadoop-2.6.2.tar.gz)
c.自行配置
二、java以及秘钥登陆[。。。]
三、hadoop的安装
a.tar -zxvf hadoop-2.6.2.tar.gz 解压后放置在/data/下 命名为hadoop
b.修改hadoop-env.sh
vim /data/hadoop/etc/hadoop/hadoop-env.sh 大概在# set JAVA_HOME in this file下面添加
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
c.vim /data/hadoop/etc/hadoop/core-site.xml 添加如下:


fs.defaultFS
hdfs://localhost:9000


hadoop.tmp.dir
/data/hadoop/tmp


hadoop.native.lib
true
 

d. vim /data/hadoop/etc/hadoop/hdfs-site.xml 添加如下:
<configuration>
    <property> 
        <name>dfs.replication</name> 
        <value>1</value> 
    </property> 
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data/hadoop/hdfs/data</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

e.vim /data/hadoop/etc/hadoop/mapred-site.xml 添加如下:
<configuration>
    <property>
    <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

f. vim /data/hadoop/etc/hadoop/yarn-site.xml 添加如下:
<configuration>
<property> 
    <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value>  ##注意这里有坑  mapreduce.shuffle 链接符为.的时候有问题
    </property>
</configuration>

四、创建文件夹
cd /data/hadoop
mkdir tmp
cd tmp
mkdir name data
chmod -R 777 tmp
五、格式化
cd /data/hadoop/bin
hdfs namenode -format
六、启动了
cd /data/hadoop/sbin
./start-all.sh
jps 可以查看到
6个进程即可

转自于:http://www.hitoky.com/index.php/archives/13.html

 

© 著作权归作者所有

共有 人打赏支持
一千零一夜个为什么
粉丝 3
博文 42
码字总数 13216
作品 0
朝阳
程序员
hadoop2.6.4 安装和编译

hadoop集群搭建 tools: SecureCRT8.0 VMware12 RHEL 6.6 x64 网络规划: hadoop0 192.168.248.150 hadoop1 192.168.248.151 hadoop2 192.168.248.152 hadoop3 192.168.248.153 设置静态ip:......

lizer2016
2016/07/26
0
0
Samba服务器共享文件夹无网络访问权限

我的虚拟机中是Ubuntu14.04,主机是win7.虚拟机中搭建了Samba服务器,设置了共享目录,可是我在主机端去访问该共享目录的时候报错说没有网络访问权限,selinux是关闭的,防火墙也是关掉的。...

我爱c语言
2016/05/17
555
6
Ubuntu15.10上的Docker Registry问题解决

Docker在Ubuntu15.10上搭建registry时出现问题,总是报TLS错。 1、Ubuntu14.04及之前版本的解决方法 然后,网上搜索的解决办法都是: 修改/etc/default/docker文件,加入: DOCKEROPTS='--in...

openthings
2016/04/14
203
0
hadoop2.6.4 不同job之间小数据传输

我这边有一个MR程序,跑在hadoop2.6.4集群上,2台机子,1个namenode,2个datanode,这个MR里面有3个JOB,分别标记JOB1,JOB2,JOB3,在JOB1中会计算出几个中间结果,需要被JOB3用到,如何传给...

llxlf
2016/02/25
196
0
使用Nodejs通过thrift框架访问HBase卡住不动问题

Ubuntu14.04搭建HBase环境成功,在hbase shell里增删改查操作都没有问题。用HBASE的restAPI也可以访问。但用nodejs通过thrift框架访问HBase时,代码执行到client.openScanner这行就卡住了,也...

TateYao
2017/03/15
135
0
【腾讯云的1001种玩法】微信个人订阅号后台server搭建入门教程

搭建公众号后台server 以腾讯云自带的ubuntu14.04为例: 1.安装nginx+php7+mysql5,以及需要的扩展; 由于ubuntu14.04默认软件库为php5,需要加入第三方库,来apt-get方式安装PHP7; 当然,也...

2017/12/18
0
0
ubuntu14.04搭建gitlab9.0

gitlab是常用的代码管理软件,下面是我在ubuntu14.04上的搭建过程: 首先配置好apt源,最好是官方的源。 sudo apt-get install curl openssh-server ca-certificates postfix curl https://...

qbs1989
06/26
0
0
准备 KVM 实验环境 - 每天5分钟玩转 OpenStack(3)

KVM 是 OpenStack 使用最广泛的 Hypervisor,本节介绍如何搭建 KVM 实验环境 安装 KVM 上一节说了,KVM 是 2 型虚拟化,是运行在操作系统之上的,所以我们先要装一个 Linux。Ubuntu、Redhat、...

CloudMAN
2016/03/04
1K
0
centos6.5安装hadoop2.6.4

1、下载 http://hadoop.apache.org/releases.html http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 2、三台虚拟机 3、删除centos自带的jdk,安装jdk-7......

penngo
2016/04/05
353
0
Ubuntu操作系统下rbenv、ruby、rails开发环境搭建

# ! /usr/bin/sh Ubuntu系统下安装ruby/rails必要的库和编译环境 sudo apt-get updatesudo apt-get install -y build-essential openssl curl libcurl3-dev libreadline6 libreadline6-dev g......

jeffsui
2015/01/21
0
1

没有更多内容

加载失败,请刷新页面

加载更多

下一页

about git flow

  昨天元芳做了git分支管理规范的分享,为了拓展大家关于git分支的认知,这里我特意再分享这两个关于git flow的链接,大家可以看一下。 Git 工作流程 Git分支管理策略   git flow本质上是...

qwfys
今天
2
0
Linux系统日志文件

/var/log/messages linux系统总日志 /etc/logrotate.conf 日志切割配置文件 参考https://my.oschina.net/u/2000675/blog/908189 dmesg命令 dmesg’命令显示linux内核的环形缓冲区信息,我们可...

chencheng-linux
今天
1
0
MacOS下给树莓派安装Raspbian系统

下载镜像 前往 树莓派官网 下载镜像。 点击 最新版Raspbian 下载最新版镜像。 下载后请,通过 访达 双击解压,或通过 unzip 命令解压。 检查下载的文件 ls -lh -rw-r--r-- 1 dingdayu s...

dingdayu
今天
1
0
spring boot使用通用mapper(tk.mapper) ,id自增和回显等问题

最近项目使用到tk.mapper设置id自增,数据库是mysql。在使用通用mapper主键生成过程中有一些问题,在总结一下。 1、UUID生成方式-字符串主键 在主键上增加注解 @Id @GeneratedValue...

北岩
今天
2
0
告警系统邮件引擎、运行告警系统

告警系统邮件引擎 cd mail vim mail.py #!/usr/bin/env python#-*- coding: UTF-8 -*-import os,sysreload(sys)sys.setdefaultencoding('utf8')import getoptimport smtplibfr......

Zhouliang6
今天
1
0
Java工具类—随机数

Java中常用的生成随机数有Math.random()方法及java.util.Random类.但他们生成的随机数都是伪随机的. Math.radom()方法 在jdk1.8的Math类中可以看到,Math.random()方法实际上就是调用Random类...

PrivateO2
今天
2
0
关于java内存模型、并发编程的好文

Java并发编程:volatile关键字解析    volatile这个关键字可能很多朋友都听说过,或许也都用过。在Java 5之前,它是一个备受争议的关键字,因为在程序中使用它往往会导致出人意料的结果。在...

DannyCoder
昨天
1
0
dubbo @Reference retries 重试次数 一个坑

在代码一中设置 成retries=0,也就是调用超时不用重试,结果DEBUG的时候总是重试,不是0吗,0就不用重试啊。为什么还是调用了多次呢? 结果在网上看到 这篇文章才明白 https://www.cnblogs....

奋斗的小牛
昨天
2
0
数据结构与算法3

要抓紧喽~~~~~~~放羊的孩纸回来喽 LowArray类和LowArrayApp类 程序将一个普通的Java数组封装在LowArray类中。类中的数组隐藏了起来,它是私有的,所以只有类自己的方法才能访问他。 LowArray...

沉迷于编程的小菜菜
昨天
1
0
spring boot应用测试框架介绍

一、spring boot应用测试存在的问题 官方提供的测试框架spring-boot-test-starter,虽然提供了很多功能(junit、spring test、assertj、hamcrest、mockito、jsonassert、jsonpath),但是在数...

yangjianzhou
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部