文档章节

HADOOP INSTALL

MtrS
 MtrS
发布于 2014/11/16 19:18
字数 188
阅读 123
收藏 5
点赞 0
评论 0

hadoop集群中的主机名不能带有下划线。 http://www.cnblogs.com/yuechaotian/archive/2013/02/20/2918306.html

<!-- lang: shell -->

[hadoop@PROC_141 bin]$ cat /etc/profile.d/hadoop.sh 

export HADOOP_HOME=/opt/old/htt/hadoop/hadoop-2.5.1
export HADOOP_PREFIX=/opt/old/htt/hadoop/hadoop-2.5.1
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_PREFIX"/lib/native"
export HADOOP_HDFS_HOME="$HADOOP_PREFIX"
export HADOOP_COMMON_HOME="$HADOOP_PREFIX"
export HADOOP_YARN_HOME="$HADOOP_HOME"
export HADOOP_CONF_DIR="$HADOOP_PREFIX"/etc/hadoop
export HADOOP_OPTS=-Djava.library.path="$HADOOP_PREFIX"lib
export HADOOP_MAPRED_HOME="$HADOOP_PREFIX"

export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin


vim $HADOOP_PREFIX/etc/hadoop/core-site.xml 

<configuration>
  <property>
      <name>fs.defaultFS</name>
      <value>hdfs://PROC-141</value>
  </property>
  <property>
        <name>fs.default.name</name>
        <value>hdfs://PROC-141:9000</value>
  </property>
</configuration>

vim $HADOOP_PREFIX/etc/hadoop/hdfs-site.xml 

<configuration>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///home/hadoop/local/var/hadoop/hdfs/datanode</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///home/hadoop/local/var/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>file:///home/hadoop/local/var/hadoop/hdfs/namesecondary</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

[hadoop@PROC_141 bin]$ jps 12216 NameNode 12362 DataNode 13915 Jps 12574 SecondaryNameNode 13023 NodeManager 12895 ResourceManager

© 著作权归作者所有

共有 人打赏支持
MtrS
粉丝 30
博文 474
码字总数 352132
作品 0
榆林
Ubuntu14.04 搭建hadoop单机版

一、在Ubuntu下创建hadoop组和hadoop用户 增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户。 1、创建hadoop用户组 2、创建hadoop用户 sudo addus...

喜欢敲代码的感觉 ⋅ 2014/10/16 ⋅ 0

centos6.5 64位下编译hadoop2.5.1源码

需要的工具:centos6.5 -64bit jdk1.7.0.71 maven3.23 (http://mirrors.cnnic.cn/apache/maven/maven-3/3.2.3/binaries/apache-maven-3.2.3-bin.tar.gz) ant1.9 (http://mirrors.cnnic.cn......

逸风如梦 ⋅ 2014/11/15 ⋅ 0

pippo/hadoop-ansible

Hadoop-ansible Install Hadoop cluster with ansible Now Support CentOS 7.x JDK is OpenJDK-1.8 Hadoop is the latest version 3.0.0 Before Install Use DNS Server or update /etc/host......

pippo ⋅ 01/03 ⋅ 0

hadoop 的安装配置教程

Hadoop安装配置简略教程 http://www.powerxing.com/install-hadoop-simplify/ Hadoop安装教程_单机/伪分布式配置 http://www.powerxing.com/install-hadoop/ Hadoop集群安装配置教程 http:/......

haopeng ⋅ 2015/12/10 ⋅ 0

Hadoop 2.2 分布式集群搭建

1. 预备条件 安装了Java 6.0以上版本的JDK; 必备开发库,运行脚本 [plain] view plaincopyprint? yum -y install lzo-devel zlib-devel gcc autoconf automake libtool cmake openssl-devel......

English0523 ⋅ 2014/01/07 ⋅ 0

将maven储藏室下载不到的jar包手动装入自己的maven储藏室

Maven 安装 JAR 包的命令是: mvn install:install-file -Dfile=jar包的位置 -DgroupId=上面的groupId -DartifactId=上面的artifactId -Dversion=上面的version -Dpackaging=jar mvn install......

月下独酌100 ⋅ 2013/02/25 ⋅ 0

Linux下安装Hadoop(伪分布模式)

写在前面:在Linux下安装Hadoop时,应注意权限问题,将hadoop的权限赋给非root用户。 本文中未涉及如何在Linux下创建新用户。 第一步,安装JDK 下载 java.sun.com 解压tar.gz的文件 tar -xzv...

月毁星坠 ⋅ 2013/06/19 ⋅ 0

Steps To Setup Hadoop 2.4.0 (Single Node Cluster) on CentOS/RHEL Written by Rahul

Apache Hadoop 2.4.0 significant improvements over the previous stable releases. This version has many improvements in HDFS and MapReduce. This how to guide will help you to inst......

Ericklee ⋅ 2015/01/22 ⋅ 0

ubuntu安装Hadoop

安装Hadoop需要Java环境,Hadoop文档中建议使用SUN的JDK,配置Java环境就不再啰嗦。 首先去http://hadoop.apache.org/下载hadoop,提供的Hadoop是tar.gz格式的,下载完了之后复制到自己的目录...

浪子_仗剑走天涯 ⋅ 2014/01/01 ⋅ 0

hadoop2.6.0 在64位CentOS 6.4系统上的编译

直接使用官网上下载的hadoop2.6.0在运行时候经常都会遇到WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where appl......

霖_柒 ⋅ 2015/12/31 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

服务网关过滤器

过滤器作用 我们的微服务应用提供的接口就可以通过统一的API网关入口被客户端访问到了。但是,每个客户端用户请求微服务应用提供的接口时,它们的访问权限往往都需要有一定的限制,系统并不会...

明理萝 ⋅ 13分钟前 ⋅ 1

【2018.06.21学习笔记】【linux高级知识 14.1-14.3】

14.1 NFS介绍 NFS服务全称是NetWork File System:网络文件系统,最早有sun公司开发的,4.0版本由Netapp公司开发,是基于RPC远程过程调用(Remote Procedure Call)协议的服务。 14.2 NFS服务...

lgsxp ⋅ 22分钟前 ⋅ 0

Day18 vim编辑模式、命令模式与练习

编辑模式 命令模式 :nohl 不高亮显示 :x与:wq类似,如果在更改文件之后操作,两者效果一样;如果打开文件,没有任何操作; :wq会更改mtime,但是:x不会。 练习题 扩展 vim的特殊用法 ht...

杉下 ⋅ 25分钟前 ⋅ 0

Enum、EnumMap、EnumSet

1、Enum 不带参数 public enum Car { AUDI { @Override public int getPrice() { return 25000; } }, MERCEDES { ......

职业搬砖20年 ⋅ 26分钟前 ⋅ 0

Java中的锁使用与实现

1.Lock接口 锁是用来控制多个线程访问共享资源的方式,一般来说,一个锁能够防止多个线程同时访问共享资源。 在Lock出现之前,java程序是靠synchronized关键字实现锁功能的,而Java SE5之后,...

ZH-JSON ⋅ 27分钟前 ⋅ 0

线程组和 ThreadLocal

前言 在上面文章中,我们从源码的角度上解析了一下线程池,并且从其 execute 方法开始把线程池中的相关执行流程过了一遍。那么接下来,我们来看一个新的关于线程的知识点:线程组。 线程组 ...

猴亮屏 ⋅ 29分钟前 ⋅ 0

相对路径和绝对路径

基本概念   文件路径就是文件在电脑中的位置,表示文件路径的方式有两种,相对路径和绝对路径。在网页设计中通过路径可以表示链接,插入图像、Flash、CSS文件的位置。   物理路径:物理路...

临江仙卜算子 ⋅ 33分钟前 ⋅ 0

消息队列属性及常见消息队列介绍

什么是消息队列? 消息队列是在消息的传输过程中保存消息的容器,用于接收消息并以文件的方式存储,一个队列的消息可以同时被多个消息消费者消费。分布式消息服务DMS则是分布式的队列系统,消...

中间件小哥 ⋅ 35分钟前 ⋅ 0

java程序员使用web3j进行以太坊开发详解

如何使用web3j为Java应用或Android App增加以太坊区块链支持,教程内容即涉及以太坊中的核心概念,例如账户管理包括账户的创建、钱包创建、交易转账,交易与状态、智能合约开发与交互、过滤器...

笔阁 ⋅ 35分钟前 ⋅ 0

vim编辑模式、vim命令模式

vim编辑模式 使用vim filename 进入的界面是一般模式,在这个模式下虽然我们能够查看,复制,剪切,粘贴,但是不能编辑新的内容,如何能直接写入东西呢?这就需要进入编辑模式了,从一般模式...

李超小牛子 ⋅ 38分钟前 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部