文档章节

HADOOP INSTALL

MtrS
 MtrS
发布于 2014/11/16 19:18
字数 188
阅读 270
收藏 5

行业解决方案、产品招募中!想赚钱就来传!>>>

hadoop集群中的主机名不能带有下划线。 http://www.cnblogs.com/yuechaotian/archive/2013/02/20/2918306.html

<!-- lang: shell -->

[hadoop@PROC_141 bin]$ cat /etc/profile.d/hadoop.sh 

export HADOOP_HOME=/opt/old/htt/hadoop/hadoop-2.5.1
export HADOOP_PREFIX=/opt/old/htt/hadoop/hadoop-2.5.1
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_PREFIX"/lib/native"
export HADOOP_HDFS_HOME="$HADOOP_PREFIX"
export HADOOP_COMMON_HOME="$HADOOP_PREFIX"
export HADOOP_YARN_HOME="$HADOOP_HOME"
export HADOOP_CONF_DIR="$HADOOP_PREFIX"/etc/hadoop
export HADOOP_OPTS=-Djava.library.path="$HADOOP_PREFIX"lib
export HADOOP_MAPRED_HOME="$HADOOP_PREFIX"

export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin


vim $HADOOP_PREFIX/etc/hadoop/core-site.xml 

<configuration>
  <property>
      <name>fs.defaultFS</name>
      <value>hdfs://PROC-141</value>
  </property>
  <property>
        <name>fs.default.name</name>
        <value>hdfs://PROC-141:9000</value>
  </property>
</configuration>

vim $HADOOP_PREFIX/etc/hadoop/hdfs-site.xml 

<configuration>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///home/hadoop/local/var/hadoop/hdfs/datanode</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///home/hadoop/local/var/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>file:///home/hadoop/local/var/hadoop/hdfs/namesecondary</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

[hadoop@PROC_141 bin]$ jps 12216 NameNode 12362 DataNode 13915 Jps 12574 SecondaryNameNode 13023 NodeManager 12895 ResourceManager

MtrS
粉丝 36
博文 1056
码字总数 704334
作品 0
榆林
私信 提问
加载中
请先登录后再评论。
CDH5: 使用parcels配置lzo

一、Parcel 部署步骤 1 下载: 首先需要下载 Parcel。下载完成后,Parcel 将驻留在 Cloudera Manager 主机的本地目录中。 2 分配: Parcel 下载后,将分配到群集中的所有主机上并解压缩。 3 激...

cloud-coder
2014/07/01
6.8K
1
Rails 测试工具--RailsBench

Railsbench是一款专门用于rails的测试工具。 1. 安装Railsbench # gem install railsbench # gem install gruff # gem install rmagick...

匿名
2013/02/17
352
0
Hbase的Windows访问接口库--libhbase4win

libhbase4win是基于Thrift的Hbase的Windows访问接口库,开发工具使用VS2010,Hadoop版本为1.1.0,Hbase版本为0.94.0,thrift版本0.9.0,执行编译需要boost和thrift支持。...

张子良
2013/03/06
764
0
c-string转换工具集合--stringencoders

c-string转换工具集合,比标准实现快2倍以上(如果有的话)。——该项目被Google Chrome使用。 包括以下C字符串转换工具 base64, standard base64, web/url safe, with configurable alphabe...

江斌
2012/11/07
4.8K
1
性能优化工具--Starfish

Starfish 是一个用于大数据分析的自调优系统,这是一托管 Github 上的项目,但目前访问是 404,不清楚为何。Starfish 相当于是一个性能优化工具,可让 Hadoop 用户和应用达到最佳性能,包含三...

匿名
2012/11/24
735
0

没有更多内容

加载失败,请刷新页面

加载更多

Azure Application Gateway(一)对后端 Web App 进行负载均衡

一,引言   今天,我们学习一个新的知识点-----Azure Application Gateway,通过Azure 应用程序网关为我么后端的服务提供负载均衡的功能。我们再文章头中大概先了解一下什么是应用程序网关...

osc_lc4icfkt
20分钟前
4
0
WoLai(我来) 注册码 ——国内版 notion 【笔记】

注册码: SQGYG23 ❤ W4T9PKP JLTHNJP KMTXK7P JDHKJEM KRJXX5P 6M7PPAP DEGLMG3 N3BZMRI 87BR22I GSIWGWP GNGBNTI QA8URIM UDUV9VM IHKJA7P MD9ZA3M 3XR67ZI TBUP9JX TI4TYMM 注册完了可以把......

osc_c05lkk3u
21分钟前
15
0
2020hdu多校第二场比赛及补题

这一场我们队只A了一题 1010 Lead of Wisdom 直接爆搜,但是T了好几发,剪了下枝 如果一个物品的a,b,c,d都比不上另外一个同种物品的a,b,c,d,那这个物品就可以直接淘汰掉了 #include<iostrea...

osc_usgpahnw
22分钟前
21
0
为什么Java有瞬态字段? - Why does Java have transient fields?

问题: 为什么Java有瞬态字段? 解决方案: 参考一: https://stackoom.com/question/3opS/为什么Java有瞬态字段 参考二: https://oldbug.net/q/3opS/Why-does-Java-have-transient-fields...

富含淀粉
22分钟前
16
0
轻松搭建CAS 5.x系列(6)-在CAS Server上增加OAuth2.0协议

概述说明 CAS Server默认搭建出来,客户端程序只能按照CAS自身的协议接入。CAS的强大在于,有官方的插件,可以支持其他的协议。本章节就让CAS Server怎么增加OAuth2.0的登录协议。 安装步骤 ...

osc_inj0cicw
24分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部