文档章节

Hadoop CDH3u6 配置文件

 一脸坏笑
发布于 2014/07/16 19:55
字数 148
阅读 12
收藏 0
# JAVA
export JAVA_HOME=/usr/lib/jdk1.7.0_60
export JRE_HOME=/usr/lib/jdk1.7.0_60/jre 
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib 
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

core-site.xml

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://cdh0:8020</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/data/dfs/${user.name}</value>
        </property>
</configuration>

hdfs-site.xml

<configuration>
        <property>
                <name>dfs.name.dir</name>
                <value>/data/dfs/name</value>
        </property>
        <property>
                <name>dfs.data.dir</name>
                <value>/data/dfs/dn</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

mapred-site.xml

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>cdh0:8021</value>
        </property>
        <property>
                <name>mapred.local.dir</name>
                <value>/data/mapred/local</value>
        </property>
</configuration>

masters

cdh0

slaves

cdh1


同步小脚本

#!/bin/bash
cd /etc/hadoop-0.20/conf.cluster
scp masters slaves hdfs-site.xml core-site.xml mapred-site.xml root@cdh1:/etc/hadoop-0.20/conf.cluster/


© 著作权归作者所有

粉丝 0
博文 14
码字总数 5708
作品 0
杭州
私信 提问
hadoop伪分布式需修改的配置文件(5个)

Hadoop主要的配置文件 Hadoop的配置文件都放在/HADOOP_HOME/conf Hadoop配置文件 文件名称 格式 描述 hadoop-env.sh Bash脚本 记录Hadoop要用的环境变量 core-site.xml Hadoop配置XML Hadoo...

周东尧
2018/01/25
76
0
使用Sqoop实现HDFS与Mysql互转

简介 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入...

疯狂的艺术家
2013/05/10
9.1K
1
ella监控hbase问题

@binma85 你好,想跟你请教个问题: 我准备使用ella监控hbase,但是部署好之后,启动后发现我使用的hbase(cdh3u3和cdh3u6)版本jmx里没有jmx?qry=hadoop:service=Master,name=Master这一项,公...

三米一丈
2013/11/08
623
2
hadoop 0.20.2 cdh3u6 运行单节点任务卡死,但不报错,问题分析。

背景: 单节点运行hadoop所有组件(namenode,datanode,jobtracker,tasktarcker等)运行任务后,所有任务卡死,无法继续运行。使用oozie管理job。 分析: 查看hadoop日志并没有发现错误,因此...

parker
2016/02/19
156
1
【hadoop】6.hadoop配置文件

简介 通过本教程您可以学习到 hadoop配置文件的组成; hadoop配置文件的主要内容。 Hadoop配置文件分两类: 默认配置文件 自定义配置文件 只有用户想修改某一默认配置值时,才需要修改自定义...

落花时节又逢卿
01/03
42
0

没有更多内容

加载失败,请刷新页面

加载更多

SpringBoot-MVC RequestBody中LocalDateTime的自适应配置

请求的json报文中可能会出现 一下几种: ['2019-01-01','2019-01-01 12:03:34','20190101120334'] 但是接收的Request实体类日期字段是LocalDateTime类型 LocalDateTime applyDate; 希望的情况......

汉堡OSC
20分钟前
2
0
小招喵所在的国家正处于怪兽入侵的战场中,这个国家一共有n+1个城市

import java.util.Arrays; import java.util.Scanner; public class test3 { public static long max=0;public static void main(String[] args) { Scanner sc = new Scanner(System.i......

南桥北木
21分钟前
2
0
活动策划思维导图模板分享,怎样绘制思维导图操作方法介绍

对于一场活动的举办可以事先使用思维导图简略的将整个过程进行总结归纳使用,这样清晰的思维导图即利于工作的进行,也可以清晰明了了熟悉整个过程,下面是为大家分享的几款活动策划思维导图模...

干货趣分享
28分钟前
3
0
Android高级xml布局之输入框EditText设计

今天给大家介绍一下如何实现一款简约时尚的安卓登陆界面。大家先看一下效果图 当用户输入时动态出现删除按钮 现在先罗列一下技术点: 1.如何使用圆角输入框和按钮背景 2.如何实现“手机号”、...

shzwork
52分钟前
3
0
RxJava进行单元测试的方式

@Test public void completeTask_retrievedTaskIsComplete() { // Given a new task in the persistent repository final Task newTask = new Task(TITLE, ""); ......

SuShine
54分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部