加载中
hdfs配置多块磁盘

hdfs配置多块磁盘

2016/12/26 20:13
1.5K
maven将依赖包一起打入jar包中

maven将依赖包一起打入jar包中

2016/12/09 16:34
3.7K
yarn任务调度策略

yarn任务调度策略

2016/11/01 11:38
533
hadoop权限管理

hdfs文件系统权限 acl kerberos

2016/09/28 16:19
68
hdfs java api访问hadoop HA

里面的每一项配置,都可以到配置文件里面找到,scala可以直接调用java api,所以下面使用scala写的。 package com.bigdata.util import org.apache.hadoop.conf._ import org.apache.hadoop....

2016/09/02 09:58
302
cloudera:修改各组件的用户为统一的用户

使用cloudera manager安装的组件,每一个组件都有一个用户,这样的处理方案确实更安全,如果不是有绕不过去的坎,不推荐改成统一的一个用户,因为这样改了用户除了不安全,还可能导致集群出现...

2016/08/16 17:30
132
hdfs命令

使用:hdfs --help,hdfs dfs -help查看命令帮助,很详细。 1.hdfs dfs,是最常用的命令了,跟linux的命令很相似,包含所有操作hdfs目录的命令 hdfs dfs -put file1 /dir/ 将linux文件系统的...

2016/07/22 11:47
76
cloudera:CM使用笔记

1.cloudera manager软件安装目录是在/opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p0.11/lib中,其余的配置,命令其实都是来自这里和在这里生效的。 2.cloudera manager配置分发就是把新配置...

2016/06/21 15:37
136
cloudera manager报错“客户端配置 (id=3) 已使用 1 退出,而预期值为 0”

在cloudera manager部署客户端配置的这个步骤中,总是报错:客户端配置 (id=1) 已使用1退出,而预期值为 0。 1.首先我们需要找到此处日志目录,并不是/opt/cm-5.5.0/log。针对使用tar.gz包进...

2016/06/21 10:00
2.7K
cloudera manager安装使用

参考文章地址:离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程 参考文章一步一步安装,有以下几个注意点 准备工作:系统环境搭建 1.在准备工作系统环境搭建6步都不能少,但不必参照...

2016/06/12 15:02
324
yarn集群上内存和cpu调优和设置

转载自:YARN的内存和CPU配置 翻译自:Determine YARN and MapReduce Memory Configuration Settings 根据文章上的计算方式,来设置下面这个属性的值,调整到最佳状态。注意很多情况下,单个...

2016/06/08 17:25
1.2K
yarn的container详解

Container是YARN中资源的抽象,它封装了某个节点上一定量的资源(CPU和内存两类资源),用来启动运行task。 当启动app时,app就就会向ResourceManager申请启动一个task,ResourceManager就会...

2016/06/08 16:00
1.9K
FileSystem.get从缓存cache中获得连接导致的问题

FileSystem.get从缓存cache中获得连接,导致Filesystem closed,DFSClient.checkOpen,多线程方法FileSystem之后,close报错等等问题。 源码很重要,查看源码便知道的清清楚楚了。多线程使用...

2016/05/03 14:06
3.7K
测试hadoop集群是否安装成功:网页监控页面和提交job运行

测试hadoop集群是否安装成功:网页监控页面和提交job运行,默认版本是hadoop2.6.0

2016/03/02 11:35
941
yarn命令

熟悉bin/yarn命令

2015/09/14 15:11
1K
HDFS HA和Federation

hadoop配置HA,如果只需要配置一个hdfs集群,那么配置一个就行了。

2015/08/27 17:13
115
HDFS HA

HDFS-HA

2015/08/27 16:59
50
hadoop配置读取

hadoop配置读取

2015/08/24 15:34
100
hadoop2.x的配置二

hadoop2.x的配置,此篇文章的默认配置对应hadoop2.6.0版本。 yarn HA在hadoop2.4版本之后才具有,所以配置yarn HA的时候一定要注意版本。

2015/08/24 11:08
963
hadoop2.x的配置一

hadoop2.x的配置,此篇文章的默认配置对应hadoop2.6.0版本。

2015/08/05 18:20
836

没有更多内容

加载失败,请刷新页面

返回顶部
顶部