加载中
hdfs配置多块磁盘

hdfs配置多块磁盘

2016/12/26 20:13
3.2K
yarn任务调度策略

yarn任务调度策略

2016/11/01 11:38
1.4K
hadoop权限管理

hdfs文件系统权限 acl kerberos

2016/09/28 16:19
141
hdfs java api访问hadoop HA

里面的每一项配置,都可以到配置文件里面找到,scala可以直接调用java api,所以下面使用scala写的。 package com.bigdata.util import org.apache.hadoop.conf._ import org.apache.hadoop....

2016/09/02 09:58
623
cloudera:修改各组件的用户为统一的用户

使用cloudera manager安装的组件,每一个组件都有一个用户,这样的处理方案确实更安全,如果不是有绕不过去的坎,不推荐改成统一的一个用户,因为这样改了用户除了不安全,还可能导致集群出现...

2016/08/16 17:30
353
hdfs命令

使用:hdfs --help,hdfs dfs -help查看命令帮助,很详细。 1.hdfs dfs,是最常用的命令了,跟linux的命令很相似,包含所有操作hdfs目录的命令 hdfs dfs -put file1 /dir/ 将linux文件系统的...

2016/07/22 11:47
139
cloudera:CM使用笔记

1.cloudera manager软件安装目录是在/opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p0.11/lib中,其余的配置,命令其实都是来自这里和在这里生效的。 2.cloudera manager配置分发就是把新配置...

2016/06/21 15:37
440
cloudera manager报错“客户端配置 (id=3) 已使用 1 退出,而预期值为 0”

在cloudera manager部署客户端配置的这个步骤中,总是报错:客户端配置 (id=1) 已使用1退出,而预期值为 0。 1.首先我们需要找到此处日志目录,并不是/opt/cm-5.5.0/log。针对使用tar.gz包进...

2016/06/21 10:00
4.3K
yarn的container详解

Container是YARN中资源的抽象,它封装了某个节点上一定量的资源(CPU和内存两类资源),用来启动运行task。 当启动app时,app就就会向ResourceManager申请启动一个task,ResourceManager就会...

2016/06/08 16:00
5.5K
FileSystem.get从缓存cache中获得连接导致的问题

FileSystem.get从缓存cache中获得连接,导致Filesystem closed,DFSClient.checkOpen,多线程方法FileSystem之后,close报错等等问题。 源码很重要,查看源码便知道的清清楚楚了。多线程使用...

2016/05/03 14:06
1.2W
测试hadoop集群是否安装成功:网页监控页面和提交job运行

测试hadoop集群是否安装成功:网页监控页面和提交job运行,默认版本是hadoop2.6.0

2016/03/02 11:35
3.2K
yarn命令

熟悉bin/yarn命令

2015/09/14 15:11
1.2K
hadoop配置读取

hadoop配置读取

2015/08/24 15:34
236
hadoop2.x的配置二

hadoop2.x的配置,此篇文章的默认配置对应hadoop2.6.0版本。 yarn HA在hadoop2.4版本之后才具有,所以配置yarn HA的时候一定要注意版本。

2015/08/24 11:08
2.2K
hadoop2.x的配置一

hadoop2.x的配置,此篇文章的默认配置对应hadoop2.6.0版本。

2015/08/05 18:20
1.2K

没有更多内容

加载失败,请刷新页面

返回顶部
顶部