加载中
YARN的内存和CPU配置优化

Hadoop YARN同时支持内存和CPU两种资源的调度,本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器,应该考虑到集群里面每一台机子的计算资源,然后根据application申请的资源...

2017/03/28 14:46
104
删除hdfs中大小为0的文件

发现hive表的目录下有很多大小为0的文件,怀疑可能是数据偏移或者reduce生成过多造成的。简单的解决方法是跑hive脚本前设置mapred.reduce.tasks=1试试。 如果解决不了或者找不到原因,还是要...

2017/03/09 16:14
32
Hadoop日志存放路径详解

  Hadoop的日志有很多种,很多初学者往往遇到错而不知道怎么办,其实这时候就应该去看看日志里面的输出,这样往往可以定位到错误。Hadoop的日志大致可以分为两类:(1)、Hadoop系统服务输...

2016/07/17 17:05
49
浅谈开源大数据平台的演变

一说到开源大数据处理平台,就不得不说此领域的开山鼻祖Hadoop,它是GFS和MapReduce的开源实现。虽然在此之前有很多类似的分布式存储和计算平台,但真正能实现工业级应用、降低使用门槛、带动...

2016/07/01 18:26
25
重启Hadoop集群时no namenode to stop的异常

今天修改了hadoop集群的配置文件而需要重启集群,但是却报错如下: [hadoop@master ~]# stop-dfs.sh Stopping namenodes on [master] master1: no namenode to stop master2: no ...

2016/04/13 17:35
372
hadoop2.x常用端口、定义方法及默认端口

以hadoop2.2为例完全分布式最新高可靠安装文档 http://www.aboutyun.com/thread-7684-1-1.html hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比 http://www.aboutyun.com/thread...

2016/04/13 11:25
69
hadoop 2.6 的权限管理

未完成,待编辑。。。。

2016/04/01 16:07
536
手动运行脚本执行正常而放入crontab调用hadoop命令没有执行成功

需要每天定时上传爬取的数据文件到HDFS里,于是写了个脚本用crontab去调用。但是发现在脚本里hadoop的命令无法执行,在终端是没问题的。查看日志发现crontab也运行正常。 后来终于找到原因,...

2016/03/11 10:24
89
Hadoop2.6集群动态添加和删除数据节点

如果Hadoop集群已经在运行了,这时可能需要动态的添加新的数据节点到Hadoop系统中去,或者将某个数据节点下线,由于业务的需要,集群是不能重启的。

2016/03/09 17:51
829
hadoop2.6.4 搭建HA集群之后不能自动切换namenode

在搭好HA集群之后,想测试一下集群的高可用性,于是先把active的namenode给停掉: hadoop-daemon.sh stop namenode 或者直接kill掉该节点namenode的对应进程也可。 但是通过hdfs haadmin -g...

2016/02/25 11:29
1K
脚本自动配置hadoop集群的ssh无密码登录

最近公司新搭建hadoop集群,配置了几台机器之后觉得很麻烦,尤其是ssh无密码登录,每个节点都要配置一遍,于是写了个脚本自动配置,以后集群要添加节点也很方便。 网上很多文章都是在root直接...

2016/02/24 15:04
194
Hadoop多节点测试环境快速部署半自动脚本

本半自动部署包括两个脚本hdp_ini.sh(环境初始化)和 hdp_bld.sh(创建hadoop)。 执行完第一个脚本,再检查手动调整一下。 然后根据第二个脚本里说明配置好ssh passwordless, 再执行第二个...

2016/02/23 11:37
45
hadoop集群时间同步

测试集群hosts: 192.168.64.11 master1 192.168.64.12 master2 192.168.64.13 slave1 1。对master1时间服务器进行操作: 检查时间服务是否安装 # rpm -q ntp ntp-4.2.4p8-2.el6.x86_64 // 这...

2016/02/23 10:53
320
Hadoop2.6.3+Hive-1.2.1+mysql5.6.15 问题汇总

问题描述一: Caused by: java.sql.SQLException: Unable to open a test connection to the given database. JDBC url = jdbc:mysql://192.168.64.11:3306/hive?characterEncoding=UTF-8, u...

2016/02/22 12:50
136
执行 zkServer.sh status 的时候 报错

执行 zkServer.sh status 的时候 报了Error contacting service. It is probably not running错误

2016/02/19 14:00
81

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部