加载中
Hadoop日志存放路径详解

  Hadoop的日志有很多种,很多初学者往往遇到错而不知道怎么办,其实这时候就应该去看看日志里面的输出,这样往往可以定位到错误。Hadoop的日志大致可以分为两类:(1)、Hadoop系统服务输...

2016/07/17 17:05
48
重启Hadoop集群时no namenode to stop的异常

今天修改了hadoop集群的配置文件而需要重启集群,但是却报错如下: [hadoop@master ~]# stop-dfs.sh Stopping namenodes on [master] master1: no namenode to stop master2: no ...

2016/04/13 17:35
372
浅谈开源大数据平台的演变

一说到开源大数据处理平台,就不得不说此领域的开山鼻祖Hadoop,它是GFS和MapReduce的开源实现。虽然在此之前有很多类似的分布式存储和计算平台,但真正能实现工业级应用、降低使用门槛、带动...

2016/07/01 18:26
25
HBase-0.98.9搭建配置和问题总结

在已有Hadoop-2.6.0 + Zookeeper-3.4.6集群的基础上

2016/09/08 16:14
266
hadoop2.x常用端口、定义方法及默认端口

以hadoop2.2为例完全分布式最新高可靠安装文档 http://www.aboutyun.com/thread-7684-1-1.html hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比 http://www.aboutyun.com/thread...

2016/04/13 11:25
69
sqoop1.4.6 安装配置

需要注意的是sqoop的版本问题,针对hadoop1.x和hadoop2.x有不同的版本且不兼容

2016/04/22 13:04
149
手动运行脚本执行正常而放入crontab调用hadoop命令没有执行成功

需要每天定时上传爬取的数据文件到HDFS里,于是写了个脚本用crontab去调用。但是发现在脚本里hadoop的命令无法执行,在终端是没问题的。查看日志发现crontab也运行正常。 后来终于找到原因,...

2016/03/11 10:24
89
Hadoop2.6.3+Hive-1.2.1+mysql5.6.15 问题汇总

问题描述一: Caused by: java.sql.SQLException: Unable to open a test connection to the given database. JDBC url = jdbc:mysql://192.168.64.11:3306/hive?characterEncoding=UTF-8, u...

2016/02/22 12:50
136
脚本自动配置hadoop集群的ssh无密码登录

最近公司新搭建hadoop集群,配置了几台机器之后觉得很麻烦,尤其是ssh无密码登录,每个节点都要配置一遍,于是写了个脚本自动配置,以后集群要添加节点也很方便。 网上很多文章都是在root直接...

2016/02/24 15:04
194
Hadoop2.6集群动态添加和删除数据节点

如果Hadoop集群已经在运行了,这时可能需要动态的添加新的数据节点到Hadoop系统中去,或者将某个数据节点下线,由于业务的需要,集群是不能重启的。

2016/03/09 17:51
829
hadoop 2.6 的权限管理

未完成,待编辑。。。。

2016/04/01 16:07
536
安装配置和使用hue遇到的问题汇总

问题1: error: command 'gcc' failed with exit status 1 make[2]: *** [/opt/hue/desktop/core/build/pycrypto-2.6.1/egg.stamp] 错误 1 make[2]: Leaving directory `/opt/hue/desktop/c...

2016/03/25 17:58
3.2K
Hive中压缩设置 和 Hive文件存储格式及使用

Hive中压缩设置 和 Hive文件存储格式及使用 (一)Hive文件存储格式 上图左边为逻辑表,右边第一个为行式存储,第二个为列式存储。 行存储的特点: 查询满足条件的一整行数据的时候,列存储则需...

Hive中如何快速的复制一张分区表和数据

Hive中有时候会遇到复制表的需求,复制表指的是复制表结构和数据。 如果是针对非分区表,那很简单,可以使用CREATE TABLE new_table AS SELECT * FROM old_table; 那么如果是分区表呢? 首先...

2016/08/11 16:03
48
hive性能调优

limit限制调整 --因为使用limit语句时候,是先执行整个查询语句,然后再返回部分结果的 set hive.limit.optimize.enable=true; set hive.limit.row.max.size=10000; set hive.limit.optimiz...

2016/04/20 11:51
156
大数据分析界的“神兽”Apache Kylin有多牛?

本文作者:李栋,来自Kyligence公司,也是Apache Kylin Committer & PMC member,在加入Kyligence之前曾就职于eBay、微软。 1.Apache Kylin是什么? 在现在的大数据时代,越来越多的企业开始...

2016/08/17 14:58
188
Hadoop多节点测试环境快速部署半自动脚本

本半自动部署包括两个脚本hdp_ini.sh(环境初始化)和 hdp_bld.sh(创建hadoop)。 执行完第一个脚本,再检查手动调整一下。 然后根据第二个脚本里说明配置好ssh passwordless, 再执行第二个...

2016/02/23 11:37
45
Apache Kylin在百度地图的实践

作者简介 王冬,百度地图数据智能组成员,北京理工大学计算机本硕毕业,2012加入Microstrategy,负责BI Server核心组件SQL Engine相关开发。并于2014年加入百度地图数据智能组,主要负责大数...

2016/09/11 11:01
145
使用kylin踩过的坑

我的kylin.properties配置: ### SERVICE ### # Kylin server mode, valid value [all, query, job] kyin.server.mode=all # Optional information for the owner of kylin platform, it c...

2016/09/11 13:10
3K
执行 zkServer.sh status 的时候 报错

执行 zkServer.sh status 的时候 报了Error contacting service. It is probably not running错误

2016/02/19 14:00
81

没有更多内容

加载失败,请刷新页面

返回顶部
顶部