加载中
Hive中如何快速的复制一张分区表和数据

Hive中有时候会遇到复制表的需求,复制表指的是复制表结构和数据。 如果是针对非分区表,那很简单,可以使用CREATE TABLE new_table AS SELECT * FROM old_table; 那么如果是分区表呢? 首先...

2016/08/11 16:03
48
安装配置和使用hue遇到的问题汇总

问题1: error: command 'gcc' failed with exit status 1 make[2]: *** [/opt/hue/desktop/core/build/pycrypto-2.6.1/egg.stamp] 错误 1 make[2]: Leaving directory `/opt/hue/desktop/c...

2016/03/25 17:58
3.2K
大数据环境下互联网行业数据仓库/数据平台的架构之漫谈

一直想整理一下这块内容,既然是漫谈,就想起什么说什么吧。我一直是在互联网行业,就以互联网行业来说。 先大概列一下互联网行业数据仓库、数据平台的用途: 整合公司所有业务数据,建立统一...

2016/07/01 18:32
67
Hadoop日志存放路径详解

  Hadoop的日志有很多种,很多初学者往往遇到错而不知道怎么办,其实这时候就应该去看看日志里面的输出,这样往往可以定位到错误。Hadoop的日志大致可以分为两类:(1)、Hadoop系统服务输...

2016/07/17 17:05
49
Hadoop2.6集群动态添加和删除数据节点

如果Hadoop集群已经在运行了,这时可能需要动态的添加新的数据节点到Hadoop系统中去,或者将某个数据节点下线,由于业务的需要,集群是不能重启的。

2016/03/09 17:51
830
Hive中压缩设置 和 Hive文件存储格式及使用

Hive中压缩设置 和 Hive文件存储格式及使用 (一)Hive文件存储格式 上图左边为逻辑表,右边第一个为行式存储,第二个为列式存储。 行存储的特点: 查询满足条件的一整行数据的时候,列存储则需...

HBase-0.98.9搭建配置和问题总结

在已有Hadoop-2.6.0 + Zookeeper-3.4.6集群的基础上

2016/09/08 16:14
266
hadoop2.6.4 搭建HA集群之后不能自动切换namenode

在搭好HA集群之后,想测试一下集群的高可用性,于是先把active的namenode给停掉: hadoop-daemon.sh stop namenode 或者直接kill掉该节点namenode的对应进程也可。 但是通过hdfs haadmin -g...

2016/02/25 11:29
1K
手动运行脚本执行正常而放入crontab调用hadoop命令没有执行成功

需要每天定时上传爬取的数据文件到HDFS里,于是写了个脚本用crontab去调用。但是发现在脚本里hadoop的命令无法执行,在终端是没问题的。查看日志发现crontab也运行正常。 后来终于找到原因,...

2016/03/11 10:24
89
使用kylin踩过的坑

我的kylin.properties配置: ### SERVICE ### # Kylin server mode, valid value [all, query, job] kyin.server.mode=all # Optional information for the owner of kylin platform, it c...

2016/09/11 13:10
3K
浅谈开源大数据平台的演变

一说到开源大数据处理平台,就不得不说此领域的开山鼻祖Hadoop,它是GFS和MapReduce的开源实现。虽然在此之前有很多类似的分布式存储和计算平台,但真正能实现工业级应用、降低使用门槛、带动...

2016/07/01 18:26
25
从无到有、从小到大,今日头条大数据平台实践经历的那些坑

今日头条 (以下简称头条)成立于 2012 年,本文作者王烨在 2014 年加入,那时公司人员仅三百人。2014 年,对头条来说是很关键的阶段,当时 DAU 只有几百万的级别;到 2016 年,DAU 达到 78...

hive性能调优

limit限制调整 --因为使用limit语句时候,是先执行整个查询语句,然后再返回部分结果的 set hive.limit.optimize.enable=true; set hive.limit.row.max.size=10000; set hive.limit.optimiz...

2016/04/20 11:51
156
Apache Kylin在百度地图的实践

作者简介 王冬,百度地图数据智能组成员,北京理工大学计算机本硕毕业,2012加入Microstrategy,负责BI Server核心组件SQL Engine相关开发。并于2014年加入百度地图数据智能组,主要负责大数...

2016/09/11 11:01
145

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部