加载中
sqoop基本操作

1.导出(mysql->hive) sqoop export --connect "jdbc:mysql://ip:port/condata?useUnicode=true&characterEncoding=utf-8" --username root --password Root@1234 --table mysql_table --e...

2019/06/20 21:58
70
sqoop faq

本文是整理使用sqoop过程中出现过的问题以及对应的解决方案。 1.Can't parse input data: '\N' 空字符串造成的 解决方式:--input-null-string "\\N" --input-null-non-string "\\N" 2. Can'...

2019/06/20 21:49
24
Kylin配置文件加载源码解读

配置文件的加载是在类AdminService中。 我们来看下前后端是如何调用的: 1. getEnv(前端) $scope.getEnv = function () { AdminService.env({}, function (env) { $scope.envStr = env.env; ...

2019/06/20 09:38
155
Kylin页面System操作源码解读

System中的主要操作在AdminController和CacheController 一. 源码结构 前端源码: angular:下面为自定义方法: * Method type is PUT Additional Query parameter action=config is sent Th...

2019/06/20 09:24
890
Hbase-put调优

问题: 数据put一直报 table=daas:unicom_stat, attempt=11/35 failed=8ops, last exception: org.apache.hadoop.hbase.RegionTooBusyException: org.apache.hadoop.hbase.RegionTooBusyExce...

2019/06/19 22:26
211
CDH之HBase集群FAQ

1.regionserver意外挂掉,regionserver日志没有明显异常,datanode有异常日志 S201:50010:DataXceiver error processing READ_BLOCK operation src: /10.0.5.218:56496 dst: /10.0.4.201:500...

2019/06/19 22:22
26
mr程序实现map side join和reduce side join原理

前提:两个表进行inner join 1、map side join 效率比reduce side join高,不会产生shuffle 第一步:使用DistributeCache.addCacheFile将一个文件分布式的缓存到每一台机器本地,这一步要在j...

2019/06/19 22:16
46
hadoop shell命令随手记

提交mr任务: hadoop jar <jar> [mainClass] args.. 如: hadoop jar hadoop-examples-1.0.0.jar wordcount /text/input /test/output 如果打的jar包设置了mainclass,那么在hadoop jar命令中...

2019/06/19 22:13
32
hive-order by 时null值处理

order by 时,desc NULL 值排在首位,ASC时NULL值排在末尾 可以通过NULLS LAST、NULLS FIRST 控制 RANK() OVER (ORDER BY column_name DESC NULLS LAST)......

2019/06/19 22:01
424
HIVE-计算累计和

eg:统计1-12月的累积销量,即1月为1月份的值,2月为1.2月份值的和,3月为123月份的和,12月为1-12月份值的和 SELECT month,SUM(amount) month_amount, SUM( SUM(amount)) OVER (ORDER BY mo...

2019/06/19 21:58
72
hive表在join on上的过滤和在where上过滤的对比

当两张表A和B在join时,条件筛选放在表join时的on上面和放在where上面得到的结果是不一样的。 如下创建两张表: A表结构以及数据: id name grade dept 1 lijie1 100 10 2 lijie2 90 20 3 .....

2019/06/19 21:52
70
hive锁

Hive中定义了两种锁的模式:共享锁(S)和排它锁(X),顾名思义,多个共享锁(S)可以同时获取,但是排它锁(X)会阻塞其它所有锁。 如果select一张表,这张表则会进入shared模式,增加、插入、...

2019/06/19 21:40
164
统计不同用户两两之间出现的相同产品

数据样例: U3 A U1 B U2 A U4 A --结果: U1,U2 A,B U1,U3 A U1,U4 A U2,U3 A U2,U4 A U3,U4 A 要点:先按照用户分区排序,使用窗口函数做出标记,然后按照左表rank值小于右表rank值和两两用...

2019/06/19 21:36
34
hive-sum(a+b)与sum(a)+sum(b)的区别

hive> select * from tmp.test_sum; OK 1 2 NULL 3 4 2 1 NULL select sum(a+b),sum(a)+sum(b) from tmp.test_sum; 结果:9 13 说明sum(a+b)是先a+b然后求和,那么a+b当中有一个是N......

2019/06/19 21:28
45
Kylin 优化

Cube Build 过程中常见遇到的是性能问题,例如 SQL 查询过慢、Cube 构建时间过长甚至失败、 Cube 膨胀率过高等等。究其原因,大多数问题都是由于 Cube 设计不当造成的。因此,合理地进行 Cu...

2019/06/19 20:26
40
HIVE SQL优化

作为数据仓库的利器,大部分的数仓工作者大部分时间都在写Hive Sql,根据作者经验整理出单纯的Hive Sql调优。 一. 普通场景下的sql优化 1. 列裁剪 由于数仓底层存储大都采用列式存储,如ORC...

2019/06/19 20:05
51
azkaban3.x exec-server之hive

前提已经安装了jobtypes 1.vim azkaban-exec-server/plugins/jobtypes/hive/private.properties hadoop.home=/home/app/hadoop-2.7.2 hive.home=/home/app/hive-2.1.1 jobtype.classpath=${h...

2017/08/16 23:30
81
azkaban3.x 之reportal插件

reportal插件安装分为web-server和exec-server两部分。 web-server端: 1.将解压出的文件夹下 ./viewer/reportal目录拷贝到$AZKABAN-WEB-SERVER/plugin/viewer目录下 2.将azkaban-hadoopsec...

azkaban3.x web-server之 jobsummary插件安装

安装步骤比较简单 1.cp dist\jobsummary\packages\azkaban-jobsummary-${git.tag}.tar.gz azkaban-web-server/plugins/viewer 2.tar -zxvf azkaban-jobsummary-${git.tag}.tar.gz 3.mv azka...

azkaban3.x exec-server之jobtype

1.复制编译后的jobtype到exec服务的插件下, cp dist/jobtype/packages/azkaban-jobtype-${git.tag}.tar.gz /home/app/azkaban/azkaban-exec-server/plugins/jobtypes cd /home/app/azkaban...

2017/08/16 23:20
287

没有更多内容

加载失败,请刷新页面

返回顶部
顶部