1.导出（mysql->hive） sqoop export --connect "jdbc:mysql://ip:port/condata?useUnicode=true&characterEncoding=utf-8" --username root --password Root@1234 --table mysql_table --e...

本文是整理使用sqoop过程中出现过的问题以及对应的解决方案。 1.Can't parse input data: '\N' 空字符串造成的 解决方式：--input-null-string "\\N" --input-null-non-string "\\N" 2. Can'...

配置文件的加载是在类AdminService中。 我们来看下前后端是如何调用的： 1. getEnv(前端) $scope.getEnv = function () { AdminService.env({}, function (env) { $scope.envStr = env.env; ...

System中的主要操作在AdminController和CacheController 一. 源码结构 前端源码： angular：下面为自定义方法： * Method type is PUT Additional Query parameter action=config is sent Th...

问题： 数据put一直报 table=daas:unicom_stat, attempt=11/35 failed=8ops, last exception: org.apache.hadoop.hbase.RegionTooBusyException: org.apache.hadoop.hbase.RegionTooBusyExce...

1.regionserver意外挂掉，regionserver日志没有明显异常，datanode有异常日志 S201:50010:DataXceiver error processing READ_BLOCK operation src: /10.0.5.218:56496 dst: /10.0.4.201:500...

前提：两个表进行inner join 1、map side join 效率比reduce side join高，不会产生shuffle 第一步：使用DistributeCache.addCacheFile将一个文件分布式的缓存到每一台机器本地，这一步要在j...

提交mr任务： hadoop jar <jar> [mainClass] args.. 如： hadoop jar hadoop-examples-1.0.0.jar wordcount /text/input /test/output 如果打的jar包设置了mainclass，那么在hadoop jar命令中...

order by 时，desc NULL 值排在首位，ASC时NULL值排在末尾 可以通过NULLS LAST、NULLS FIRST 控制 RANK() OVER (ORDER BY column_name DESC NULLS LAST)......

eg：统计1-12月的累积销量，即1月为1月份的值，2月为1.2月份值的和，3月为123月份的和，12月为1-12月份值的和 SELECT month,SUM(amount) month_amount, SUM( SUM(amount)) OVER (ORDER BY mo...

当两张表A和B在join时，条件筛选放在表join时的on上面和放在where上面得到的结果是不一样的。 如下创建两张表： A表结构以及数据： id name grade dept 1 lijie1 100 10 2 lijie2 90 20 3 .....

Hive中定义了两种锁的模式：共享锁（S）和排它锁（X），顾名思义，多个共享锁(S)可以同时获取，但是排它锁(X)会阻塞其它所有锁。 如果select一张表，这张表则会进入shared模式，增加、插入、...

数据样例： U3 A U1 B U2 A U4 A --结果： U1,U2 A,B U1,U3 A U1,U4 A U2,U3 A U2,U4 A U3,U4 A 要点：先按照用户分区排序，使用窗口函数做出标记，然后按照左表rank值小于右表rank值和两两用...

hive> select * from tmp.test_sum; OK 1 2 NULL 3 4 2 1 NULL select sum(a+b),sum(a)+sum(b) from tmp.test_sum; 结果：9 13 说明sum(a+b)是先a+b然后求和，那么a+b当中有一个是N......

Cube Build 过程中常见遇到的是性能问题，例如 SQL 查询过慢、Cube 构建时间过长甚至失败、 Cube 膨胀率过高等等。究其原因，大多数问题都是由于 Cube 设计不当造成的。因此，合理地进行 Cu...

作为数据仓库的利器，大部分的数仓工作者大部分时间都在写Hive Sql，根据作者经验整理出单纯的Hive Sql调优。 一. 普通场景下的sql优化 1. 列裁剪 由于数仓底层存储大都采用列式存储，如ORC...

前提已经安装了jobtypes 1.vim azkaban-exec-server/plugins/jobtypes/hive/private.properties hadoop.home=/home/app/hadoop-2.7.2 hive.home=/home/app/hive-2.1.1 jobtype.classpath=${h...

reportal插件安装分为web-server和exec-server两部分。 web-server端： 1.将解压出的文件夹下 ./viewer/reportal目录拷贝到$AZKABAN-WEB-SERVER/plugin/viewer目录下 2.将azkaban-hadoopsec...

安装步骤比较简单 1.cp dist\jobsummary\packages\azkaban-jobsummary-${git.tag}.tar.gz azkaban-web-server/plugins/viewer 2.tar -zxvf azkaban-jobsummary-${git.tag}.tar.gz 3.mv azka...

1.复制编译后的jobtype到exec服务的插件下， cp dist/jobtype/packages/azkaban-jobtype-${git.tag}.tar.gz /home/app/azkaban/azkaban-exec-server/plugins/jobtypes cd /home/app/azkaban...