##问题背景 Azkaban 是由 Linkedin 公司推出的一个批量工作流任务调度器,用于在一个工作流内以一个特定的顺序运行一组工作和流程。我们公司大数据集群的作业调度使用的就是 Azkaban。有同事反映移动端APP推荐某个栏位数据异常,经排查发现是线上的离线 Job 跑失败导致没有数据结果,去 Azkanban Web UI 界面一看,所有的 Hive Job 都失败了,都报同样一个错:
##问题解决
看报错信息就可以很清楚地知道错误原因是 Hive 在校验元数据的 Schema 时发现存在多个版本:
解决办法就是保留第一条记录,其余的全部删除掉。
delete from VERSION where VER_ID !=1