加载中
airflow CeleryExecutor模式报错

这几天运行airflow发现运行的Task总是报错,并且在页面上没有报错信息: 查看Schedule的报错日志,没有什么头绪 查看本地Task运行日志,没有对应的文件。 说明:Task根本没有运行,运行命令t...

airflow安装docker版

1.安装docker https://my.oschina.net/ilovetao/blog/3034502 2.docker安装airflow参考: https://github.com/puckel/docker-airflow SequentialExecutor 执行: docker run -d -p 8080:8080...

Centos6安装airflow

安装Python3 ./configure --prefix=/usr/local/python360 make && make install #备份python 和pip mv /usr/bin/python /usr/bin/python_bak mv /usr/bin/pip/usr/bin/pip_bak #添加Python3...

2018/05/04 16:24
672
Kettle执行SHELL脚本的问题

你在xshell终端执行程序的时候,不会报错,而用Kettle远程执行SHELL就报错。 比如我执行的报这样的错: 原因是: 我centos6装python3的时候sqlite3有问题,然后我重新装上最新的,并设置了环...

2018/01/26 11:51
4K
centos ModuleNotFoundError: No module named '_sqlite3'

出现这个错误,可能是安装python的时候,没有找到sqlite的安装目录或者没有安装。 对于python3: 1.如果安装了,则找出安装目录,并把环境变量配置后, 添加环境变量:vi /etc/profile expor...

ubuntu14安装ambari2.6

1.修改hosts和hostname vim /etc/hosts 10.0.42.192 master 10.0.85.78 slave1 10.0.85.92 slave2 #替换国外IP,否则下载不了 219.76.4.4 s3.amazonaws.com 219.76.4.4 github-cloud.s3.ama...

2017/12/29 18:44
583
Kettle7.0 报错database type with plugin id [HIVE2] couldn't be found!

问题描述:java调用trans的时候,如果在数据类型加上Hive2,则会出现报错 database type with plugin id [HIVE2] couldn't be found! 数据类型配置如图: 查了好多资料,没找到如何解决,所以...

2017/11/21 16:13
591
Hive字符编码

实验过程中发现把整个数据库编码改成latin1或者Utf8都不行,只有把整个数据库设定为latin1而把要存储中文的数据表的编码设定为UTF8才能够解决。 第一步:修改表字段的字符编码为utf8 修改字段...

2017/05/23 10:40
2.3K
Airflow OracleOperator使用

打开界面: 创建Oracle源: 如果不填红框的内容则会报错,oracle ora-12504:tns 监听程序在connect_data中未获得service _name 创建OracleOperator t = OracleOperator( task_id = 'test', ...

centos6安装最新docker

1.升级系统内核 查看内核版本: uname -r 2.6.32-573.8.1.el6.x86_64 导入elrepo的key: rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org curl 报ssl错误,解决办法: yum upda...

Flask-sqlalchemy 转JSON

目前Flask-sqlalchemy查询出来的值 一般是对象或者数组包着对象,如果想转json还很麻烦,目前有一种方法。 在Models里添加to_json()方法: class Test(db.Model): __tablename__ = 'test' i...

2018/10/18 14:57
1K
JumpMind Metl简单例子

Metl,一个简洁的基于Web的系统集成平台,可以通过Web服务实现几种不同风格的数据集成,包括基于文件的提取/转换/加载(ETL),消息传递和远程过程调用。 Github: https://github.com/JumpM...

2018/05/10 18:59
219
Airflow使用注意

from airflow import DAG from airflow.operators.bash_operator import BashOperator from datetime import datetime, timedelta import time default_args = { 'owner': 'womaibi', ...

2018/05/10 11:30
187
Ambari更改HDFS的Datanode和Namenode路径发生的错误

设置的路径 重启Restart History Server会报错: 查看日志后发现是如下错误: 错误的原因是: 新路径下的Namenode和Datanode的clusterID不一致导致的,只要把Namenode的覆盖Datanode的clust...

2018/03/20 09:11
169
Kettle优化-流查询

位置: 流查询介绍: 流查询有些类似于左连接。 如图:流查询有一个主流程(表输入),次流程(表输入2) 匹配的时候:表输入的数据不变,表输入2的数据和表输入的进行匹配,如果表输入2有多...

2017/11/21 16:37
133
Kettle7 java 远程执行Trans/Job

源码: 远程执行Trans: public static void main(String[] args){ String filename="E:\\Work\\JOB\\tag更新\\temp_tag2customer.ktr"; try{ KettleEnvironment.init(); ......

2017/11/21 15:49
573
Kylin和Hive 取每组的TOP1 之间的区别

采用 row_number() over 函数,但是Hive和kylin之间写法是有区别的 Hive的取数是这样的: select t.customerid,t.tagid from (select *,row_number() over (partition by customerid,tagid ...

2017/11/16 11:52
59
Kettle数据源-hive2数据源

连接名称:随意 主机名称:hive安装IP 数据库名称:默认default 端口号:默认10000 用户名和密码:对应的是hive安装的Linux用户的用户和密码,写错或者不写会导致写入权限不足。...

2017/11/13 14:35
146
hive日常报错之 serious problem serious problem,block 丢失

https://community.hortonworks.com/questions/71589/after-upgrading-to-hdp-253-using-beeline-with-a-si.html 报错如下 参考链接如上 感觉是 orc的文件优化导致的这个错误 解决办法是 se...

2017/11/13 14:22
384
【解决】处于ACCEPTED状态不runnin…

Oozie提交pyspark任务后yarn 8088一直处于ACCEPTED状态不运行running 这个问题困扰了我一个周末……一个周末……(然后其实后面又困扰了一周) 而且重启注销,不懂是不是因为ubuntu kylin不稳...

2017/11/08 15:42
157

没有更多内容

加载失败,请刷新页面

返回顶部
顶部