加载中
分布式airflow下的日志中文乱码问题

[toc] 分布式airflow下的日志中文乱码问题 背景 我们的airflow部署方式为分布式的,在主节点上部署了webserver,worker节点部署了worker和日志服务器,并没有将日志写入远程服务器,所以任务...

分布式airflow搭建(不使用git或共享存储实现dag目录同步——xsync)

集群资源分配 \ master1 master2 slave1 slave2 slave3 组件 scheduler, webserver, flower, airflow-scheduler-failover-controller webserver, airflow-scheduler-failover-controller wor...

hue安装,hive hdfs oozie集成

[toc] 环境需求 jdk maven git 第三方依赖 yum install -y gcc-c++ libxml2-devel.x86_64 libxslt-devel.x86_64 python-devel openldap-devel asciidoc cyrus-sasl-gssapi openssl-devel my...

07/04 14:18
30
airflow使用mysql数据库,LocalExecutor并发调度

mysql-airflow 在mysql上执行 create database airflow; —— 创建数据库 GRANT all privileges on airflow.* TO 'airflow'@'%' IDENTIFIED BY '123456'; —— 将数据库airflow的所有权限授权...

airflow单机版搭建记录——不使用mysql,redis

[toc] airflow单机版搭建记录 环境准备 Python(pip)——airflow由python编写 安装airflow pip install apache-airflow 环境变量配置 本人是在root用户下执行,可自行选择 export AIRFLOW_HOM...

分布式调用链调研(pinpoint,skywalking,jaeger,zipkin等对比)

1. APM简述 APM (Application Performance Management)是对企业的应用系统进行实时监控,它是用于实现对应用程序性能管理和故障管理的系统化的解决方案。 2.APM主要解决的问题: 集中式度量...

mongoTemplate count index(索引)

spring整合mongo给出的mongoTemplate在进行count的时候是不使用索引的(find可以)!!!!!虽然mongo执行语句时会自动帮我们进行优化,但可能并不是我们想要使用的那个索引 表字段 加上索引...

2018/12/06 15:01
132
记在k8s的pod上使用apache的commons-net:ftp功能时,ftp一直上传文件失败

在k8s的pod上使用apache的commons-net:ftp功能时,一直显示: 即上传文件失败,但是在本地环境进行上传时却又显示上传成功,让人十分不解。在网上搜索了一下ftp的一些资料发现ftp共有两种模式...

2018/09/25 15:38
47
httpclient4.5.5 PoolingHttpClientConnectionManager

今天在做腾讯网址安全检测API接入时用到了org.apache.httpcomponents.httpclient-4.5.5这个包,当初在main方法里测试的时候发现从请求到响应大概要用0.6s的时间,但是在springboot应用里面使...

jackson序列化 属性 get 字段不对应

在jackson序列化对象时,由于其在源码中增加了一个可见性判断,会默认只序列化public修饰的字段和方法,造成一个可能存在的问题是你字段明明是CId,但是自动生成的get方法是getCId的话,jacks...

2018/08/15 16:15
58
记centos7.2+上tomcat启动成功的监控脚本和nginx可配置多个域名

监控脚本为: #!/bin/sh DATE=$(date +"%Y-%m-%d") tail -f /dir(你自己tomcat的位置)/catalina.out.$DATE|sed "/Server/{/startup/q}" echo '启动成功' Nginx server配置多个域名 参考地址:...

expect(spawn) 自动化git提交和scp拷贝---centos(linux)

在进行SCP文件拷贝中,往往需要进行用户密码的输入,即用户交互。若采用自动化脚本的方式进行,则可用以下方式 #!/usr/bin/expect # 设置参数 set src [lindex $argv 0] set dest [lindex $a...

2018/07/18 16:57
137
日志无报错,项目无法访问404(jenkins启动用户权限问题)

若出现日志无报错,但是项目就是报404问题 请检查jenkins的启动权限问题(root,hadoop) 修改jenkins启动角色 以centOS系统为例,记录下修改Jenkins以root用户运行的方法。 修改Jenkins配置文...

2018/07/06 10:57
227
记linux使用minikube创建k8s集群步骤及部分坑。。。(不用翻墙)

1.准备工作 Linux所使用驱动 VirtualBox 或 KVM NOTE: Minikube 也支持 --vm-driver=none 选项来在本机运行 Kubernetes 组件,这时候需要本机安装了 Docker 由于minikube复用了docker-machin...

2018/02/27 11:09
622
记MAVEN技巧 用maven坐标从公司nexus私有库上获取所在存储位置

请省略公司私有库地址。。只需改变坐标即可,所用截图来自postman,如有不了解的请自行百度其作用

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部