加载中
数据抽取工具调研

数据抽取简述 数据抽取是从数据源中抽取数据的过程。实际应用中,数据源较多采用的是关系数据库。从数据库中抽取数据一般有以下几种方式。 (1)全量抽取 全量抽取类似于数据迁移或数据复制,它...

Airflow 在 python operator 下如何使用execution_date变量

Airflow 在 python operator 下如何使用execution_date变量呢?不复杂,但是要跳出宏变量的圈,不要老想着用下面这种宏实现就行了 thedate = '{{(execution_date - macros.timedelta(days=1...

2019/09/16 22:51
260
Spring Boot MyBatis 使用 Redis 作为二级缓存遇到的问题

在 Spring Boot MyBatis使用 Redis 作为二级缓存的时候,遇到了一个令人诡异的问题,在 MyBatis 从 Redis 中取出缓存并反序列的时候总是报这个错误 org.springframework.web.util.NestedSer...

Intellij idea VisualVM Launcher 插件在 java 11 无法使用的问题

在 idea 中安装了 VisualVM Launcher 插件,简单配置了下然后发现不管我怎么点就是不来那个熟悉的 VisualVM 窗口。 初学 java 的我一脸懵逼,以为 idea 出了问题或者 VisualVM Launcher 插件...

superset nginx 反向代理配置遇到的一个小问题

在用 nginx 配置 superset 反向代理,并且使用 map 通过 cookie 分流的时候,遇到十分诡异的问题,访问主页的时候总是被重定向到 upstream 同名的域名 upstream release { server 127.0.0.1:...

2019/08/15 16:10
2.2K
Golang 使用 sort 对切片排序需要注意的一个点

最近用 sort.Slice 方法对 slice 做排序功能的时候遇到了一个小坑 先看一段代码 package main import ( "fmt" "sort" ) func main() { people := []struct { Name string Age int }{ {"Alice...

2019/07/29 20:30
705
spark 通过 jdbc 写入 clickhouse 需要注意的点

最近在用 spark 通过 jdbc 写入 clickhouse 的时候,遇到一些坑,这里分享下,造福人民群众。 一个 WARN WARN JdbcUtils: Requested isolation level 1, but transactions are unsupported 这...

Go 重构 PHP 项目的一个神器 jsoniter

Go 和 PHP 通信是痛苦的,PHP 这个神奇的 json ,各种奇奇怪怪的 json 都能生成出来,如果一开始就奇怪直接用interface也就算了,最可怕那种是类型会变。 在用 Go 重构 PHP 项目的时候,两个...

2018/11/06 13:28
2K
Go Gin 框架 curl -I 返回 404 的问题

在使用 Go 的 Gin Web 框架的时候,发现一个有趣的问题,curl 一个 router 是正常的,但是加上 -I 参数就 404 了,就像下面这样 package main import "github.com/gin-gonic/gin" func main...

2018/11/01 12:53
5.2K
Go 的 IDE Goland 性能优化

最近在使用 Goland 写代码的时候,感觉 Goland 明显有点卡,快捷键呼出 Package structure 经常半天才响应。 这这这……这不应该是我这 i7-7700 + 32G 内存 + 256G SSD 黑苹果该有的状态,一...

2018/10/31 12:40
2K
python 实现 jumpserver 自动登录

现在很多团队都在使用 jumpserver(http://www.jumpserver.org/ )作为跳板机,管理服务器权限,一些对安全要求比较高的团队还会加上 Google authenticator (Google 身份验证器)。 但是安全...

php 日志库获取调用方的代码文件地址和代码行数

在使用其他语言的打印日志的时候,经常能看到打印日志时带上文件地址和代码行数,对于调试和查找问题非常方便,但是 php 日志库里则很少见到这个功能,但这个功能还是可以实现的。 关键点就是...

2018/10/22 14:08
361
推荐一款工具可以把 json 转成 go 的 struct

go 这种强类型语言,在 decode json 的时候,一般需要定义一套数据结构用于映射,常用的就是 struct,在没有发现这个工具以前,我都是手写,遇到一些比较大的 json 时候,第一写起来比较恶心...

Go
2018/10/09 10:03
408
一次有趣的 php json_decode error 分析

之前同事问了我一个有趣的问题,说为什么这个 json 字符串从缓存里读出来可以解析,但是作为一个 php 变量却解析错误呢? 先看一个我已经简化了的例子 $str = "\"; $j = json_encode($str); ...

PHP
2018/09/28 10:13
807
因 php 默认的 url encode 编码标准引发的一个问题

先看常用的校验请求合法性的一个方式 function createToken($params) { $secretKey = 'secretKey'; ksort($params); $query = http_build_query($params); $token = md5($query . $secret...

2018/09/25 13:32
1.3K
教你一招如何使用 php 父子进程坑人

现在项目中大多都会使用MQ(消息队列)用来解耦和提升服务稳定性,然后都会面临一个问题,就是消息积压,解决这个问题除了提升处理消息的速度以外,另外就是多开些消费者进程,并发的消费数据...

2018/09/17 12:34
1.2K
php swoole task 踩坑及优化

如果有仔细看过 swoole task 的文档的话,应该都会注意到这句话 task 操作的次数必须小于onTask处理速度,如果投递容量超过处理能力,task会塞满缓存区,导致worker进程发生阻塞。worker进程...

2018/09/10 08:02
2.7K
golang json.Marshal interface 踩坑

Golang 使用 hprose 调用 php 接口,各种类型不确定,用了好多interface,然后发现了 json.Marshal 在处理map类型的时候,key 不能是 interface,否则就会报错 package main import ( "encod...

2018/08/31 13:01
5.8K
使用 json-forms 生成你的配置

在使用 json 格式存储配置的时候,总是需要在管理后台写一堆代码,去校验参数是否合法,防止用户乱写。 最近发现了一个超级好用的工具,可以把开发人员从这个繁琐的工作中解脱出来。 那就是 ...

2018/08/27 13:03
1.7K
swoole http server 性能优化

上线了一个基于 swoole http server 的服务以后,发现这个服务的请求耗时监控毛刺十分严重,接口耗时波动比较大,经过一段时间的分析,发现这个服务 response 包十分大,有些 response 包高达...

2018/08/21 10:10
715

没有更多内容

加载失败,请刷新页面

返回顶部
顶部