RPC Benchmark,Dubbo垫底

原创
2018/01/31 19:39
阅读数 1.6W

rpc-benchmark 说明及答疑

几乎所有的 RPC 框架都宣称自己是“高性能”的, 那么实际结果到底如何呢, 让我们来做一个性能测试吧.

项目地址:

  https://github.com/hank-whu/rpc-benchmark

  https://gitee.com/hank-whu/rpc-benchmark

测试说明

  • 仅限于Java.
  • 客户端使用JMH进行压测, 32 线程, 10 次预热, 3 次运行.
  • 每次运行前都会执行 killall java, 但没有在每轮测试时重启操作系统.
  • 所有类库版本在发布时都是最新的, 除非存在bug.
  • 所有框架都尽量参考该项目自带的Benchmark实现.
  • 将会一直持续, 不定期发布测试结果.

测试用例

  1. boolean existUser(String email), 判断某个 email 是否存在.
  2. boolean createUser(User user), 添加一个 User.
  3. User getUser(long id), 根据 id 获取一个用户.
  4. Page<User> listUser(int pageNo), 获取用户列表.

运行结果

生成时间: 2018-01-28 14:36:24.

硬件环境: 阿里云 ecs.c4.xlarge, Intel Xeon E5-2667v4, 4CPU 8GB RAM 两台.

软件环境: Ubuntu x64 16.04.5, Java HotSpot(TM) 64-Bit Server VM 9.0.4+11.

启动参数: java -server -Xmx1g -Xms1g -XX:MaxDirectMemorySize=1g -XX:+UseG1GC.

existUser 判断某个 email 是否存在

framework thrpt (ops/ms) avgt (ms) p90 (ms) p99 (ms) p999 (ms)
turbo-rpc 107.05 0.28 0.40 0.87 4.06
netty 99.81 0.32 0.40 0.52 1.16
jupiter 73.07 0.44 0.66 1.49 2.92
undertow 70.38 0.45 1.16 2.17 32.48
turbo-rest 68.49 0.44 1.17 2.15 25.66
undertow-async 62.65 0.49 1.14 2.41 24.84
dubbo-kryo 57.35 0.53 0.67 1.02 11.65
rapidoid 52.96 0.61 1.32 2.51 25.07
dubbo 52.12 0.54 0.67 0.92 3.93
motan 44.96 0.71 1.15 2.47 33.39
aeron 43.46 0.90 1.32 5.10 14.29
grpc 38.97 0.84 1.07 1.31 6.06
thrift 27.25 1.59 0.16 64.87 122.83
hprose 26.24 1.26 1.53 2.01 8.34
springwebflux 22.39 1.42 2.27 3.19 17.20
springboot 12.54 1.68 2.38 13.63 33.20

createUser 添加一个 User

framework thrpt (ops/ms) avgt (ms) p90 (ms) p99 (ms) p999 (ms)
turbo-rpc 84.95 0.39 0.50 1.45 4.01
netty 76.45 0.48 0.49 0.79 1.87
jupiter 64.57 0.50 0.68 1.37 2.79
undertow 62.47 0.51 1.17 2.76 20.10
turbo-rest 58.21 0.57 1.23 2.84 22.35
undertow-async 56.19 0.59 1.36 3.73 24.50
dubbo-kryo 42.37 0.72 0.94 1.33 16.75
motan 42.16 0.79 1.23 2.39 30.97
grpc 41.56 0.77 0.93 1.24 4.41
aeron 37.74 0.89 1.35 3.85 22.98
dubbo 28.75 1.13 1.42 1.82 16.06
thrift 25.66 1.47 0.17 68.71 130.93
hprose 23.30 1.31 1.44 2.28 13.36
rapidoid 18.54 1.73 1.27 25.10 40.47
springwebflux 10.51 1.50 2.33 3.37 21.30
springboot 9.43 1.75 2.57 12.81 24.90

getUser 根据 id 获取一个用户

framework thrpt (ops/ms) avgt (ms) p90 (ms) p99 (ms) p999 (ms)
turbo-rpc 95.92 0.38 0.49 1.52 2.96
jupiter 63.61 0.52 0.74 1.37 2.50
netty 63.44 0.44 0.50 0.55 0.97
undertow-async 57.50 0.58 1.23 2.32 5.02
undertow 55.70 0.55 1.32 2.54 11.60
turbo-rest 53.34 0.59 1.49 2.72 23.69
dubbo-kryo 46.44 0.69 0.85 1.16 18.09
rapidoid 43.84 0.74 1.99 4.78 18.35
grpc 41.58 0.75 0.90 1.19 4.57
motan 40.62 0.78 1.25 2.68 34.18
dubbo 29.11 1.11 1.44 1.98 16.73
thrift 27.14 1.74 0.19 0.29 362.63
hprose 23.91 1.40 1.56 2.31 47.06
springwebflux 19.24 1.67 2.70 3.62 14.94
springboot 18.71 1.70 2.17 14.76 31.09
aeron 18.25 1.71 3.94 13.15 63.77

listUser 获取用户列表

framework thrpt (ops/ms) avgt (ms) p90 (ms) p99 (ms) p999 (ms)
turbo-rpc 44.53 0.82 1.37 2.85 10.39
grpc 30.67 1.05 1.31 1.68 15.12
undertow 28.38 1.21 1.72 4.49 23.25
motan 28.08 1.13 1.80 3.22 21.56
undertow-async 28.05 1.16 1.76 6.75 20.91
jupiter 26.59 1.20 2.00 4.04 25.00
netty 24.28 1.29 1.35 1.83 5.97
rapidoid 20.73 1.56 3.29 16.50 29.89
dubbo-kryo 19.55 1.69 2.36 3.37 16.85
turbo-rest 17.56 2.17 2.67 17.02 37.50
springwebflux 16.21 2.00 3.13 4.90 17.66
springboot 15.84 2.16 2.72 16.81 36.64
thrift 14.87 2.61 0.26 0.42 518.96
hprose 13.19 2.70 2.85 4.01 54.52
aeron 4.53 7.13 10.42 16.47 30.30
dubbo 4.52 7.04 9.06 12.52 16.02

免责声明

  • 能力所限错误在所难免, 本测试用例及测试结果仅供参考.
  • 如果你认为xx框架的代码或配置存在问题,那么欢迎发起Pull Request.
  • 利益相关: 本测试用例作者同时为 turboundertow-async 的作者.

rpc-benchmark 说明及答疑

展开阅读全文
打赏
6
49 收藏
分享
加载中
有没有内存占用和CPU占用的比较啊?
2018/12/09 20:53
回复
举报
鲁小憨博主
该评论暂时无法显示,详情咨询 QQ 群:912889742
鲁小憨博主

引用来自“dwing0”的评论

简单看了一下benchmark, netty其实用protostuff序列化, 而turbo-rpc底层也是用netty, 却是用kryo序列化.
这哪是比较turbo-rpc和netty, 分明是比较protostuff和kryo.

引用来自“鲁小憨”的评论

那说明你看得还不够仔细,两个都是用的 protostuff 。kryo 的性能要差一点,turbo 把它作为可选序列化方式。

Benchmark Mode Cnt Score Error Units
KryoBenchmark.deserializeUser thrpt 5 1905.703 ± 8.734 ops/ms
KryoBenchmark.deserializeUserPage thrpt 5 162.351 ± 6.622 ops/ms
KryoBenchmark.serializeUser thrpt 5 1875.321 ± 23.868 ops/ms
KryoBenchmark.serializeUserList thrpt 5 194.011 ± 2.263 ops/ms
ProtostuffBenchmark.deserializeUser thrpt 5 3331.651 ± 30.004 ops/ms
ProtostuffBenchmark.deserializeUserPage thrpt 5 166.774 ± 96.564 ops/ms
ProtostuffBenchmark.serializeUser thrpt 5 4619.253 ± 202.107 ops/ms
ProtostuffBenchmark.serializeUserList thrpt 5 258.168 ± 3.532 ops/ms

引用来自“dwing0”的评论

如果两个都是用的 netty + protostuff, 那你怎么解释turbo-rpc比直接用netty还快呢?
参见 https://my.oschina.net/u/1014759/blog/1617275
2018/02/02 14:31
回复
举报
就一个登陆-来测试rpc性能...momoda,博主刚毕业么?
2018/02/02 13:55
回复
举报

引用来自“罗格林”的评论

支持一下, 有代码有数据!

有反对的, 先看看代码, 讲清楚哪里不合理, 而且作者也说了欢迎提 PR 的. 没看代码就开喷的不算是好码农
就服你
2018/02/02 13:27
回复
举报
这样的比较,是不是太简单了,不是应该结合相应的业务场景么
2018/02/02 11:01
回复
举报

引用来自“dwing0”的评论

简单看了一下benchmark, netty其实用protostuff序列化, 而turbo-rpc底层也是用netty, 却是用kryo序列化.
这哪是比较turbo-rpc和netty, 分明是比较protostuff和kryo.

引用来自“鲁小憨”的评论

那说明你看得还不够仔细,两个都是用的 protostuff 。kryo 的性能要差一点,turbo 把它作为可选序列化方式。

Benchmark Mode Cnt Score Error Units
KryoBenchmark.deserializeUser thrpt 5 1905.703 ± 8.734 ops/ms
KryoBenchmark.deserializeUserPage thrpt 5 162.351 ± 6.622 ops/ms
KryoBenchmark.serializeUser thrpt 5 1875.321 ± 23.868 ops/ms
KryoBenchmark.serializeUserList thrpt 5 194.011 ± 2.263 ops/ms
ProtostuffBenchmark.deserializeUser thrpt 5 3331.651 ± 30.004 ops/ms
ProtostuffBenchmark.deserializeUserPage thrpt 5 166.774 ± 96.564 ops/ms
ProtostuffBenchmark.serializeUser thrpt 5 4619.253 ± 202.107 ops/ms
ProtostuffBenchmark.serializeUserList thrpt 5 258.168 ± 3.532 ops/ms
如果两个都是用的 netty + protostuff, 那你怎么解释turbo-rpc比直接用netty还快呢?
2018/02/02 10:24
回复
举报
鲁小憨博主

引用来自“dwing0”的评论

简单看了一下benchmark, netty其实用protostuff序列化, 而turbo-rpc底层也是用netty, 却是用kryo序列化.
这哪是比较turbo-rpc和netty, 分明是比较protostuff和kryo.
那说明你看得还不够仔细,两个都是用的 protostuff 。kryo 的性能要差一点,turbo 把它作为可选序列化方式。

Benchmark Mode Cnt Score Error Units
KryoBenchmark.deserializeUser thrpt 5 1905.703 ± 8.734 ops/ms
KryoBenchmark.deserializeUserPage thrpt 5 162.351 ± 6.622 ops/ms
KryoBenchmark.serializeUser thrpt 5 1875.321 ± 23.868 ops/ms
KryoBenchmark.serializeUserList thrpt 5 194.011 ± 2.263 ops/ms
ProtostuffBenchmark.deserializeUser thrpt 5 3331.651 ± 30.004 ops/ms
ProtostuffBenchmark.deserializeUserPage thrpt 5 166.774 ± 96.564 ops/ms
ProtostuffBenchmark.serializeUser thrpt 5 4619.253 ± 202.107 ops/ms
ProtostuffBenchmark.serializeUserList thrpt 5 258.168 ± 3.532 ops/ms
2018/02/02 09:45
回复
举报
netty性能简直碾压
2018/02/02 09:42
回复
举报
这中测试数据有什么意义
2018/02/02 09:41
回复
举报
更多评论
打赏
79 评论
49 收藏
6
分享
返回顶部
顶部