博客专区 > 輕風的博客 > 博客详情
当 Thrift 遇到 JDK Epoll Bug
輕風 发表于2周前
当 Thrift 遇到 JDK Epoll Bug
  • 发表于 2周前
  • 阅读 1753
  • 收藏 109
  • 点赞 6
  • 评论 22

1小时搭建人工智能应用 让技术更容易入门>>>   

摘要: 将会擦出怎样的火花呢?
标签: Thrift JDK epoll
共有 人打赏支持
粉丝 6
博文 2
码字总数 1601
评论 (22)
javadeveloper
:+1:
蓝水晶飞机
已阅
andersonoy
netty解决了这个bug,解决方法就是你上面提到的一样,你可以看看netty源码,里面有详细介绍这个bug及期解决方案
andersonoy
所以很多底层通信都是用netty
輕風

引用来自“andersonoy”的评论

netty解决了这个bug,解决方法就是你上面提到的一样,你可以看看netty源码,里面有详细介绍这个bug及期解决方案
对的,就是参考netty源码,修复Thrift中未解决的epoll bug
輕風

引用来自“andersonoy”的评论

所以很多底层通信都是用netty
考虑到对外接口层的多语言支持性才选用Thrift的
从泚销夨伤惢无泪
好文!
强子哥哥
赞,顺便让它把0.10.0的System.out.println去掉吧
Raphael_goh
官方说这是linux2.4的bug,而且不打算合并你的pr:joy::joy::joy:
Raynor1

引用来自“Raphael_goh”的评论

官方说这是linux2.4的bug,而且不打算合并你的pr:joy::joy::joy:
我觉得楼主搞错了一个地方就是在压力大的时候。其实是可以有Cpu 100%的。。说明是处理事件呀。。而oracle 的那个bug是说。当触发了这一个事件后。他的cpu 100%怎么样都下不了的问题(无法再解放),所以造成楼主这一个问题应该是逻辑处理慢造成所并不是上面的这一个地方的处理造成的哈。
FPE
厉害了,java把epoll弄得像select一样。文章所说的“连接数过多导致 Selector 线程一直处于繁忙状态”,这绝对是select模型,一定是用select实现了一个假epoll,哈哈哈。我用epoll(c++)测试接受连接(还是用虚拟机测试),不到5秒就能接受50000个新连接。所以你是平均每秒有10000个连接请求导致一直卡顿吗?
Raynor1

引用来自“Raphael_goh”的评论

官方说这是linux2.4的bug,而且不打算合并你的pr:joy::joy::joy:
而且文章的同学也把一些理解的概念给混了 。若是处在处理的状态。应该Cpu是100而且是在100 RUNNING的状态哈。。。。。状态就是这样的哈。就主明了他的这一个线程是没有用。若出现上述的100%的情况。应该线程是一直在RUNNITNG的状态。。 block 是应该没有事件过来。。。好吧。。我是不是说得太多了。
輕風

引用来自“强子哥哥”的评论

赞,顺便让它把0.10.0的System.out.println去掉吧
可以给他们提个issue
輕風

引用来自“Raphael_goh”的评论

官方说这是linux2.4的bug,而且不打算合并你的pr:joy::joy::joy:
当时环境内核版本为 3.10.0
輕風

引用来自“Raphael_goh”的评论

官方说这是linux2.4的bug,而且不打算合并你的pr:joy::joy::joy:

引用来自“Raynor1”的评论

我觉得楼主搞错了一个地方就是在压力大的时候。其实是可以有Cpu 100%的。。说明是处理事件呀。。而oracle 的那个bug是说。当触发了这一个事件后。他的cpu 100%怎么样都下不了的问题(无法再解放),所以造成楼主这一个问题应该是逻辑处理慢造成所并不是上面的这一个地方的处理造成的哈。
可能没表诉清楚,后面说了停掉压测后无外来连接时cpu还是跑满状态的
輕風

引用来自“FPE”的评论

厉害了,java把epoll弄得像select一样。文章所说的“连接数过多导致 Selector 线程一直处于繁忙状态”,这绝对是select模型,一定是用select实现了一个假epoll,哈哈哈。我用epoll(c++)测试接受连接(还是用虚拟机测试),不到5秒就能接受50000个新连接。所以你是平均每秒有10000个连接请求导致一直卡顿吗?
java 的 Selector(选择器)有多种实现方式,实现了 poll epoll 等多种模型。无业务情况下测过qps 轻松上 10w 的,性能是没问题的,主要是触发了 jdk 的 bug 导致其处于空转状态而不能处理外来连接。
Raphael_goh

引用来自“Raphael_goh”的评论

官方说这是linux2.4的bug,而且不打算合并你的pr:joy::joy::joy:

引用来自“Raynor1”的评论

我觉得楼主搞错了一个地方就是在压力大的时候。其实是可以有Cpu 100%的。。说明是处理事件呀。。而oracle 的那个bug是说。当触发了这一个事件后。他的cpu 100%怎么样都下不了的问题(无法再解放),所以造成楼主这一个问题应该是逻辑处理慢造成所并不是上面的这一个地方的处理造成的哈。

引用来自“輕風”的评论

可能没表诉清楚,后面说了停掉压测后无外来连接时cpu还是跑满状态的
这问题我也遇到过,我们的日志库发送日志到kafka的时候参数没有调整好,压测2分钟后,tps就降到1/10甚至到0,几乎不响应请求(此时停止压测可以恢复),再持续压测几分钟后,就完全无法恢复了。调整kafka Client的buffer大小或改小kafka的timeout时间可以解决这个问题。
orpherus
去oracle报jdk bug吧
輕風

引用来自“orpherus”的评论

去oracle报jdk bug吧
准备去,然而这么多年来官方给出的办法也就是重建 Selector(JDK-6403933),所以最快的办法还是在框架中屏蔽。
orpherus

引用来自“輕風”的评论

引用来自“orpherus”的评论

去oracle报jdk bug吧
准备去,然而这么多年来官方给出的办法也就是重建 Selector(JDK-6403933),所以最快的办法还是在框架中屏蔽。

jdk团队认为只有2.4内核有这个问题,而且他们认为已经修复了,这个issue值得关注
×
輕風
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: