加载中
kafka消息丢失

在处理生产环境问题的过程中发现12号那天某kafka集群有少量的数据丢失,概率大致在千万分之三。 数据写入kafka之后,就完全消失了,消费者完全没有消费到这个数据。 通过找到那天的数据,查看...

升级基础组件的升后感之项目依赖包

目前为止在这边总共升级过三次基础组件,第一次是kafka的客户端,全面涉及到的20+个项目全部升级,第二次是升级spring组件,也是所有项目升级,第三次是json组件升级。 在升级基础组建的过程...

redis集群主从切换扩容

redis集群因为业务增长导致内存容量不足,理论上单节点内存16g左右的话,扩节点的是很合适的,但是现在单节点内存不高且想无感知的扩容。 如果扩节点的话是需要起节点加节点然后迁移槽和数据...

09/19 23:02
2
网络故障引起的kafka自身的BUG

2019-09-03 17:06:25 机房网络出现一分钟波动,交换机问题导致kafka集群相互之间偶尔失联。 kafka日志如下所示: [2019-09-03 17:06:25,610] WARN Attempting to send response via channel...

disconf之服务器内部错误

说来也奇怪,协助武汉研发部门的发版本,本来是一次很简单的版本发布,折腾到了晚上12点。 原因如下: 发版之前进行修改 disconf 配置中心的配置数据,结果发现 disconf 的XX项目配置中心管理...

net.ipv4.tcp_tw_recycle配置问题

本来这个是不想写的,理应当是一个运维的问题,结果发现近期又出现了这样的问题,有的机器配置了 net.ipv4.tcp_tw_recycle=1 , 表示开启TCP连接中TIME-WAIT sockets的快速回收。 这种配置会...

08/19 20:53
2
G1垃圾回收器GC频繁导致的系统波动问题(后续)

承接上文的问题 : https://my.oschina.net/110NotFound/blog/3084898 上文提到问题的解决方案有两种: 设置 getMaxRequestSizeBytes 的值为 1024256 ,减少每一个消息的数组的大小,使其不会...

mu
08/14 17:44
4
G1垃圾回收器GC频繁导致的系统波动问题

CPU波动如图所示: 内存波动如图所示: CPU经常达到告警阈值,触发告警信息,第一反应就是去看下java进程里哪个线程耗CPU资源多,其实这里看到内存波动情况就大致能猜测出和GC有关。 top -H...

RPC的负载均衡策略

抽空自己写了个简易版的rpc框架,想了下怎么搞负载均衡, 最简单的方式就是搞个配置文件放置服务地址,直接读配置文件,转而想到配置文件可以放zk,相当于用zk来做配置中心或者服务发现。 优...

06/06 21:01
4.4K
分布式服务扩展遇到kafka的小细节

我们的服务使用了kafka队列,在消费kafka队列的时候是需要配置消费者线程数,单台机器的某topic使用了16个线程消费,姑且理解成单台机器16个消费者消费这个topic。 这个topic的partition有1...

一次流量突增引发的小动静

2019-5-10 早上 9:17,我们某服务的kafka某topic监控触发积压阈值发生告警,积压量达5W+。 正常情况下这个队列是不会产生积压的,因为这个队列的生产者的接口是个非常冷门的接口,调用量很少...

graalVM高性能跨语言虚拟机试玩

graalVM高性能跨语言虚拟机 偶然看到oracle发布的这个虚拟机,听闻它可以支持很多种语言直接编译成二进制文件运行,甚至可以多语言混写编译成二进制文件运行。 特意试了下java下编译成二进制...

05/08 20:32
16
jdk11的一些新特性理解

心血来潮想看看jdk11的新特性,喵了下官方文档,简单的翻译了下和增添了些自己的理解。 jdk11是lts版本,这是自 Java 8 后的首个长期支持版本,根据oracle的尿性,三年一个lts,所以这个版本在...

通过经纬度计算两点之间的距离

项目里有一个需求是计算两台机器之间的距离,有了这两台机器的经纬度,距离就很好计算了。 有一个 球面余弦定律 可以用来可以计算球面两点距离,但是根据这个反余弦函数公式会有较大的舍入误...

COS
04/25 17:00
19
CockroachDB搭建及简单性能测试情况

翻看公司的wiki文档和邮件,偶然看到DBA对TiDB的性能测试数据,其中一条是纯写入速度TPS能达到5000多,我对这个数据表示怀疑, 因为这个TiDB的配置是还不错的,配置如下所示,且测试数据的数...

记一次地址库修改导致的连锁反应

应有关部门要求,公司内部通知更改地址库的一些地址信息,对国家最新的一些地址更改做出相应正确的调整,如:上海更改为上海市,XXX县改为XXX区 按照正常逻辑来看,大家都会认为数据库改一下...

04/15 19:42
6
三个bug引发的思考

第一个bug: 登陆模块的扫码登录出现遗漏一段逻辑,和正常的登录不一致导致一小部分用户利用这个漏洞做一些事情。 这个bug隐藏的优点深,是因为这个逻辑涉及到的范围非常小,不是大规模的。 ...

04/09 00:06
11
mysql下count(*)和count(1)的区别

今天看公司项目发现了一个奇怪sql写法 select count(8) from .... 这也许是开发人员不小心或者是习惯把写成了8,当然这并不影响程序运行的结果。 由此引发了我想知道count()和count(1)的区别...

xstream使用的第二个小问题

之前说过一个xstream使用过程中遇到的一个小问题,链接: https://my.oschina.net/110NotFound/blog/2987017 这次又遇到一个,情况是这样的: 当在生产环境使用xstream进行解析xml转换为jav...

04/03 14:29
7
解析socks5协议引发的遐想

这几天闲来无事用rust语言写了个解析socks5协议的小应用,精简版的s5,可以将流量代理到中间服务器,目前只实现了TCP,UDP没去看,这个过程让我想到了一些不可描述的事情。 首先socks5协议还...

03/31 11:36
15

没有更多内容

加载失败,请刷新页面

返回顶部
顶部