文档章节

【原创】CPU 隔离之任务分析

摩云飞
 摩云飞
发布于 2017/04/06 18:13
字数 968
阅读 328
收藏 9

最近被分配了一个任务,任务描述很简单,就一句话:如何基于 packetbeat 分析 redis 的网路通信情况,而不对 redis 本身(CPU/Memory/Network)产生影响;

首先,需要回答一个问题:会产生什么影响?

通常来讲,运行抓包系统会占用 CPU 和 Memory 等资源,而 redis 本身对 CPU 和 Memory 使用也有较高要求,即希望资源都是自己的才好;

那也问题就变成了:redis 是怎么部署在服务器上运行的?对于 24 核或 32 核服务器,redis 是怎么使用的?

经过确认,我们会在一台 24 核的物理机上跑 8~10 个 redis 实例(分属不同 cluster),但没有对 cpu 和内存使用进行任何限制;换句话说,24 个 CPU 核心和 Memory 都处于“任君多采撷”状态;

由于 packetbeat 的内存占用相对 redis 来说基本可以忽略,因为后文只讨论 CPU ;

因此,我们可以得到的结论是:无论将 packetbeat 跑在哪个核心上,都会“占用一定的 redis 的资源”;

那么问题就变成了:允许百分之多少的 CPU 被 packetbeat 占用?

粗略估算结果如下:

  • 24 核心 CPU ,单核跑满相当于占用了 4.17% 的 CPU 资源;若占用两个 CPU 核心,则对应 8.34% ;
  • 我们的报警系统对 redis 的 CPU 报警设置为:单核占用达到 90% ,总体占用达到 40% ;
  • 对于业务比较繁忙的 redis 来说,CPU 占用能够达到整体 30% 左右;
  • 由此看来,即使跑满 2 个 CPU 核心也没什么大问题;

另外还有一个疑问:从 redis 的视角来看 24 个核心真的是完全等同的么?是否存在某种优先选择策略?

似乎这个问题又和 CPU 的硬件架构扯上了关系,即 SMPNUMA 都是怎么玩的;

经确认:我们线上机器的 CPU 架构都是 NUMA(由两个 node 构成),并且 redis 会倾向于使用 NUMA node1 中的 cpusets ,那么将 packetbeat 绑定到 NUMA node2 上运行应该是相对更合理的方式;

谈及绑定问题,原则上讲会涉及 CPU 绑定Memroy 绑定IRQ 绑定等等;因此,它们之前的关系及影响,以及部署考量都需要研究确认;

针对 CPU 绑定,即 CPU 亲缘性问题,存在多种处理方式:

  • taskset
  • numactl
  • isolcpus
  • cgroups

需要确认这些方式有何不同,应该使用哪种,为什么?

选定 CPU 绑定方式后,Memory 和 IRQ 绑定如何处理?IRQ 处理是否应该绑定到 CPU 亲缘性选择的相同 CPU 上么?

上述情况还只是一般性的讨论,对于基于 go 语言实现的 packetbeat 来说,由于 OS thread 的创建数量是由 runtime 自行决定的,而 goroutine 跑在哪个 OS thread 上则是由 go 运行时调度器决定的;packetbeat 的功能至少可以拆分为网络抓包功能抓包分析功能,而这两者基于多少 goroutine 实现,以及两者之间的相互影响(例如 CPU 跑高导致抓包时的丢包行为)都是应该考虑考虑的;总之,一般情况下,我们认为将 packetbeat 绑定到一组 cpu 上运行似乎是更好的选择;

现状如下:

  • redis 实例的运行尚未考虑 CPU 亲缘性问题;
  • 基于 taskset 控制 packetbeat 的 CPU 绑定,但理论上讲,无论如何绑定,总归会对 redis 产生一定影响;
  • 由于 redis 的网络流量非常大,万兆网卡跑满状态下,每秒大概要保存 1.2GB 数据,通常我们会抓取 10s 数据包,因为 12GB 的数据对于硬盘和带宽的影响都需要考虑;

© 著作权归作者所有

共有 人打赏支持
摩云飞
粉丝 368
博文 534
码字总数 952694
作品 0
徐汇
程序员
Hadoop YARN中内存和CPU两种资源的调度和隔离

Hadoop YARN同时支持内存和CPU两种资源的调度(默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置),本文将介绍YARN是如何对这些资源进行调度和隔离的。 在YARN中,资源管理由Res...

2k10
2015/03/21
0
0
hadoop、yarn和vcpu资源的配置

转载自:https://www.cnblogs.com/S-tec-songjian/p/5740691.html Hadoop YARN同时支持内存和CPU两种资源的调度(默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置),本文将介绍...

李金泽
03/09
0
0
Hadoop YARN中内存和CPU两种资源的调度和隔离

同时支持内存和CPU两种资源的调度(默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置),本文将介绍Hadoop YARN是如何对这些资源进行调度和隔离的。 在YARN中,资源管理由Resourc...

闵开慧
2014/07/09
440
0
阿里巴巴 Sigma 调度和集群管理系统架构详解

划重点 阿里巴巴 9 年双 11 经历下来,交易额增长了 280 倍、交易峰值增长 800 多倍、系统数呈现爆发式增长。系统在支撑双 11 过程中的复杂度和支撑难度以指数级形式上升。双 11 峰值的本质是...

阿里系统软件技术
04/19
0
0
颠覆大数据分析之Mesos:集群调度及管理系统

正如前面“Mesos:动机”一节中所述,Mesos的主要目标就是去帮助管理不同框架(或者应用栈)间的集群资源。比如说,有一个业务需要在同一个物理集群上同时运行Hadoop,Storm及Spark。这种情况...

douxn
2015/10/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring Boot 使用parent方式引用时 获取值属性方式默认@

采用官网提供的 引入依赖时,application.properties中的值变量,无法通过${}获取,这是由于Spring Boot 已经将字符方式调整为 <resource.delimiter>@</resource.delimiter>。故如果在,工程中...

翱翔fly
15分钟前
1
0
HTTPS证书验证流程及SSL证书生成步骤【附nginx开启https配置】

------------------------------------------------------------ HTTPS证书验证流程(极简化版) 1.客户端向服务端请求证书(server.crt) 2.服务端下发证书(server.crt) 3.客户端用预制的...

xiaomin0322
16分钟前
1
0
预编译sql语句和参数化sql能有效防止——sql注入攻击——

预编译和参数化处理sql原理类似: 参数化处理sql 是将参数进行了字符串化处理,把参数中的单引号,井号#,等都做了转义处理,进而在执行sql语句时不会被当做sql中的定界符和指定符来执行。 ...

fang_faye
16分钟前
1
0
springboot最全配置解释

​​​​​​​# ----------------------------------------# 核心属性# ----------------------------------------# 文件编码banner.charset= UTF-8# 文件位置banner.locati...

废柴大叔
18分钟前
72
1
(大致了解下)从单机到2000万QPS: 知乎Redis平台发展与演进之路

导读:知乎存储平台团队基于开源Redis 组件打造的知乎 Redis 平台,经过不断的研发迭代,目前已经形成了一整套完整自动化运维服务体系,提供很多强大的功能。本文作者是是该系统的负责人,文...

Ocean_K
25分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部