文档章节

【原创】CPU 隔离之任务分析

摩云飞
 摩云飞
发布于 2017/04/06 18:13
字数 968
阅读 349
收藏 9

最近被分配了一个任务,任务描述很简单,就一句话:如何基于 packetbeat 分析 redis 的网路通信情况,而不对 redis 本身(CPU/Memory/Network)产生影响;

首先,需要回答一个问题:会产生什么影响?

通常来讲,运行抓包系统会占用 CPU 和 Memory 等资源,而 redis 本身对 CPU 和 Memory 使用也有较高要求,即希望资源都是自己的才好;

那也问题就变成了:redis 是怎么部署在服务器上运行的?对于 24 核或 32 核服务器,redis 是怎么使用的?

经过确认,我们会在一台 24 核的物理机上跑 8~10 个 redis 实例(分属不同 cluster),但没有对 cpu 和内存使用进行任何限制;换句话说,24 个 CPU 核心和 Memory 都处于“任君多采撷”状态;

由于 packetbeat 的内存占用相对 redis 来说基本可以忽略,因为后文只讨论 CPU ;

因此,我们可以得到的结论是:无论将 packetbeat 跑在哪个核心上,都会“占用一定的 redis 的资源”;

那么问题就变成了:允许百分之多少的 CPU 被 packetbeat 占用?

粗略估算结果如下:

  • 24 核心 CPU ,单核跑满相当于占用了 4.17% 的 CPU 资源;若占用两个 CPU 核心,则对应 8.34% ;
  • 我们的报警系统对 redis 的 CPU 报警设置为:单核占用达到 90% ,总体占用达到 40% ;
  • 对于业务比较繁忙的 redis 来说,CPU 占用能够达到整体 30% 左右;
  • 由此看来,即使跑满 2 个 CPU 核心也没什么大问题;

另外还有一个疑问:从 redis 的视角来看 24 个核心真的是完全等同的么?是否存在某种优先选择策略?

似乎这个问题又和 CPU 的硬件架构扯上了关系,即 SMPNUMA 都是怎么玩的;

经确认:我们线上机器的 CPU 架构都是 NUMA(由两个 node 构成),并且 redis 会倾向于使用 NUMA node1 中的 cpusets ,那么将 packetbeat 绑定到 NUMA node2 上运行应该是相对更合理的方式;

谈及绑定问题,原则上讲会涉及 CPU 绑定Memroy 绑定IRQ 绑定等等;因此,它们之前的关系及影响,以及部署考量都需要研究确认;

针对 CPU 绑定,即 CPU 亲缘性问题,存在多种处理方式:

  • taskset
  • numactl
  • isolcpus
  • cgroups

需要确认这些方式有何不同,应该使用哪种,为什么?

选定 CPU 绑定方式后,Memory 和 IRQ 绑定如何处理?IRQ 处理是否应该绑定到 CPU 亲缘性选择的相同 CPU 上么?

上述情况还只是一般性的讨论,对于基于 go 语言实现的 packetbeat 来说,由于 OS thread 的创建数量是由 runtime 自行决定的,而 goroutine 跑在哪个 OS thread 上则是由 go 运行时调度器决定的;packetbeat 的功能至少可以拆分为网络抓包功能抓包分析功能,而这两者基于多少 goroutine 实现,以及两者之间的相互影响(例如 CPU 跑高导致抓包时的丢包行为)都是应该考虑考虑的;总之,一般情况下,我们认为将 packetbeat 绑定到一组 cpu 上运行似乎是更好的选择;

现状如下:

  • redis 实例的运行尚未考虑 CPU 亲缘性问题;
  • 基于 taskset 控制 packetbeat 的 CPU 绑定,但理论上讲,无论如何绑定,总归会对 redis 产生一定影响;
  • 由于 redis 的网络流量非常大,万兆网卡跑满状态下,每秒大概要保存 1.2GB 数据,通常我们会抓取 10s 数据包,因为 12GB 的数据对于硬盘和带宽的影响都需要考虑;

© 著作权归作者所有

共有 人打赏支持
摩云飞
粉丝 368
博文 534
码字总数 952694
作品 0
徐汇
程序员
私信 提问
Hadoop YARN中内存和CPU两种资源的调度和隔离

Hadoop YARN同时支持内存和CPU两种资源的调度(默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置),本文将介绍YARN是如何对这些资源进行调度和隔离的。 在YARN中,资源管理由Res...

2k10
2015/03/21
0
0
hadoop、yarn和vcpu资源的配置

转载自:https://www.cnblogs.com/S-tec-songjian/p/5740691.html Hadoop YARN同时支持内存和CPU两种资源的调度(默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置),本文将介绍...

李金泽
2018/03/09
0
0
阿里巴巴 Sigma 调度和集群管理系统架构详解

划重点 阿里巴巴 9 年双 11 经历下来,交易额增长了 280 倍、交易峰值增长 800 多倍、系统数呈现爆发式增长。系统在支撑双 11 过程中的复杂度和支撑难度以指数级形式上升。双 11 峰值的本质是...

阿里系统软件技术
2018/04/19
0
0
颠覆大数据分析之Mesos:集群调度及管理系统

正如前面“Mesos:动机”一节中所述,Mesos的主要目标就是去帮助管理不同框架(或者应用栈)间的集群资源。比如说,有一个业务需要在同一个物理集群上同时运行Hadoop,Storm及Spark。这种情况...

douxn
2015/10/26
0
0
cgroup在ceph中的应用(1)

一、 Cgroup介绍1. Cgroup是什么Cgroups是control groups的缩写,是Linux内核提供的一种可以限制、记录、隔离进程组(process groups)所使用的物理资源(如:cpu,memory,IO等等)的机制。最...

秦牧羊
2015/04/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周一乱弹 —— 白掌柜说了卖货不卖身

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @爱漫爱 :这是一场修行分享羽肿的单曲《Moony》 手机党少年们想听歌,请使劲儿戳(这里) @clouddyy :开不开心? 开心呀, 我又不爱睡懒觉…...

小小编辑
今天
7
0
大数据教程(11.7)hadoop2.9.1平台上仓库工具hive1.2.2搭建

上一篇文章介绍了hive2.3.4的搭建,然而这个版本已经不能稳定的支持mapreduce程序。本篇博主将分享hive1.2.2工具搭建全过程。先说明:本节就直接在上一节的hadoop环境中搭建了! 一、下载apa...

em_aaron
今天
2
0
开始看《JSP&Servlet学习笔记》

1:WEB应用简介。其中1.2.1对Web容器的工作流程写得不错 2:编写Servlet。搞清楚了Java的Web目录结构,以及Web.xml的一些配置作用。特别是讲了@WebServlet标签 3:请求与响应。更细致的讲了从...

max佩恩
今天
4
0
mysql分区功能详细介绍,以及实例

一,什么是数据库分区 前段时间写过一篇关于mysql分表的的文章,下面来说一下什么是数据库分区,以mysql为例。mysql数据库中的数据是以文件的形势存在磁盘上的,默认放在/mysql/data下面(可...

吴伟祥
今天
3
0
SQL语句查询

1.1 排序 通过order by语句,可以将查询出的结果进行排序。放置在select语句的最后。 格式: SELECT * FROM 表名 ORDER BY 排序字段ASC|DESC; ASC 升序 (默认) DESC 降序 1.查询所有商品信息,...

stars永恒
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部