文档章节

RocketMQ 系统优化(CentOS)

Firxiao
 Firxiao
发布于 2014/09/18 17:15
字数 771
阅读 2382
收藏 13

贴出源码中的优化脚本先:

#!/bin/sh
#
# Execute Only Once
#
echo 'vm.overcommit_memory=1' >> /etc/sysctl.conf
echo 'vm.min_free_kbytes=5000000' >> /etc/sysctl.conf
echo 'vm.drop_caches=1' >> /etc/sysctl.conf
echo 'vm.zone_reclaim_mode=0' >> /etc/sysctl.conf
echo 'vm.max_map_count=655360' >> /etc/sysctl.conf
echo 'vm.dirty_background_ratio=50' >> /etc/sysctl.conf
echo 'vm.dirty_ratio=50' >> /etc/sysctl.conf
echo 'vm.page-cluster=3' >> /etc/sysctl.conf
echo 'vm.dirty_writeback_centisecs=360000' >> /etc/sysctl.conf
echo 'vm.swappiness=10' >> /etc/sysctl.conf
sysctl -p
echo 'ulimit -n 655350' >> /etc/profile
echo 'admin hard nofile 655350' >> /etc/security/limits.conf
DISK=`df -k | sort -n -r -k 2 | awk -F/ 'NR==1 {gsub(/[0-9].*/,"",$3); print $3}'`
[ "$DISK" = 'cciss' ] && DISK='cciss!c0d0'
echo 'deadline' > /sys/block/$DISK/queue/scheduler
echo "---------------------------------------------------------------"
sysctl vm.overcommit_memory
sysctl vm.min_free_kbytes
sysctl vm.drop_caches
sysctl vm.zone_reclaim_mode
sysctl vm.max_map_count
sysctl vm.dirty_background_ratio
sysctl vm.dirty_ratio
sysctl vm.page-cluster
sysctl vm.dirty_writeback_centisecs
sysctl vm.swappiness
su - admin -c 'ulimit -n'
cat /sys/block/$DISK/queue/scheduler

这个脚本分别修改了网络参数 、admin的硬资源限制 、硬盘的刷盘模式

看了下 不能直接运行 

需要做以下更改

这个脚本中使用了admin 这个用户,估计阿里的mq是用admin启动的

如果你用root启动RocketMQ 其中的 

echo 'ulimit -n 655350' >> /etc/profile
echo 'admin hard nofile 655350' >> /etc/security/limits.conf

 这两行可以注释掉, 不过生产环境中还是不推荐直接用root启动服务,所以我useradd admin了。

另个是硬盘优化部分

首先需要知道RockerMQ 运行产生的文件log 都会放在运行用户的家目录中

所以可以在home目录中建个admin 然后将盘挂到/home/admin就可以

接下来是硬盘刷盘模式( I/O Scheduling)

DISK=`df -k | sort -n -r -k 2 | awk -F/ 'NR==1 {gsub(/[0-9].*/,"",$3); print $3}'`
[ "$DISK" = 'cciss' ] && DISK='cciss!c0d0'
echo 'deadline' > /sys/block/$DISK/queue/scheduler

这个也不适用于笔者的环境。目的是要把硬盘的刷盘模式改为deadline

查看下当前硬盘刷盘模式(笔者硬盘为sda)

#cat /sys/block/sda/queue/scheduler
noop anticipatory deadline [cfq]

好吧手动改下

#echo 'deadline' > /sys/block/sda/queue/scheduler
#cat /sys/block/sda/queue/scheduler 
noop anticipatory [deadline] cfq

这种方式是立即生效 但是重启后会丢失

如果需要重启后也是deadline 需要添加grub参数

编辑/etc/grub.conf

找到kernel那行 在最后添加

elevator=deadline


至此完成了此脚本中所做的优化

最后贴出一份笔者改后的(仅仅把参数变量化 方便复用)

注意: (需要root 或 sudo权限才可执行) 请将脚本中用户和盘符换成你的

#!/bin/sh
#
# Execute Only Once 只可执行一次
#
#用户名
USER=admin
#磁盘盘符
DISK=sda
##在grub.conf中添加参数 默认注释掉 需要使用请取消注释
#sed -i 's/kernel.*$/& elevator=deadline/' /etc/grub.conf

echo 'vm.overcommit_memory=1' >> /etc/sysctl.conf
echo 'vm.min_free_kbytes=5000000' >> /etc/sysctl.conf
echo 'vm.drop_caches=1' >> /etc/sysctl.conf
echo 'vm.zone_reclaim_mode=0' >> /etc/sysctl.conf
echo 'vm.max_map_count=655360' >> /etc/sysctl.conf
echo 'vm.dirty_background_ratio=50' >> /etc/sysctl.conf
echo 'vm.dirty_ratio=50' >> /etc/sysctl.conf
echo 'vm.page-cluster=3' >> /etc/sysctl.conf
echo 'vm.dirty_writeback_centisecs=360000' >> /etc/sysctl.conf
echo 'vm.swappiness=10' >> /etc/sysctl.conf
sysctl -p
echo "ulimit -n 655350" >> /etc/profile
echo "$USER hard nofile 655350" >> /etc/security/limits.conf
echo 'deadline' > /sys/block/$DISK/queue/scheduler
echo "---------------------------------------------------------------"
sysctl vm.overcommit_memory
sysctl vm.min_free_kbytes
sysctl vm.drop_caches
sysctl vm.zone_reclaim_mode
sysctl vm.max_map_count
sysctl vm.dirty_background_ratio
sysctl vm.dirty_ratio
sysctl vm.page-cluster
sysctl vm.dirty_writeback_centisecs
sysctl vm.swappiness
su - $USER -c 'ulimit -n'
cat /sys/block/$DISK/queue/scheduler

至此 优化结束。

I/O Scheduling 配置参照 http://doc.opensuse.org/products/draft/SLES/SLES-tuning_sd_draft/cha.tuning.io.html#cha.tuning.io.schedulers

阿里os.sh源脚本:

https://github.com/alibaba/RocketMQ/blob/develop/bin/os.sh


© 著作权归作者所有

共有 人打赏支持
Firxiao
粉丝 22
博文 99
码字总数 36560
作品 0
浦东
运维
私信 提问
重磅!Apache RocketMQ 深圳沙龙报名开启!

继5月份在北京成功举办第一次Meetup之后,Apache RocketMQ社区再接再厉,将于12月16日在深圳科兴科学园会议中心迎来第二次Meetup。 RocketMQ 是阿里巴巴在2012年开源的第三代分布式消息引擎,...

belindahh
2017/12/12
2
0
重磅!Apache RocketMQ 深圳沙龙报名开启!

继5月份在北京成功举办第一次Meetup之后,Apache RocketMQ社区再接再厉,将于12月16日在深圳科兴科学园会议中心迎来第二次Meetup。 RocketMQ 是阿里巴巴在2012年开源的第三代分布式消息引擎,...

belindahh
2017/12/12
0
0
Apache RocketMQ 4.0.0 (INCUBATING) 发布

Apache RocketMQ 4.0.0 (INCUBATING) 发布了。此次发布为 RocketMQ 带来了众多的特性,包括慢请求优化,优化过后99.996%的延迟落在了10ms以内,而99.6%的延迟在1ms以内。以及多个Bug修复和改...

淡漠悠然
2017/02/21
2.4K
13
RocketMQ与Kafka对比

RocketMQ与Kafka对比(18项差异) 淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步...

莫问viva
2015/05/08
0
0
《RocketMQ技术内幕:RocketMQ架构设计与实现原理》一导读

内容介绍 本书由RocketMQ社区早期的布道者和技术专家撰写,Apache RocketMQ创始人/Linux OpenMessaging创始人兼主席/Alibaba Messaging开源技术负责人冯嘉对其高度评价并作序推荐。 源码角度...

小编辑01
01/04
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Hibernate SQLite方言

以下代码有参考过github上国外某位大佬的,在发文的最新稳定版Hibernate上是可用的,有时间再仔细分析一下 import org.hibernate.dialect.Dialect;import org.hibernate.dialect.function.S...

CHONGCHEN
今天
3
0
CentOS 7 MariaDB搭建主从服务器

本文编写环境为CentOS7。确保关闭SELinux,关闭防火墙或者防打开指定端口。具体信息如下 #master[root@promote ~]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) [r...

白豆腐徐长卿
今天
10
0
介绍python中运算符优先级

下面这个表给出Python的运算符优先级,从最低的优先级(最松散地结合)到最高的优先级(最紧密地结合)。这意味着在一个表达式中,Python会首先计算表中较下面的运算符,然后在计算列在表上部...

问题终结者
今天
3
0
Spring Boot 2.x基础教程:快速入门

简介 在您第1次接触和学习Spring框架的时候,是否因为其繁杂的配置而退却了?在你第n次使用Spring框架的时候,是否觉得一堆反复黏贴的配置有一些厌烦?那么您就不妨来试试使用Spring Boot来让...

程序猿DD
昨天
9
0
SpringSecurity认证流程源码级详解

SpringSecurity认证流程源码级详解 认证流程说明 认证结果如何在多个请求之间共享 获取认证用户信息

chendom
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部