加载中
kafka 性能调优

# 每个topic默认partition数量,根据消费者实际情况配置,配置过小会影响消费性能 num.partitions=50 #日志传输时候的压缩格式,可选择lz4, snappy, gzip,不压缩。建议打开压缩,可以提高传输...

2017/06/02 15:59
73
logstash5.4 安装配置

一、下载用yum 安装 二、插件 查看可安装的插件 /usr/share/logstash/bin/logstash-plugin list 安装插件 /usr/share/logstash/bin/logstash-plugin install logstash-filter-date /usr/sh...

2017/05/25 17:09
202
spark 性能调优

算子优化 1、rdd持久化: //需要常用的rdd,并且计算时间长 //直接在内存的StorageLevel.MEMORY_ONLY //内存溢出时建议使用MEMORY_ONLY_SER,先序列化再保存在内存中 //内存还是不够的化,MEM...

2017/02/14 18:07
34
celery + redis

celery 是一种分布式任务队列 以下是需要理解的几种概念 任务:消息队列里面的一个工作单元 分布式:独立Worker可以布在不同的机器上,一个worker可以指定并发数 Broker:消息通讯的中间人,...

2017/01/23 15:58
99
scrapy使用

scrapy是python的开源爬虫框架,个人觉得还蛮好用的 安装就不多提了,官网上有很详细的安装流程 创建项目 scrapy startproject web_spider 便会出现以下目录结构 web_spider/ scrapy.cfg...

2017/01/10 18:01
211
GreenPlum 使用

GreenPlum简介 GP是一个关系型数据库集群,由数个独立的数据库服务组合成的逻辑数据库,采用Shared-Nothing架构,整个集群由很多个数据节点(Segment Host)和控制节点(Master Host)组成,其...

2017/01/10 16:52
330

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部