8-Storm

storm是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统,由Twitter开源官网http://storm.apache.org/。Sto...

2016/10/08 22:03
36
7-Hadoop之旅-Hbase

Hadoop生态系统 HBase简介 HBase–HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库 利用HadoopHDFS作为其文件存储系统,利用HadoopMapReduce来处理HBase中的...

2016/09/25 00:20
18
搜索引擎-elasticsearch(二)

Elasticsearch分片查询 默认是randomize across shards 随机选取,表示随机的从分片中取数据 local:指查询操作会优先在本地节点有的分片中查询,没有的话再在其它节点查询。 _primary:指查...

2016/09/24 15:04
32
搜索引擎-elasticsearch(一)

Elasticsearch是一个基于Lucene的实时的分布式搜索和分析引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便,基于RESTful接口。 –普通请求是:get?a=1 –rest请求...

2016/09/24 13:45
60
搜索引擎-Luncene

什么是lucene? Lucene是一个全文搜索框架,而不是应用产品。因此它并不像http://www.baidu.com/或者googleDesktop那么拿来就能用,它只是提供了一种工具让你能实现这些产品。 lucene能做什么...

2016/09/22 21:39
85
Impala(多图手机用户慎入,理论+实践)

Cloudera公司推出,提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive使用内存计算,兼顾数据仓库、具有实时、批处理、多并发等优点是CDH平台首选的PB级大数据实时查询分...

2016/09/21 23:11
1.6K
LVS + Keepalived

Keepalived简介 C语言开发 提高高可用High Available服务,可以为LVS、Nginx、HAProxy等实现LB提供高可用 VRRP协议(虚拟路由冗余协议)- Virtual Router Redunancy Protocol实现 CentOS 6.4...

2016/09/17 10:35
133
LVS

负载均衡解决方案 硬件解决方案 FB BIG-IP Citrix NetScaler A10 软件解决方案 四层:传输层 LVS能够在第四层对IP和端口进行配置,不能感知上层的协议 七层:应用层http(http ajp https......

LVS
2016/09/17 10:15
171
6-Hadoop之旅-Hive(二)

Hive的数据类型 –: primitive_type –| array_type –| map_type –| struct_type –:primitive_type –|TINYINT –| SMALLINT –| INT –| BIGINT –| BOOLEAN –| FLOAT –| DOUBLE –|...

2016/09/16 10:23
32
难以执行,让你不相信自己的眼睛的SQL

IDEP的SQL语句。 该语句存在性能问题,执行非常缓慢,极耗CPU,为了实现行列转换的需求,具体如下: select distinct to_char(a.svcctx_id), to_char(0), ...

2016/09/15 17:26
10
出乎意外。SQL游湖改写的飞跃性想法

select decode(so.sFileName, 'SNP_20', 'SNP', 'HNIC_2', 'HNIC', 'IBRC_2', 'IBRC', 'IISMP_', 'IISMP', 'NIC_20', 'NIC', 'NIG_20', 'NIG', 'IIC_20', 'IIC', 'HIIC_2', 'HIIC', 'CA.D.A'...

2016/09/15 17:23
5
催人泪下,拖垮生产系统的超长慢SQL

一.基本信息介绍 dcc_sys_log和dcc_ne_log两表皆无主键 统计信息都已收集 analyze table dcc_sys_log compute statistics for table for all indexes for all indexed columns; analyze ta...

2016/09/15 17:20
14
Hadoop HA 高可用集群搭建配置(经过测试)

集群环境 准备 参考资料 High Avaliability With QJM http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html zookeeper http://zookeepe...

2016/09/15 13:39
64
Hadoop完全分布式配置(测试通过)

集群环境 准备 IP Namenode SecondaryNamenode DataNode master 192.168.1.200 1 slave1 192.168.1.201 1 1 slave2 192.168.1.202 1 slave3 192.168.1.203 1 网络配置 hosts 防火墙关闭 #vim...

2016/09/15 10:22
26
5-Hadoop之旅-Hive(一)

Hive能做什么? Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低...

2016/09/12 22:11
102
4-Hadoop1.x VS Hadoop2.x

Hadoop 2.0 产生背景 Hadoop 1.0 中HDFS和MapReduce在高可用、扩展性等方面存在问题 HDFS 存在的问题 NameNode单点故障,难以应用于在线场景; NameNode压力过大,且内存受限,影响系统扩展性...

2016/09/11 00:52
70
2-Hadoop学习之旅-MapReduce

Mapreduce是一个计算框架,既然是做计算的框架,那么表现形式就是有个输入(input),mapreduce操作这个输入(input),通过本身定义好的计算模型,得到一个输出(output),这个输出就是我们...

2016/09/10 23:42
122
1-Hadoop学习之旅-HDFS

Hadoop简介(2.5.1版本) 分布式存储系统HDFS(Hadoop Distributed File System) 分布式存储系统 提高了高可靠性、高扩展性和高吞吐率的数据存储服务 分布式计算框架MapReduce 分布式计算框...

2016/09/10 22:03
29
Nginx与Serssion一致性问题

http协议是无状态的,即你连续访问某个网站100次和访问1次对服务器来说是没有区别的,因为它记不住你。那么在一些场合,确实需要服务器记住当前用户怎么办?比如用户登录邮箱后,接下来要收邮...

2016/09/10 18:09
58
Nginx实现虚拟主机和反向代理

Nginx和apache的有缺点 nginx相对于apache的优点 轻量级,同样起web服务,比apache占用更少的内存及资源 抗并发,nginx处理请求是异步非阻塞的,apache则是阻塞型的,在高并发下nginx能保持低...

2016/09/10 17:21
38

没有更多内容

加载失败,请刷新页面