加载中
hadoop中排序之基于spark之上的性能测试

排序可以说是很多日志系统的硬指标(如按照时间逆序排序),如果一个大数据系统不能进行排序,基本上是这个系统属于不可用状态,排序算得上是大数据系统的一个“刚需”,无论大数据采用的是h...

SparkSQL性能调优与优化指南

spark 内存泄露 1.高并发情况下的内存泄露的具体表现 很遗憾,Spark的设计架构并不是为了高并发请求而设计的,我们尝试在网络条件不好的集群下,进行100并发的查询,在压测3天后发现了内存泄...

sparksql性能比对测试

关于spark的性能,基于YDB的对比,做了一个测试,保留备用。 一、YDB与spark sql在排序上的性能对比测试 在排序上,YDB具有绝对优势,无论是全表,还是基于任意条件组合过滤,基本秒杀Spark...

2017/03/07 10:56
1.1K
基于spark之上的即席分析-卓越性能

为探索性分析与即席分析而设计 YDB全称延云YDB:是一个基于Hadoop分布式架构下的实时的、多维的、交互式的查询、统计、分析引擎,具有万亿数据规模下的秒级性能表现,并具备企业级的稳定可靠...

基于spark之上的即席分析-基础环境设置

1.Ulimit配置 操作系统默认只能打开1024个文件,打开的文件超过这个数发现程序会有“too many open files”的错误,1024对于大数据系统来说显然是不够的,如果不设置,基本上整个大数据系统是...

基于spark之上的即席分析-日志分析场景

YDB 场景精选之运维日志、 业务日志、 交易流水日志的搜索与分析 通过方便灵活的日志搜索分析,帮助用户及时发现问题 统一日志查询平台,程序故障定位平台 开发与运维人员经常需要登录线上生...

基于spark之上的即席分析-技术原理

一.YDB的本质? 在Spark之上基于搜索引擎技术,实现索引和搜索功能。 既有搜索引擎的查询速度,又有Spark强大的分析计算能力。 可对多个字段进行关键字全匹配或模糊匹配检索,并可对检索结果集...

基于spark之上的即席分析-spark内存泄漏及源码调优

spark 内存泄露 1. 高并发情况下的内存泄露的具体表现 很遗憾, spark 的设计架构并不是为了高并发请求而设计的,我们尝试在网络条件不好的集群下,进行 100 并发的查询,在压测 3 天后发现了...

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部