加载中
Faker 快速构造测试数据

Faker是什么 在软件开发过程中,构造测试数据是必须的工作,可以通过SQL脚本等方式构造,但总体还是比较麻烦,花费较多的精力,利用Python生态的Faker包可以青松的构造各种文化下的随机信息(...

01/30 10:09
8
Hive 实用的第三方 UDF 收集

在GitHub上有丰富的Hive UDF资源,可针对项目需要进行拉取使用。 以下记录hive-third-functions的部署和使用 部署安装 安装依赖的jdo2-api-2.3-ec.jar [root@server01 hive_third_jars]# wg...

2018/12/28 13:43
17
windows 10安装 superset 集成kylin2.5.0

Superset 是一个数据探索和可视化平台,设计用来提供直观的,可视化的,交互式的分析体验,专注于数据可视化展现。 Superset 提供了两种分析数据源的方式: 1. 用户可以以单表形式直接查询多...

Kylin2.5.0环境搭建及操作记录

Apache Kylin是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的H...

Hive on Spark 伪分布式环境搭建过程记录

进入hive cli是,会有如下提示: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) ...

Hive 数据倾斜 和常用优化策略

Hive的数据倾斜 数据分布不均匀,造成数据热点,引起性能问题。Jobs 数比较多的作业运行效率相对比较低。主要表现为,任务进度长时间维持在 99%或者 100%的附近,查看任务监控页面,发现只有...

2018/11/26 19:20
13
Hive 高级应用及分析窗口函数

Hive高级应用 1、支持复杂数据类型 array,map,struct 支持对应复杂数据类型的遍历和查询 2、支持视图 3、函数 3.1、丰富的内置函数 3.2、支持自定义Java处理类,以jar文件的方式添加至Hiv...

2018/11/26 18:31
55
各种视频监控上墙方案的比较

方案1、一使用 DVR 、NVR 直接显示上墙 不得不说,这种办法是成本最低廉的,但这里有不少限制: 无法实现分散点的集中上墙。譬如连锁经营的酒店,如果我在总部建立一个集中上墙的环境,这个就...

2018/11/18 18:57
73
Ansible 基础入门及安装

Ansible :一个配置管理和IT自动化工具 ansible是新出现的自动化运维工具,基于Python开发,集合了众多运维工具(puppet、cfengine、chef、func、fabric)的优点,实现了批量系统配置、批量程...

2018/11/18 18:37
14
Docker 基础及安装

Docker 是一个开源工具,它可以让创建和管理 Linux 容器变得简单。容器就像是轻量级的虚拟机,并且可以以毫秒级的速度来启动或停止。Docker 帮助系统管理员和程序员在容器中开发应用程序,并...

Superset 自助数据分析工具安装记录

SupersetSuperset其实是一个自助式数据分析工具,它的主要目标是简化我们的数据探索分析操作,它的强大之处在于整个过程一气呵成,几乎不用片刻的等待。 Superset 的特性 Superset通过让用户...

2018/11/18 18:15
101
Grafana 度量仪表盘和图形编辑器安装配置

1、Grafana介绍 Grafana 是基于JS开发的,功能齐全的度量仪表盘和图形编辑器,帮助开发人员发现问题的工具 Grafana是一个可视化面板(Dashboard),有着非常漂亮的图表和布局展示,功能齐全的...

2018/11/18 18:08
99
Prometheus + Grafana 监控 Linux 和 MySQL 安装配置

一、介绍Prometheus Prometheus(普罗米修斯)是一套开源的监控&报警&时间序列数据库的组合,起始是由SoundCloud公司开发的。随着发展,越来越多公司和组织接受采用Prometheus,社区也十分活...

2018/11/18 18:03
123
RTDB 实时数据库RTDB(Real-Time Data Base)基础

实时数据库RTDB(Real-Time Data Base)是数据和事务都有定时特性或显示的定时限制的数据库。它适用于处理不断更新的快速变化的数据及具有时间限制的事务处理。RTDB的本质特征就是定时限制,...

2018/11/18 17:54
59
Redis 集群安装配置及调研记录

Redis简介 REmote DIctionary Server(Redis) Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。通常被称...

2018/11/18 17:48
13
MySQL 数据库中间件 安装部署测试全过程

1、环境准备 1.1、操作系统环境 [root@MyCat conf]# uname -a Linux MyCat 2.6.32-431.el6.x86_64 #1 SMP Sun Nov 10 22:19:54 EST 2013 x86_64 x86_64 x86_64 GNU/Linux 1.2、关闭SELINUX [...

2018/11/17 11:14
23
MySQL 数据库中间件 MyCAT 基础解析

前言 网络应用持续扩张的过程中,为了处理海量数据往往首先遇到的挑战就是数据存储的扩展 数据存储的扩展一般以切分来实现,切分的技术实现又可分为垂直切分和水平切分: 以表(或Schema)为切...

2018/11/17 10:49
47
MySQL 备份恢复

MySQL备份恢复 1、直接CP备份(冷备)恢复 检查备份前数据库状态 mysql> show databases; mysql> use test; mysql> show tables; 向所有表施加读锁 mysql> flush tables with read lock; mkdi...

MySQL 数据库分库分片梳理解析

数据库分库分表Sharding技术 1、基本思想 Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(server)上,从而缓解单一数据库的性能问题。不太严格的讲,对于海量数据的数据...

MySQL Replication 梳理详解

MySQL Replication 1 MySQL5.5以前的复制 异步、SQL线程串行化回放 MySQL内建的复制功能是构建大型,高性能应用程序的基础。主服务器将更新写入二进制日志文件,从服务器重新执行一遍来实现的...

2018/11/15 21:03
39

没有更多内容

加载失败,请刷新页面

返回顶部
顶部