Easy Scheduler Release 1.0.2 Easy Scheduler 1.0.2是1.x系列中的第三个版本。此版本增加了调度开放接口、worker分组(指定任务运行的机器组)、任务流程及服务监控以及对oracle、clickhouse等...

系统架构设计 在对调度系统架构说明之前，我们先来认识一下调度系统常用的名词 1.名词解释 DAG： 全称Directed Acyclic Graph，简称DAG。工作流中的Task任务以有向无环图的形式组装起来，从入...

分布式工作流任务调度系统Easy Scheduler正式开源 1、背景 在多位技术小伙伴的努力下，经过近2年的研发迭代、内部业务剥离及重构，也经历一批种子用户试用一段时间后，EasyScheduler终于迎来...

数据库做拆分的几种方式： 1．按功能划分（垂直切分） 将不同功能相关的表放到不同的数据库中，这样做的好处是非常直观。但当某一部分的功能其数据量或性能要求超出了可控的范围，就需要继续...

各大互联网公司架构演进之路汇总 大型网站架构演化历程 大型网站架构技术一览 Web 支付宝和蚂蚁花呗的技术架构及实践 支付宝的高可用与容灾架构演进 聚划算架构演进和系统优化 （视频+PPT） ...

提纲很简单的： 一、概述 二、目的 三、项目背景 四、系统建设目标 五、参考资料 六、架构设计 6.1 架构分析 6.2 设计思想 6.3 架构体系 6.4 系统视图 6.5 模块划分 6.5.1 模块描述 6.5.2 模...

大数据安全规范 一、概述 大数据的安全体系分为五个层次：周边安全、数据安全、访问安全(认证 - authentication和授权 - authorization)、访问行为可见、错误处理和异常管理。下面依次说明：...

大数据风控指标介绍 2016-03-24 大林 1查准率与查全率 先说个例子，申请人有400个，其中有160个是好人，240个是坏人。我们用一个模型A，挑出了100个好人，其中真正的好人是80个，剩下20个是漏...

原文链接：https://blogs.apache.org/flume/entry/apache_flume_filechannel 说明：翻译在尽量符合原文表达的基础上，尽量保证行文流畅。水平有限，请多指正！ 这篇文章是关于Flume FileCha...

mysql数据库切分 前言 通过MySQLReplication功能所实现的扩展总是会受到数据库大小的限制，一旦数据库过于庞大，尤其是当写入过于频繁，很难由一台主机支撑的时候，我们还是会面临到扩展瓶颈...

在hadoop测试集群运行job的过程中发现部分运行失败，有Cannot obtain block length for LocatedBlock，使用hdfs dfs -cat ${文件}的时候也报这个错，看过代码后发现是文件未被正常关闭(flum...

region分裂有2种触发情景：1是用户手动触发(参见HRegionServer的splitRegion方法)，2是后台flush线程flush完一个region的memstore时，会去检查这个region是否需要分裂(参见MemStoreFlushe的f...

背景 hbase主集群在生产环境已稳定运行有1年半时间，最大的单表region数已达7200多个，每天新增入库量就有百亿条，对hbase的认识经历了懵懂到熟的过程。为了应对业务数据的压力，hbase入库也...

如何确定Yarn中容器Container，Mapreduce相关参数的内存设置，对于初始集群，由于不知道集群的类型(如cpu密集、内存密集)我们需要根据经验提供给我们一个参考配置值，来作为基础的配置。 完成...

数据库做拆分的几种方式：按功能划分（垂直切分） 按表中某一字段值的范围划分（水平切分） 基于hash的切分 基于路由表的切分