文档章节

Spring Batch 基本的批处理指导原则

honeymose
 honeymose
发布于 01/13 07:45
字数 795
阅读 8
收藏 0

下面是一些关键的指导原则,可以在构批量处理解决方案可以参考:

  • 请记住,通常皮脸处理体系结构将会影响在线应用的体系结构,同时反过来也是一样的。在你为批量任务和在线应用进行设计架构和环境的时候请尽可能的使用公共的模块。
  • 越简单越好,尽量在一个单独的批量应用中构建简单的批量处理,并避免复杂的逻辑结构。
  • 尽量的保持存储的数据和进程存储在同一个地方(换句话说就是尽量将数据保存到你程序运行的地方)。
  • 最小化系统资源的使用,尤其针对 I/O。尽量在内存中执行尽可能多的操作。
  • 检查应用的 I/O(分析 SQL 语句)来避免不必要的的物理 I/O 使用。特别是以下四个常见的缺陷(flaws)需要避免:
    1. 在数据可以只读一次就可以缓存起来的情况下,针对每一个事务都来读取数据
    2. 多次读取/查询同一事务中已经读取过的数据
    3. 产生不必要的表格或者索引扫描
    4. 在 SQL 查询中不指定 WHERE 查询的值。
  • 在批量运行的时候不要将一件事重复 2 次。例如,如果你需要针对你需要报表的数据汇总,请在处理每一条记录时使用增量来存储,尽可能不要再去遍历一次同样的数据。
  • 为批量进程在开始的时候就分配足够的内存,以避免在运行的时候再次分配内存。
  • 总是将数据完整性假定为最坏情况。对数据进行适当的检查和数据校验以保持数据完整性(integrity)。
  • 可能的话,请实现内部校验(checksums )。例如,针对文本文件,应该有一条结尾记录,这个记录将会说明文件中的总记录数和关键字段的集合(aggregate)。
  • 尽可能早地在模拟生产环境下使用真实的数据量,以便于进行计划和执行压力测试。
  • 在大数据量的批量中,数据备份可能会非常复杂和充满挑战,尤其是你的系统要求不间断(24 - 7)运行的系统。数据库备份通常在设计时就考虑好了,但是文件备份也应该提升到同样的重要程度。如果系统依赖于文本文件,文件备份程序不仅要正确设置和形成文档,还要定期进行测试。

https://www.cwiki.us/display/SpringBatchZH/General+Batch+Principles+and+Guidelines

© 著作权归作者所有

共有 人打赏支持
honeymose
粉丝 4
博文 433
码字总数 198411
作品 0
东城
私信 提问
Spring Batch:简化批处理和离线处理的开发

作者 Ryan Slobojan 译者 宋玮 发布于 2008年7月4日 上午1时17分 转自 http://www.infoq.com/cn/news/2008/07/spring-batch-zh Spring Batch项目是一个轻量级的全面的基于Spring的批处理框架...

feewo
2010/10/20
1K
0
Spring Batch 使用场景

一个标准的批处理程序通常会从数据库,文件或者队列中读取大量的数据和记录,然后对获取的数据进行处理,然后将修改后的格式写回到数据库中。 通常 Spring Batch 在离线模式下进行工作,不需...

honeymose
01/13
0
0
Spring Batch 4.1 GA 发布,用于编写批处理应用的框架

Spring Batch 4.1 GA 正式发布了,可以在 Spring Boot 2.1 中使用 Spring Batch 4.1 GA 版本。 Spring Batch 4.1 GA 的更新亮点: 增加新的 注解用于简化测试批处理组件 增加新的 注解,用于...

达尔文
2018/11/01
1K
0
Spring Batch 之 背景框架简介

版权声明: https://blog.csdn.net/wuzhiwei549/article/details/85392128 Spring Batch 是一个轻量级的、全面的批处理框架,用于开发对企业系统的日常操作至关重要的健壮批处理应用程序。S...

91Vincent
2018/12/30
0
0
Spring Batch 之 Spring Batch 简介(一)

Spring Batch是一个轻量级的,完全面向Spring的批处理框架,可以应用于企业级大量的数据处理系统。Spring Batch以POJO和大家熟知的Spring框架为基础,使开发者更容易的访问和利用企业级服务。...

长平狐
2012/08/27
985
1

没有更多内容

加载失败,请刷新页面

加载更多

外教比较

确定收费的模式 确定授课的模式 确定教学的方式-用什么样的方式能让人更快更好的学会 确定核心竞争力-比如我们的师资是牛津大学的 英语流利说 收费的模式-报特色课程,比如训练营之类的,其实...

V字仇杀
17分钟前
1
0
上下文无关文法介绍

上下文无关文法 上下文无关文法是用来描述程序语言的一种表达方式,通过简单的符号描述语言的集合。正如我们所知道,一个程序即为一个句子(字符串),语言就是所有句子的集合。上下文无关文...

陶小陶
27分钟前
3
0
eggjs与sequelize简单demo

参考 egg 官方文档 安装 // 依赖npm install --save egg-sequelize mysql2// ts 类型npm install --save @types/sequelize 插件,config/plugin.ts import { EggPlugin } from 'egg';......

Geeyu
今天
1
0
看过上百部片子的这个人教你视频标签算法解析

本文由云+社区发表 随着内容时代的来临,多媒体信息,特别是视频信息的分析和理解需求,如图像分类、图像打标签、视频处理等等,变得越发迫切。目前图像分类已经发展了多年,在一定条件下已经...

腾讯云加社区
今天
4
0
2. 红黑树

定义:红黑树(Red-Black Tree,简称R-B Tree),它一种特殊的二叉查找树(Binary Search Tree)。 要理解红黑树,先要了解什么是二叉查找树。在上一章中,我们学习了什么是二叉树,以及二叉树...

火拳-艾斯
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部