数据同步的需求,在日常的开发运维环境中是比较常见的需求,通过不同业务,不同存储之间的数据同步,继而达到满足不同业务场景的诉求。接下来我们借助笔者参与的 《Mysql->ES 数据同步项目》...
API是模块或者子系统之间交互的接口定义。好的系统架构离不开好的API设计,而一个设计不够完善的API则注定会导致系统的后续发展和维护非常困难。 以下谈一点API设计的原则。 业务层 业务语义...
1、服务化是什么? 网上有很多的对于服务化理解,我所理解的服务化,是一种服务粒度的切分,包括本质问题的通用解决方案,以及差异解决方案。服务化的目的就是透过场景看自身,而不是将自身去...
在高并发的场景下,为了提升接口的响应速度,增大系统的吞吐量,我们一般需要增加缓存设计来提升相关的性能。那么对于缓存设计需要注意些什么呢?这便是本博客讨论的内容。 缓存设计需要从多...
今天写了一个比较长的流程业务,不想启动web容器进行测试,就本地写了一个Junit的测试类进行单元测试,但是由于使用Spring,Junit在使用的时候需要手动加载容器上下文,比较麻烦,所以干脆直...
最近发现在项目的框架中,使用了Condition来进行线程间的通信。并且使用的方式是如下的方式。 ...................Thread1........................ try{ Lock.lock(); Condition.await(lon...
SPI即Service Provider Interface,用于提供一些服务给第三方实现或扩展,可以增强框架的扩展或者替换一些组件,其实就是约定的一种规范,可以参考JDBC,不同厂家使用相同的约束去实现不同的...
SkipList是一种有序的数据结构,它通过在每个节点中维持多个指向其它节点的指针,从而达到快速访问节点的目的。 跳跃表支持平均O(logN),最坏O(N)负责度的节点查找。还可以通过顺序性操作来批...
通常在向Spark传递函数的时候,可以使用驱动器程序中定义的变量,但是集群中运行的每个任务都会得到这些变量的一个新的副本,更新这些副本的值也不会影响到驱动器中对应变量。Spark的两个共享...
1、PairRDD的转换操作 Pair RDD的转化操作(以键值对集合{(1, 2), (3, 4), (3, 6)}为例) 函数名 目的 示例 结果 reduceByKey(func) 合并具有相同键的值 rdd.reduceByKey((x, y) => x + y) {...
令牌桶算法是网络流量整形(Traffic Shaping)和速率限制(Rate Limiting)中最常使用的一种算法。典型情况下,令牌桶算法用来控制发送到网络上的数据的数目,并允许突发数据的发送。 大小固...
没有更多内容
加载失败,请刷新页面
文章删除后无法恢复,确定删除此文章吗?
动弹删除后,数据将无法恢复
评论删除后,数据将无法恢复