加载中
#研发解决方案#分布式并行计算调度和管理系统Summoner

Summoner 是基于 MySQL+Redis+Zookeeper 的分布式并行计算调度和管理系统。Summoner 是 JobCenter 的延伸和有益补充,它们各自有各自的应用场景。我们还会借鉴 mesos 的先进理念,进一步提升...

#研发中间件介绍#定时任务调度与管理JobCenter

说是定时任务,其实我只是登记了要调用的远端接口、通讯协议、Crontab 时间格式表达式、执行机器组、超时时间、报警接收人等而已。由 JobCenter 按时通知对端的接口,并接收任务执行者的进度...

如何从零开始搭建一个技术平台

如果让你把下面这套技术体系串联起来,从零开始构建一个技术平台,你如何做需求分析呢?要点就是顺着 场景——>故事——>信息架构——>业务流程——>版本以及版本包含的功能点捋。

#研发解决方案介绍#基于持久化配置中心的业务降级

在这种被动的场景下,可以力保核心购买流程能走通,保证基本可用性,即确保能够下单和提交支付,保证钱能流进来,同时保证消费验证。 所以业务降级的做法是,逐一全局关闭非核心流程的业务功...

各大公司容器云的技术栈对比

本次容器技术大会和QCon大会上,360/点评/阿里/汽车之家/UCloud……都讲述了容器云的技术栈选型以及遇到的问题,这里做一个汇总,同时分享窝窝容器私有云的技术栈。

2015/11/02 22:10
873
#数据技术选型#即席查询Shib+Presto,集群任务调度HUE+Oozie

即席查询和集群任务调度是大数据处理里的两个课题。

私有云的难处

『然而大中型企业用户很快意识到,真正的难点在于如何保证“大环境”一致』,是的,给你 OpenStack + Docker,给你一堆虚拟机,给你镜像库和一堆容器,你仍然很难构建出能 Run 起来的业务系统...

#研发解决方案介绍#基于ES的搜索+筛选+排序解决方案

由于在商城模式下,不同频道很可能不断增加新筛选条件,导致筛选组合越来越复杂,最终可能要求我们从基于 NoSQL 的排序和筛选方案,尽快转变为基于搜索引擎的排序和筛选方案。

Cloud Engine:大杀器如何炼成

自动化测试、自动化构建、自动化运维、环境维护、资源申请和释放、虚拟机集群、容器集群……对于一支庞大的技术团队,这些名词术语意味着生产效率,意味着快速迭代,意味着研发、测试、运维 ...

简记 YouPorn 的技术架构

传说中占据整个互联网每秒流量2%、100Gb/s、300K queries/s的 YouPorn,关于它的 HAProxy->Varnish->Nginx->PHP-FPM->Symfony2->Doctrine->HAProxy->Redis,郑昀简要记录几点: 2012年2月开始...

2013/05/30 21:23
913
容器私有云和持续发布都要解决哪些基础问题 第一集

我们在构建基于容器的私有云以及相应的持续发布时,遇到并解决了哪些问题呢?

再说memcache的multiget hole(无底洞)

关键词:multiget hole,memcache 适用于:java,php 基础知识背景: 1)multiget 是什么: multiget 指的是从 memcache(或其他分布式缓存) 一次性获得多个键值,一般由 memcached client...

2013/09/13 09:21
88
55最佳实践系列:MongoDB最佳实践

@郑昀汇总 创建日期:2012/9 Application Design: 1) 如果发现query没使用你预期的索引,请用hint强制使用指定索引 主站商品中心所使用的文档字段很多,各种索引建得也不少。在沙创排查慢查...

电商课题VI:分布式Session

@郑昀汇总 与分布式缓存在高并发和高可用下所要解决问题差不多。 一.图示: 二.高并发下分布式Session需解决的问题: 透明处理存储介质的故障转移 动态增删节点,减小“缓存颠簸”问题 保证数...

电商课题:幂等性

@郑昀汇总 关键词: idempotency,BASE, 一. 断言: 幂等性的数学表达:f(f(x)) = f(x)。 幂等性是系统接口对外的一种承诺。 幂等性指的是,使用相同参数对同一资源重复调用某个接口的结果与...

2012/11/24 14:06
135
Tumblr的消息通知系统是如何构建的

2012·2汇总 Tumblr是世界上最流行的轻博客服务之一,2007年成立。 一,MySQL+Memcached 初期,其通知系统是由 MySQL+Memcached 的传统架构组成。 缺点: MySQL负担重,表象就是 MySQL 并发...

2013/02/08 22:50
2.6K
#研发解决方案介绍#基于StatsD+Graphite的智能监控解决方案

大致想来,李丹刘奎还需要解决这么几个基础问题:绘图所依赖的监控原始数据如何收集?如何加工?如何存储?图形如何绘制,各种指标如何叠加?拓扑关系如何绘制?

#研发中间件介绍#异步消息可靠推送Notify

最终我们还是选择自己来面对如下场景,采用 Push 模式(NotifyServer 主动向下游 Push 消息)

2014/12/16 15:41
246
有些事儿,工程师可能今生仅此一次

针对某一个课题,深入思考,多方调研,做试验证明,很多工程师可能今生仅此一次:他大学毕业时做毕业论文的那次…

小伙伴们手滑集

其他血泪史参考《被小伙伴们吓哭了:可怕的命令》和《理工宅之——那些年我们闯过的祸……系列》。

没有更多内容

加载失败,请刷新页面

返回顶部
顶部