加载中
如何从零开始搭建一个技术平台

如果让你把下面这套技术体系串联起来,从零开始构建一个技术平台,你如何做需求分析呢?要点就是顺着 场景——>故事——>信息架构——>业务流程——>版本以及版本包含的功能点捋。

#数据技术选型#即席查询Shib+Presto,集群任务调度HUE+Oozie

即席查询和集群任务调度是大数据处理里的两个课题。

#研发中间件介绍#定时任务调度与管理JobCenter

说是定时任务,其实我只是登记了要调用的远端接口、通讯协议、Crontab 时间格式表达式、执行机器组、超时时间、报警接收人等而已。由 JobCenter 按时通知对端的接口,并接收任务执行者的进度...

#研发解决方案#分布式并行计算调度和管理系统Summoner

Summoner 是基于 MySQL+Redis+Zookeeper 的分布式并行计算调度和管理系统。Summoner 是 JobCenter 的延伸和有益补充,它们各自有各自的应用场景。我们还会借鉴 mesos 的先进理念,进一步提升...

技术高手如何炼成

面试的时候,我会问面试者,你日常如何构建自己的知识体系,如何让自己更高更快更强?多数工程师并没有深入地思考过这个问题,基本上是零敲碎打,随机性大。 本着不能让你白来一趟的精神,好...

2015/10/14 12:45
138
Cloud Engine:大杀器如何炼成

自动化测试、自动化构建、自动化运维、环境维护、资源申请和释放、虚拟机集群、容器集群……对于一支庞大的技术团队,这些名词术语意味着生产效率,意味着快速迭代,意味着研发、测试、运维 ...

#研发解决方案#discache-分布式缓存查询与管理系统

电商系统的分布式缓存一般是 redis 和 memcached 集群,每一个节点上会起很多实例,因为一个业务类型对应于一个端口,拆分得很清楚。既然节点很多,端口很多,业务也在变化,随时都有变动,如...

#研发解决方案#iDB-数据库自动化运维平台

iDB 的主要目的是解决绝大部分重复、复杂的数据库运维工作 ,满足业务对数据库信息查询和快速变更需求,借此提升研发效率,保证数据库操作符合审计要求,有可追溯的变更和审核日志。

#研发解决方案介绍#基于StatsD+Graphite的智能监控解决方案

大致想来,李丹刘奎还需要解决这么几个基础问题:绘图所依赖的监控原始数据如何收集?如何加工?如何存储?图形如何绘制,各种指标如何叠加?拓扑关系如何绘制?

#研发解决方案介绍#Tracing(鹰眼)

要能做到追踪每个请求的完整调用链路,收集调用链路上每个服务的性能数据,计算性能数据和比对性能指标(SLA),甚至在更远的未来能够再反馈到服务治理中,那么这就是分布式跟踪的目标了。在...

2014/12/17 14:27
404
iDB是如何运转的 一

大家都做这件事,一定是因为当数据量大到一定程度,数据重要到一定程度时,online schema change 和刷库不容有失,第一解决锁表问题,不能影响线上业务,第二搞定操作回滚问题,第三解救 DB...

2015/12/08 14:32
47
电商课题:RBAC权限控制

@郑昀汇总 名词解释: RBAC:Role-Based Access Control,基于角色的访问控制 关键词: RBAC,Java Shiro,Spring Security, 一. RBAC 要解决的常见问题 问题一: 对某一个用户只授予一些特...

研发哲学

1,Don't make me think;2,If it hurts, do it more and often;3,这个世界从来没有什么救世主;4,没有苦劳,只有功劳。

2015/05/29 22:12
248
简记 YouPorn 的技术架构

传说中占据整个互联网每秒流量2%、100Gb/s、300K queries/s的 YouPorn,关于它的 HAProxy->Varnish->Nginx->PHP-FPM->Symfony2->Doctrine->HAProxy->Redis,郑昀简要记录几点: 2012年2月开始...

2013/05/30 21:23
913
私有云的难处

『然而大中型企业用户很快意识到,真正的难点在于如何保证“大环境”一致』,是的,给你 OpenStack + Docker,给你一堆虚拟机,给你镜像库和一堆容器,你仍然很难构建出能 Run 起来的业务系统...

有些事儿,工程师可能今生仅此一次

针对某一个课题,深入思考,多方调研,做试验证明,很多工程师可能今生仅此一次:他大学毕业时做毕业论文的那次…

职业化之可以固化的六个工作模式

郑昀 汇总 20130320 职业化所包含的行为模式 ——总有一些工作套路是可以带走的 (1) 任务已读回执模式 示范A 数据中心的应答 收到数据提取邮件后立即应答: 应答人:某某 数据提取时间:1...

电商交易背景知识合集第一季

做电商开发总会遇到各种不知所谓的产品和不知所云的术语,下面串一下。

Web开发基本准则-55实录-Web访问安全

Web开发工程师请阅读下面的前端开发准则,这是第一部分,强调了过去几年里我们注意到的Web工程师务须处理的Web访问安全基础点。尤其是一些从传统软件开发转入互联网开发的工程师,请仔细阅读...

#研发解决方案#基于Apriori算法的Nginx+Lua+ELK异常流量拦截方案

在这些异常流量对我们的系统或用户产生大量危害之前,系统就应该拦截。 于是,第一个问题是,如何识别异常流量。

2015/09/23 12:29
488

没有更多内容

加载失败,请刷新页面

返回顶部
顶部