加载中
再谈使用开源软件搭建数据分析平台

三年前,我写了这篇博客使用开源软件快速搭建数据分析平台, 当时收到了许多的反馈,有50个点赞和300+的收藏。到现在我还能收到一些关于dataplay2的问题。在过去的三年,开源社区和新技术的发...

使用开源软件快速搭建数据分析平台

本文介绍了如何使用开源软件迅速的搭建一个数据分析平台,包含数据导入,变形,分析,预测,可视化。

2016/03/03 22:38
9.4W
大数据系统数据采集产品的架构分析

任何完整的大数据平台,一般包括以下的几个过程: 数据采集 数据存储 数据处理 数据展现(可视化,报表和监控) 其中,数据采集是所有数据系统必不可少的,随着大数据越来越被重视,数据采集...

2015/10/31 20:32
1.4W
微前端,将微服务理念扩展到前端开发

由多个可以独立发布功能的团队构建现代Web应用程序的技术,策略和方法。 什么是微前端? “微前端”一词最早于2016年底在ThoughtWorks Technology Radar中提出。它将微服务的概念扩展到了前端...

04/14 14:09
2.1W
刚哥谈架构 (十一) 开源API网关架构分析

春未老,风细柳斜斜。试上超然台上望,半壕春水一城花。烟雨暗千家。 寒食后,酒醒却咨嗟。休对故人思故国,且将新火试新茶。诗酒趁年华。 苏轼·送《望江南·超然台作》 春天来了,樱花开了...

Elasticsearch和Clickhouse基本查询对比

Elasticsearch 是一个实时的分布式搜索分析引擎,它的底层是构建在Lucene之上的。简单来说是通过扩展Lucene的搜索能力,使其具有分布式的功能。ES通常会和其它两个开源组件logstash(日志采集...

开源动态数据管理框架Apache Calcite

随着大数据处理系统诸如流处理Flink,Storm,文本搜索Elastic,批处理Spark,OLAP系统Druid等的发展和流行,组织投资于根据其特定需求量身定制的数据处理系统,出现了两个问题: 开发人员开发...

刚哥谈架构 (九) 开源关系型数据库架构

我之前跟大家分享了数据库架构(刚哥谈架构 (五) 谈谈数据库架构),今天我们来讨论一下数据库中最为常见的关系型数据库的架构。 我们把主要的开源关系型数据库分为三类,来分别了解一下它...

刚哥谈架构 (五) 谈谈数据库架构

无论是构建什么样的应用,大都离不开数据。而在应用的架构设计中,如何设计数据库,使用什么类型的数据库,就是一个架构师必须了解的。所有的数据库的共同点都是以某种方式存储数据,以某种接...

2020/02/17 06:12
3.3W
刚哥带你参加国际顶级技术会议 - Kubecon西雅图2018 - Kubernetes设计原则

软件业有如时尚业,新产品,新技术,新概念层出不穷,作为码农,如果不了解业内最新的技术动向,往往会陷入闭门造车的困境。睁眼看世界对于我们的产品开发和设计都是非常有意的一件事情。但是...

2020/01/09 16:09
2.4K
刚哥谈架构 (四)- 推荐给架构师的书单

“回日楼台非甲帐,去时冠剑是丁年” 今天收到豆瓣的2019年的总结,发现自己已经在豆瓣渡过10个春秋。今年读了69本书,有很多书非常棒。今天我就给各位架构师,程序员,码农推荐一些我觉得对...

2019/12/30 14:29
3.4K
一文读懂微服务监控之分布式追踪

现在越来越多的应用迁移到基于微服务的云原生的架构之上,微服务架构很强大,但是同时也带来了很多的挑战,尤其是如何对应用进行调试,如何监控多个服务间的调用关系和状态。如何有效的对微服...

2019/08/08 05:56
1.1K
读书笔记:A Philosophy of Software Design (一)

今天一位同事在斯坦福的博士生导师John Ousterhout (注,Tcl语言的设计者)来公司做了他的新书《A Philosophy of Software Design》的演讲,介绍了他对于软件设计的思考。这里我把本书的读书...

2018/09/01 13:11
1.6W
Pyflow : 一个基于工作流的编程模型(Flow Based Programing) 工具

Flow Based Programing 是由J. Paul Rodker Morrison在很早以前提出的一种编程范式。 维基百科对FBP的定义如下: In computer programming, flow-based programming (FBP) is a programming...

2018/05/28 05:16
2.5W
基于容器应用设计的原则,模式和反模式

容器和容器编排(Kubernetes)的广泛使用,让我们可以轻松的构建基于微服务的“云原生”(Cloud Native)的应用。容器成为了云时代的新的编程单元,类似面向对象概念下的对象,J2EE中的组件或...

2018/05/10 02:39
3K
使用Heapster和Splunk监控Kubernetes运行性能

Kubernetes已经成为容器编排的事实上的王者,连Docker都已经向K8s女王大人低头。对于Kubernetes的cluster的数据收集和监控已经成为IT运维的一个重要话题。我们今天来看一看如何利用Splunk最新...

用Python实现一个大数据搜索引擎

搜索是大数据领域里常见的需求。Splunk和ELK分别是该领域在非开源和开源领域里的领导者。本文利用很少的Python代码实现了一个基本的数据搜索功能,试图让大家理解大数据搜索的基本原理。 布隆...

2017/11/24 10:49
1.3W
把代码执行演示嵌在你的PPT中

“Talk is cheap, show me your code!” 当一个程序员在做技术分享的时候, 代码演示经常是不可或缺的一个环节。然而在你的演示PPT和代码运行之间切换是一件非常恼人事情,而且非常影响演示的...

2017/09/06 20:15
1.8W
微服务部署方式的演进

Mutable Monster Server 最早的巨石架构,应用本身包含状态,整个应用部署在物理节点上,要升级通常需要对整个应用升级,一般需要停止服务。并且这样的架构很难横向扩展。 Immutable Server...

2017/04/12 16:41
738
微服务中的模式和反模式

微服务中的常见设计模式 软件开发者对“四人帮”的《设计模式》一书应该都很熟悉,微服务中也会有一些常见的模式: 部署模式 如何部署服务是微服务中的一个重要问题,微服务的部署方式非常灵...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部