加载中
再谈使用开源软件搭建数据分析平台

三年前,我写了这篇博客使用开源软件快速搭建数据分析平台, 当时收到了许多的反馈,有50个点赞和300+的收藏。到现在我还能收到一些关于dataplay2的问题。在过去的三年,开源社区和新技术的发...

使用开源软件快速搭建数据分析平台

本文介绍了如何使用开源软件迅速的搭建一个数据分析平台,包含数据导入,变形,分析,预测,可视化。

2016/03/03 22:38
11.6W
大数据系统数据采集产品的架构分析

任何完整的大数据平台,一般包括以下的几个过程: 数据采集 数据存储 数据处理 数据展现(可视化,报表和监控) 其中,数据采集是所有数据系统必不可少的,随着大数据越来越被重视,数据采集...

2015/10/31 20:32
1.6W
刚哥谈架构(十四)大数据软件开源版图(续)

在上一篇的 刚哥谈架构(十三)大数据软件开源版图中因为篇幅问题,没有对大数据开源版图中的各个部分的内容做详细的介绍今天我们就接着上次的话题,具体看看在大数据开源版图中的各部分内容...

刚哥谈架构(十三)大数据软件开源版图

开源一词最初是指开源软件(OSS)。开源软件是源代码可以任意获取的计算机软件,任何人都能查看、修改和分发他们认为合适的代码。 开源软件依托同行评审和社区生产,皆以分散、协作的方式开发...

微前端,将微服务理念扩展到前端开发

由多个可以独立发布功能的团队构建现代Web应用程序的技术,策略和方法。 什么是微前端? “微前端”一词最早于2016年底在ThoughtWorks Technology Radar中提出。它将微服务的概念扩展到了前端...

刚哥谈架构 (十一) 开源API网关架构分析

春未老,风细柳斜斜。试上超然台上望,半壕春水一城花。烟雨暗千家。 寒食后,酒醒却咨嗟。休对故人思故国,且将新火试新茶。诗酒趁年华。 苏轼·送《望江南·超然台作》 春天来了,樱花开了...

Elasticsearch和Clickhouse基本查询对比

Elasticsearch 是一个实时的分布式搜索分析引擎,它的底层是构建在Lucene之上的。简单来说是通过扩展Lucene的搜索能力,使其具有分布式的功能。ES通常会和其它两个开源组件logstash(日志采集...

开源动态数据管理框架Apache Calcite

随着大数据处理系统诸如流处理Flink,Storm,文本搜索Elastic,批处理Spark,OLAP系统Druid等的发展和流行,组织投资于根据其特定需求量身定制的数据处理系统,出现了两个问题: 开发人员开发...

刚哥谈架构 (九) 开源关系型数据库架构

我之前跟大家分享了数据库架构(刚哥谈架构 (五) 谈谈数据库架构),今天我们来讨论一下数据库中最为常见的关系型数据库的架构。 我们把主要的开源关系型数据库分为三类,来分别了解一下它...

刚哥谈架构 (五) 谈谈数据库架构

无论是构建什么样的应用,大都离不开数据。而在应用的架构设计中,如何设计数据库,使用什么类型的数据库,就是一个架构师必须了解的。所有的数据库的共同点都是以某种方式存储数据,以某种接...

刚哥带你参加国际顶级技术会议 - Kubecon西雅图2018 - Kubernetes设计原则

软件业有如时尚业,新产品,新技术,新概念层出不穷,作为码农,如果不了解业内最新的技术动向,往往会陷入闭门造车的困境。睁眼看世界对于我们的产品开发和设计都是非常有意的一件事情。但是...

刚哥谈架构 (四)- 推荐给架构师的书单

“回日楼台非甲帐,去时冠剑是丁年” 今天收到豆瓣的2019年的总结,发现自己已经在豆瓣渡过10个春秋。今年读了69本书,有很多书非常棒。今天我就给各位架构师,程序员,码农推荐一些我觉得对...

一文读懂微服务监控之分布式追踪

现在越来越多的应用迁移到基于微服务的云原生的架构之上,微服务架构很强大,但是同时也带来了很多的挑战,尤其是如何对应用进行调试,如何监控多个服务间的调用关系和状态。如何有效的对微服...

读书笔记:A Philosophy of Software Design (一)

今天一位同事在斯坦福的博士生导师John Ousterhout (注,Tcl语言的设计者)来公司做了他的新书《A Philosophy of Software Design》的演讲,介绍了他对于软件设计的思考。这里我把本书的读书...

2018/09/01 13:11
1.8W
Pyflow : 一个基于工作流的编程模型(Flow Based Programing) 工具

Flow Based Programing 是由J. Paul Rodker Morrison在很早以前提出的一种编程范式。 维基百科对FBP的定义如下: In computer programming, flow-based programming (FBP) is a programming...

基于容器应用设计的原则,模式和反模式

容器和容器编排(Kubernetes)的广泛使用,让我们可以轻松的构建基于微服务的“云原生”(Cloud Native)的应用。容器成为了云时代的新的编程单元,类似面向对象概念下的对象,J2EE中的组件或...

2018/05/10 02:39
3.9K
使用Heapster和Splunk监控Kubernetes运行性能

Kubernetes已经成为容器编排的事实上的王者,连Docker都已经向K8s女王大人低头。对于Kubernetes的cluster的数据收集和监控已经成为IT运维的一个重要话题。我们今天来看一看如何利用Splunk最新...

用Python实现一个大数据搜索引擎

搜索是大数据领域里常见的需求。Splunk和ELK分别是该领域在非开源和开源领域里的领导者。本文利用很少的Python代码实现了一个基本的数据搜索功能,试图让大家理解大数据搜索的基本原理。 布隆...

把代码执行演示嵌在你的PPT中

“Talk is cheap, show me your code!” 当一个程序员在做技术分享的时候, 代码演示经常是不可或缺的一个环节。然而在你的演示PPT和代码运行之间切换是一件非常恼人事情,而且非常影响演示的...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部