加载中
垂直型爬虫架构设计(3)

对于垂直型爬虫的整体架构我认为...

2016/02/17 19:01
1.8K
垂直型爬虫架构设计(2)

个人对于垂直型爬虫的理解,对于垂直型爬虫与常规爬虫的分析.

垂直型爬虫架构设计(1)

个人对于垂直型爬虫的理解,对于垂直型爬虫与常规爬虫的分析.

Apache Flink CDC简介与使用

CDC (Change Data Capture) Flink在1.11版本中新增了CDC的特性,简称 改变数据捕获。名称来看有点乱,我们先从之前的数据架构来看CDC的内容。 以上是之前的mysql binlog日志处理流程,例如can...

2020/11/12 18:00
1K
开篇起航Docker:构建未来的架构

“Docker提供了一种把所有应用程序与环境配置集合打包的方案,能够在任何的环境中共享与运行所打包的程序。” 01 — Docker的来源 Docker是dotCloud在2013年采用Google的Go语言开发的一个容器...

概念渐进:一文搞定Docker的基本概念

“ Docker和基本概念包含三部分。镜像、容器、仓库。这三个基本概念构建了Docker的整个生命周期。” 今天继续学习Docker. 01 — Docker镜像 大家在安装系统的时候应该都用过系统镜像,Linux...

倒排索引,正排索引与lucene

倒排索引,正排索引与lucene 数据搜索技术 传统数据库搜索技术 select * from TABLE_NAME where xx like "%PHP是世界上最好的语言%" 该查询对于数据库来说,需要根据查询字段逐条进行检索。然...

php
2019/07/04 21:02
78
Lucene的简介与索引过程介绍

Lucene的介绍与使用 上一篇为大家大致讲解了倒排索引的意思,能够理解倒排索引的优势。如果有没看过的朋友请看上一篇<倒排索引,正排索引与Lucene>。上一篇主要为大家引入了Lucene。但是没有...

记一次数据通过中转后传输到Kafka集群的过程

由于当前海外的数据节点较多,同时也较为分散,原本海外数据直接通过公网写入到Kafka由于当前海外的数据节点较多,同时也较为分散,原本海外数据直接通过公网写入到Kafka集群中。但是由于海外网络...

2019/07/24 18:37
255
使用Docker运行MySql实例

“ 大多数情况下,我们在使用MySql的时候需要自己在Linux或者Windows上安装MySql,都需要经历官方下载、安装、配置等流程。整个过程大概需要半个小时甚至一个小时。现在我们使用Docker进行一...

Docker中部署JAVA环境

“ 之前的几篇文章中我们进行了Docker的安装,相关概念的学习与Docker中通过镜像直接启动MySql实例。那么本篇来讲如何在Docker的容器中执行命令与相关的程序安装等。目标是在Docker容器中创建...

利用Docker部署SpringBoot应用程序

“ 本篇就开始操作怎么部署一个SpringBoot项目到Docker中,Docker实现SpringBoot项目的部署。” 首先构建一个SpingBoot项目。 进入 http://start.spring.io,使用Maven的方式快速构建一个spr...

Apache Flink利用Maven对Scala与Java进行混编

Flink是由Scala进行编写的一种大数据计算引擎,而Scala由是执行与JVM之上的一种语言,所以Scala语言也会编译为字节码文件进行执行。那么使用maven同时管理Scala与Java的代码是否可行? 主要是因...

是什么让flink成为最火计算引擎

近几年大数据计算引擎从MapReduce,到Spark等基本引领一时的开发圈,而实时计算引擎也有Storm,SparkStreaming,Flink。但是这两年Flink一直都是站在<浪潮之巅>。阿里巴巴收购Flink母公司,阿...

大数据HelloWorld-Flink实现WordCount

所有的语言开篇都是Hello Word,数据处理引擎也有Hello Word。那就是Word Count。MR,Spark,Flink以来开篇第一个程序都是Word Count。那么今天Flink开始目标就是在本地调试出Word Count。 单...

2019/08/06 20:43
223
学习Apache Flink能用来做什么?

Apache Flink这么火,我们学完了可以用来做什么? Apache Flink是近几年大火的数据处理引擎。受到各大厂商的推崇并且已经应用与实际的业务场景中。很多公司在进行选型的时候都会选择Apache Fl...

一文了解Flink数据-有界数据与无界数据

在常规的数据处理中,我们最常访问的可能是来自于Mysql,文本等存储介质中的数据,对其进行计算分析。但是现在也越来越的出现流式计算的场景,对于某些时刻产生的数据能够进行实时性的分析。...

致歉声明,Kafka数据中转传输

致歉声明 本人CainGao,在这里深深的为之前的一篇文章<记一次海外数据进行中转传输到Kafka集群的过程>的错误进行道歉。在之前那期的文章中,本人说实现producer节点的数据通过nginx节点发送到...

2019/08/08 21:02
180
Apache Flink基本编程模型

“前一篇文章中<一文了解Flink数据-有界数据与无界数据>大致讲解了Apache Flink数据的形态问题。Apache Flink实现分布式集合数据集转换、抽取、分组、统计等。根据数据源的类型,即为有界数据...

Apache Flink中的各个窗口时间的概念区分

“ Apache Flink中提供了基于时间的窗口计算,例如计算五分钟内的用户数量或每一分钟计算之前五分钟的服务器异常日志占比等。因此Apache Flink在流处理中提供了不同时间的支持。” 处理时间(...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部