加载中
垂直型爬虫架构设计(3)

对于垂直型爬虫的整体架构我认为...

2016/02/17 19:01
1.7K
垂直型爬虫架构设计(2)

个人对于垂直型爬虫的理解,对于垂直型爬虫与常规爬虫的分析.

垂直型爬虫架构设计(1)

个人对于垂直型爬虫的理解,对于垂直型爬虫与常规爬虫的分析.

Apache Flink CDC简介与使用

CDC (Change Data Capture) Flink在1.11版本中新增了CDC的特性,简称 改变数据捕获。名称来看有点乱,我们先从之前的数据架构来看CDC的内容。 以上是之前的mysql binlog日志处理流程,例如can...

2020/11/12 18:00
292
你知道为什么要学习大数据吗?

近些年互联网技术蓬勃发展,大数据作为新兴的互联网行业同样也在快速的发展中。但大数据依然处于发展的初期阶段。在这个领域每时每刻都有新的数据,新的业务场景,新的概念被提出、被快速实现...

开篇起航Docker:构建未来的架构

“Docker提供了一种把所有应用程序与环境配置集合打包的方案,能够在任何的环境中共享与运行所打包的程序。” 01 — Docker的来源 Docker是dotCloud在2013年采用Google的Go语言开发的一个容器...

概念渐进:一文搞定Docker的基本概念

“ Docker和基本概念包含三部分。镜像、容器、仓库。这三个基本概念构建了Docker的整个生命周期。” 今天继续学习Docker. 01 — Docker镜像 大家在安装系统的时候应该都用过系统镜像,Linux...

倒排索引,正排索引与lucene

倒排索引,正排索引与lucene 数据搜索技术 传统数据库搜索技术 select * from TABLE_NAME where xx like "%PHP是世界上最好的语言%" 该查询对于数据库来说,需要根据查询字段逐条进行检索。然...

php
2019/07/04 21:02
78
实践出真知:在win与linux中安装Docker环境

“前两篇中我们对Docker的相关概念有了大概的了解(开篇起航Docker:构建未来的架构,概念渐进:一文搞定Docker的基本概念),对于大部分开发者来说更重要的是in action阶段。那么首先我们需要...

2019/07/05 09:10
0
Lucene的简介与索引过程介绍

Lucene的介绍与使用 上一篇为大家大致讲解了倒排索引的意思,能够理解倒排索引的优势。如果有没看过的朋友请看上一篇<倒排索引,正排索引与Lucene>。上一篇主要为大家引入了Lucene。但是没有...

记一次数据通过中转后传输到Kafka集群的过程

由于当前海外的数据节点较多,同时也较为分散,原本海外数据直接通过公网写入到Kafka由于当前海外的数据节点较多,同时也较为分散,原本海外数据直接通过公网写入到Kafka集群中。但是由于海外网络...

2019/07/24 18:37
205
Docker修改为阿里云镜像源

“ 在前一篇<实践出真知:在win与linux中安装Docker环境>讲述了如何在Windows与Linux中安装使用Docker,相信大家已经安装成功。现在使用的话,会通过海外的源进行镜像拉取,那么速度就会很慢。...

2019/07/25 18:35
1.4K
使用Docker运行MySql实例

“ 大多数情况下,我们在使用MySql的时候需要自己在Linux或者Windows上安装MySql,都需要经历官方下载、安装、配置等流程。整个过程大概需要半个小时甚至一个小时。现在我们使用Docker进行一...

Docker中部署JAVA环境

“ 之前的几篇文章中我们进行了Docker的安装,相关概念的学习与Docker中通过镜像直接启动MySql实例。那么本篇来讲如何在Docker的容器中执行命令与相关的程序安装等。目标是在Docker容器中创建...

利用Docker部署SpringBoot应用程序

“ 本篇就开始操作怎么部署一个SpringBoot项目到Docker中,Docker实现SpringBoot项目的部署。” 首先构建一个SpingBoot项目。 进入 http://start.spring.io,使用Maven的方式快速构建一个spr...

Apache Flink利用Maven对Scala与Java进行混编

Flink是由Scala进行编写的一种大数据计算引擎,而Scala由是执行与JVM之上的一种语言,所以Scala语言也会编译为字节码文件进行执行。那么使用maven同时管理Scala与Java的代码是否可行? 主要是因...

Apache Flink利用Maven对Scala与Java进行混编

Flink是由Scala进行编写的一种大数据计算引擎,而Scala由是执行与JVM之上的一种语言,所以Scala语言也会编译为字节码文件进行执行。那么使用maven同时管理Scala与Java的代码是否可行? 主要是因...

是什么让flink成为最火计算引擎

近几年大数据计算引擎从MapReduce,到Spark等基本引领一时的开发圈,而实时计算引擎也有Storm,SparkStreaming,Flink。但是这两年Flink一直都是站在<浪潮之巅>。阿里巴巴收购Flink母公司,阿...

大数据HelloWorld-Flink实现WordCount

所有的语言开篇都是Hello Word,数据处理引擎也有Hello Word。那就是Word Count。MR,Spark,Flink以来开篇第一个程序都是Word Count。那么今天Flink开始目标就是在本地调试出Word Count。 单...

2019/08/06 20:43
60
学习Apache Flink能用来做什么?

Apache Flink这么火,我们学完了可以用来做什么? Apache Flink是近几年大火的数据处理引擎。受到各大厂商的推崇并且已经应用与实际的业务场景中。很多公司在进行选型的时候都会选择Apache Fl...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部