Flink支持多种安装模式 Local—本地单机模式，学习测试时使用 Standalone—独立集群模式，Flink自带集群，开发测试环境使用 StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境...

1 实时即未来 如今的我们正生活在新一次的信息革命浪潮中，5G、物联网、智慧城市、工业4.0、新基建……等新名词层出不穷，唯一不变的就是变化！对于我们所学习的大数据来说更是这样：数据产生...

1 前置说明 1.1 API Flink提供了多个层次的API供开发者使用，越往上抽象程度越高，使用起来越方便；越往下越底层，使用起来难度越大 注意：在Flink1.12时支持流批一体，DataSet API已经不推荐...

1 Flink角色分工 在实际生产中，Flink 都是以集群在运行，在运行的过程中包含了两类进程。 JobManager 它扮演的是集群管理者的角色，负责调度任务、协调 checkpoints、协调故障恢复、收集 Jo...

注意：从Flink 1.11开始，Flink项目不再正式支持使用Flink -shade -hadoop-2-uber版本。建议用户通过HADOOP_CLASSPATH提供Hadoop依赖项。 Flink 在启动Flink组件(如Client、JobManager或Tas...

随着流式计算的兴起，实时分析成为现代商业的利器。越来越多的平台和公司基于Apache Flink 构建他们的实时计算平台，并saas化。 这些平台旨在通过简化应用的提交来降低最终用户的使用负担。通...

编译环境准备 安装JDK [root@song ~]# tar -zxvf jdk-8u271-linux-x64.tar.gz [root@song ~]# mv jdk1.8.0_271/ /usr/local/java [root@song ~]# vim /etc/profile # set java env export J...

Java API 操作HDFS一般有两种方式： 使用HDFS客户端配置文件自动配置 Java 代码中配置 一、使用HDFS客户端配置 1、下载HDFS客户端配置 2、创建Maven项目 创建Maven项目，将下载的客户端配置文...

远程 hadoop版本：Hadoop 3.0.0+cdh6.3.2 一、设置本地hadoop环境 1、下载hadoop 下载 hadoop-3.0.0.tar.gz ，并解压到 D:\BigData\ 并重命名为 hadoop,如下图所示： 2、配置环境变量 2.1 HA...

Alluxio简介 Alluxio是什么 Alluxio（之前名为 Tachyon）是世界上第一个以内存为中心的虚拟的分布式存储系统。 它统一了数据访问的方式，为上层计算框架和底层存储系统构建了桥梁。应用只需要...

Alluxio命令 alluxio fsadmin # 查看服务状态 alluxio fsadmin report # 查看挂掉的服务ip alluxio fsadmin report capacity -lost alluxio getConf # 查看配置参数 alluxio getConf --mast...

一、源码编译 确保你安装了Java(JDK 8或更高版本)以及Maven3.3.9及以上 [root@song build]# git clone https://github.com/Alluxio/alluxio.git [root@song build]# cd alluxio/ [root@song ...

一、运行 CDH MapReduce 1. 配置core-site.xml 您需要将以下属性添加到中core-site.xml。只有使用HA模式的群集才需要ZooKeeper属性。同样，只有使用嵌入式日志的HA群集才需要嵌入式日志属性。...

一、简介 pssh全称是parallel-ssh，是一个Python编写的可以并发在多台服务器上批量执行命令的工具， 它支持文件并行复制、远程并行执行命令、杀掉远程主机上的进程等。 前提：使用pssh工具包...

Yarn 调度器中的 Capacity Scheduler 和 Fair Scheduler 都支持弹性扩容, 现对 Fari Scheduler 进行弹性扩容测试。 Yarn 动态资源池配置配置如下： 一、不限制最大资源数 1、yarn配置 不限制...

YARN是双层调度范式，YARN Scheduler是YARN的主调度器，YARN Scheduler有多种实现，每一种对应了不同的调度策略，如常见的FIFO Scheduler，Fair Scheduler、Capacity Scheduler等，它们都是可...

用 tf.data 加载图片 本教程提供一个如何使用 tf.data 加载图片的简单例子。 本例中使用的数据集分布在图片文件夹中，一个文件夹含有一类图片。 1. 配置 import tensorflow as tf AUTOTUNE =...

转载自：https://www.jianshu.com/p/949588a0073e 1、迁移学习 迁移学习在计算机视觉领域中是一种很流行的方法，因为它可以建立精确的模型，耗时更短。利用迁移学习，不是从零开始学习，而是...

论文地址：Deep Residual Learning for Image Recognition 一、引言 深度残差网络（Deep residual network, ResNet）的提出是CNN图像史上的一件里程碑事件，让我们先看一下ResNet在ILSVRC和C...

2014年，GoogLeNet和VGG是当年ImageNet挑战赛(ILSVRC14)的双雄，GoogLeNet获得了第一名、VGG获得了第二名，这两类模型结构的共同特点是层次更深了。VGG继承了LeNet以及AlexNet的一些框架结构...