加载中
Flink入门 02.安装部署

Flink支持多种安装模式 Local—本地单机模式,学习测试时使用 Standalone—独立集群模式,Flink自带集群,开发测试环境使用 StandaloneHA—独立集群高可用模式,Flink自带集群,开发测试环境...

2021/09/02 08:00
10
Flink入门 01.概述

1 实时即未来 如今的我们正生活在新一次的信息革命浪潮中,5G、物联网、智慧城市、工业4.0、新基建……等新名词层出不穷,唯一不变的就是变化!对于我们所学习的大数据来说更是这样:数据产生...

Flink入门 03.入门案例

1 前置说明 1.1 API Flink提供了多个层次的API供开发者使用,越往上抽象程度越高,使用起来越方便;越往下越底层,使用起来难度越大 注意:在Flink1.12时支持流批一体,DataSet API已经不推荐...

Flink入门 04.原理初探

1 Flink角色分工 在实际生产中,Flink 都是以集群在运行,在运行的过程中包含了两类进程。 JobManager 它扮演的是集群管理者的角色,负责调度任务、协调 checkpoints、协调故障恢复、收集 Jo...

Flink1.12 CDH编译

注意:从Flink 1.11开始,Flink项目不再正式支持使用Flink -shade -hadoop-2-uber版本。建议用户通过HADOOP_CLASSPATH提供Hadoop依赖项。 Flink 在启动Flink组件(如Client、JobManager或Tas...

Flink Application Mode

随着流式计算的兴起,实时分析成为现代商业的利器。越来越多的平台和公司基于Apache Flink 构建他们的实时计算平台,并saas化。 这些平台旨在通过简化应用的提交来降低最终用户的使用负担。通...

2021/09/01 08:00
11
cdh6.3.4集成tez0.9.2

编译环境准备 安装JDK [root@song ~]# tar -zxvf jdk-8u271-linux-x64.tar.gz [root@song ~]# mv jdk1.8.0_271/ /usr/local/java [root@song ~]# vim /etc/profile # set java env export J...

Java API操作HDFS(HA模式)

Java API 操作HDFS一般有两种方式: 使用HDFS客户端配置文件自动配置 Java 代码中配置 一、使用HDFS客户端配置 1、下载HDFS客户端配置 2、创建Maven项目 创建Maven项目,将下载的客户端配置文...

IDEA配置Hadoop远程调试环境

远程 hadoop版本:Hadoop 3.0.0+cdh6.3.2 一、设置本地hadoop环境 1、下载hadoop 下载 hadoop-3.0.0.tar.gz ,并解压到 D:\BigData\ 并重命名为 hadoop,如下图所示: 2、配置环境变量 2.1 HA...

2021/08/15 20:42
20
Alluxio简介

Alluxio简介 Alluxio是什么 Alluxio(之前名为 Tachyon)是世界上第一个以内存为中心的虚拟的分布式存储系统。 它统一了数据访问的方式,为上层计算框架和底层存储系统构建了桥梁。应用只需要...

Alluxio运维

Alluxio命令 alluxio fsadmin # 查看服务状态 alluxio fsadmin report # 查看挂掉的服务ip alluxio fsadmin report capacity -lost alluxio getConf # 查看配置参数 alluxio getConf --mast...

2021/08/14 11:32
97
Alluxio源码编译适配CDH

一、源码编译 确保你安装了Java(JDK 8或更高版本)以及Maven3.3.9及以上 [root@song build]# git clone https://github.com/Alluxio/alluxio.git [root@song build]# cd alluxio/ [root@song ...

2021/08/14 11:32
162
Alluxio与CDH组件集成

一、运行 CDH MapReduce 1. 配置core-site.xml 您需要将以下属性添加到中core-site.xml。只有使用HA模式的群集才需要ZooKeeper属性。同样,只有使用嵌入式日志的HA群集才需要嵌入式日志属性。...

pssh 批量运维工具

一、简介 pssh全称是parallel-ssh,是一个Python编写的可以并发在多台服务器上批量执行命令的工具, 它支持文件并行复制、远程并行执行命令、杀掉远程主机上的进程等。 前提:使用pssh工具包...

Yarn 弹性队列测试

Yarn 调度器中的 Capacity Scheduler 和 Fair Scheduler 都支持弹性扩容, 现对 Fari Scheduler 进行弹性扩容测试。 Yarn 动态资源池配置配置如下: 一、不限制最大资源数 1、yarn配置 不限制...

Yarn 调度器

YARN是双层调度范式,YARN Scheduler是YARN的主调度器,YARN Scheduler有多种实现,每一种对应了不同的调度策略,如常见的FIFO Scheduler,Fair Scheduler、Capacity Scheduler等,它们都是可...

用 tf.data 加载图片

用 tf.data 加载图片 本教程提供一个如何使用 tf.data 加载图片的简单例子。 本例中使用的数据集分布在图片文件夹中,一个文件夹含有一类图片。 1. 配置 import tensorflow as tf AUTOTUNE =...

2020/04/23 22:07
719
预训练模型迁移学习

转载自:https://www.jianshu.com/p/949588a0073e 1、迁移学习 迁移学习在计算机视觉领域中是一种很流行的方法,因为它可以建立精确的模型,耗时更短。利用迁移学习,不是从零开始学习,而是...

大话深度残差网络(DRN)ResNet

论文地址:Deep Residual Learning for Image Recognition 一、引言 深度残差网络(Deep residual network, ResNet)的提出是CNN图像史上的一件里程碑事件,让我们先看一下ResNet在ILSVRC和C...

大话CNN经典模型:GoogLeNet(从Inception v1到v4的演进)

2014年,GoogLeNet和VGG是当年ImageNet挑战赛(ILSVRC14)的双雄,GoogLeNet获得了第一名、VGG获得了第二名,这两类模型结构的共同特点是层次更深了。VGG继承了LeNet以及AlexNet的一些框架结构...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部