加载中
大数据篇---Kylin+Druid 学习

一 、Apache Kylin 实战 Apache Kylin™是一个开源的、分布式的分析引擎,提供 Hadoop 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由 eBay 开发并贡献至开源社区,它...

大数据篇---ClickHouse学习

第一部分 概述 *** ClickHouse是一个快速开源的OLAP数据库管理系统,它是面向列的,允许使用SQL查询实时生成分析报告*** 随着物联网IOT时代的来临,IOT设备感知和报警存储的数据越来越大,有...

大数据篇---Flink学习

第一部分 Flink 概述 第 1 节 什么是 Flink Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行,以内存执行速度和任意...

2021/04/29 10:31
865
大数据高速计算引擎Spark

第一部分 Spark Core 第1节 Spark概述 1.1 什么是Spark Spark 是一个快速、通用的计算引擎。Spark的特点: 速度快。与 MapReduce 相比,Spark基于内存的运算要快100倍以上,基于硬 盘的运算也...

大数据--scala学习

第一章:基础 1、声明变量:val name1,name2: String=”hello” val不可变变量,var可变。 2、常用类型:Byte、Char、Short、Int、Long、Float、Double、Boolean。但是不像Java这里是是实实...

2021/02/28 19:36
66
企业电商离线数仓项目实战

第一部分 数据仓库理论 1.1 什么是数据仓库 数据仓库(DataWarehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化的(Time Variant)数据...

2021/02/02 14:03
3.3K
大数据--kafka学习

第一部分 Kafka架构与实战 1.1 概念和基本架构 1.1.1 Kafka介绍 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多生产者、多订阅者,基 于zookeeper协调的分布式日志系统...

大数据篇---redis学习

Redis安装 1 第一步:安装 C 语言需要的 GCC 环境 yum install -y gcc-c++ yum install -y wget 第二步:下载并解压缩 Redis 源码压缩包 wget http://download.redis.io/releases/redis-5.0...

大数据篇---ZooKeeper+ HBase学习

Zookeeper简介 1.1 Zookeeper是什么? Zookeeper 是一个分布式协调服务的开源框架。 主要用来解决分布式集群中应用系统的一致性问题, 例如怎样避免同时操作同一数据造成脏读的问题。分布式系...

2020/11/23 12:22
59
大数据篇---Impala学习

第 1 部分 Impala概述 1.1 Impala是什么 Impala是Cloudera提供的⼀款开源的针对HDFS和HBASE中的PB级别数据进⾏交互式实时查询(Impala 速度快),Impala是参照⾕歌的新三篇论⽂当中的Dremel实现...

2020/11/21 09:41
123
大数据篇---hive+ Sqoop+ Flume学习

第一部分 Hive概述 HDFS => 海量数据的存储 MapReduce => 海量数据的分析和处理 YARN => 集群资源的管理和作业调度 第 1 节 Hive产生背景 直接使用MapReduce处理大数据,将面临以下问题: - ...

大数据篇---hadoop学习

*** 解决方式:禁用NetworkManager(虚拟机上不去网了) systemctl stop NetworkManager systemctl disable NetworkManager 一、搭建hadoop环境(centos7) 第 1 节 虚拟机环境准备 三台虚拟机...

Python3 的面向对象

# 面向对象 import abc from enum import Enum, unique @unique # unique确保无重复值 class Weekday(Enum): """ 枚举类 """ # 左边为name,右边为value Sun = 0 Mon =......

def
2020/09/17 13:49
27
spark作业-源码分析

import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object JoinDemo { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName...

shell脚本分发

#!/bin/bash #1 获取命令输⼊参数的个数,如果个数为0,直接退出命令 paramnum=$# if((paramnum==0)); then echo no params; exit; fi #2 根据传⼊参数获取⽂件名称 p1=$1 file_name=`basen...

2020/10/29 22:08
38

没有更多内容

加载失败,请刷新页面

返回顶部
顶部