第一部分 Kafka架构与实战 1.1 概念和基本架构 1.1.1 Kafka介绍 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多生产者、多订阅者，基 于zookeeper协调的分布式日志系统...

Redis安装 1 第一步：安装 C 语言需要的 GCC 环境 yum install -y gcc-c++ yum install -y wget 第二步：下载并解压缩 Redis 源码压缩包 wget http://download.redis.io/releases/redis-5.0...

Zookeeper简介 1.1 Zookeeper是什么？ Zookeeper 是一个分布式协调服务的开源框架。 主要用来解决分布式集群中应用系统的一致性问题， 例如怎样避免同时操作同一数据造成脏读的问题。分布式系...

第 1 部分 Impala概述 1.1 Impala是什么 Impala是Cloudera提供的⼀款开源的针对HDFS和HBASE中的PB级别数据进⾏交互式实时查询(Impala 速度快)，Impala是参照⾕歌的新三篇论⽂当中的Dremel实现...

第一部分 Hive概述 HDFS => 海量数据的存储 MapReduce => 海量数据的分析和处理 YARN => 集群资源的管理和作业调度 第 1 节 Hive产生背景 直接使用MapReduce处理大数据，将面临以下问题： - ...

*** 解决方式：禁用NetworkManager（虚拟机上不去网了） systemctl stop NetworkManager systemctl disable NetworkManager 一、搭建hadoop环境(centos7) 第 1 节 虚拟机环境准备 三台虚拟机...

# 面向对象 import abc from enum import Enum, unique @unique # unique确保无重复值 class Weekday(Enum): """ 枚举类 """ # 左边为name，右边为value Sun = 0 Mon =......

1. 简历篇 如果把自己看成一个产品，那么简历就是说明书。 写简历看似简单，想写好实则不容易。一份好的简历能帮你在一堆简历中脱颖而出。 以前写过一篇写简历技巧的文章，为了方便新读者，这...

archetypeCatalog---internal（java--Maven） 重启nginx sudo /usr/local/nginx/sbin/nginx -s reload gunicorn 部署命令 gunicorn -w 4 -b 0.0.0.0:9000 manager:app nginx配置文件 server...

在linux搭建虚拟环境： 在centos中装Python3的在线安装命令： 0. yum makecache 1. yum install epel-release 2. yum list | grep python3 3. yum install -y python36 (1)virtualenv -p py...

#!/bin/bash #1 获取命令输⼊参数的个数，如果个数为0，直接退出命令 paramnum=$# if((paramnum==0)); then echo no params; exit; fi #2 根据传⼊参数获取⽂件名称 p1=$1 file_name=`basen...

1 Maven安装和使用 1.1 下载 Maven官网下载地址 ：http://maven.apache.org/download.cgi 1.2 安装 Maven使用java语言开发的，解压即可运行 注意：maven依赖 JAVA_HOME 1.3 目录 bin：存放了...

查看当前在那个分支 git branch 创建分支并切换分支 git checkout -b chart 查看栈存区修改的文件 git status 添加代码到栈存区 git add . 提交代码到仓库中 git commit -m "xxx" 提交代码到...

一维数组的初始化方式 基本类型的数组（数据元素为基本类型）创建后，其元素的初始值：byte、short、char、int、long为0；float和double为0.0；boolean为false。 可以在数组声明的同时进行初...

1、为什么学习Python？ 2、通过什么途径学习的Python？ 3、Python和Java、PHP、C、C#、C++等其他语言的对比？ 4、简述解释型和编译型编程语言？ 5、Python解释器种类以及特点？ 6、位和字节的...

1、将元组 (1,2,3) 和集合 {4,5,6} 合并成一个列表。 tuple_num = (1, 2, 3) dict_num = {4, 5, 6} list_num = [] for i in tuple_num: list_num.append(i) for i in dict_num: list_num.ap...

1.request+session 1.1: import requests from urllib.parse import urljoin BASE_URL = "https://login2.scrape.cuiqingcai.com" LOGIN_URL = urljoin(BASE_URL, '/login') INDEX_URL = url...

1. 安装 elasticsearch (1)docker pull elasticsearch:7.4.2 (2)docker pull kibana:7.4.2 (3) mkdir -p /mydata/elasticsearch/config (4)mkdir -p /mydata/elasticsearch/data (5)echo "h...

jieba分词是中文里面比较好的分词器，而当前Elasticsearch官方并不支持jieba分词，但可以通过配置plugins的方式使用jieba分词器作为es的analyzer 0.配置环境： -centos7-64 - elasticsearch ...

14.4 Bloom Filter 的对接 首先回顾一下 Scrapy-Redis 的去重机制。Scrapy-Redis 将 Request 的指纹存储到了 Redis 集合中，每个指纹的长度为 40，例如 27adcc2e8979cdee0c9cecbbe8bf8ff51e...