加载中
Yarn工作机制

(1)MR程序提交到客户端所在的节点。 (2)YarnRunner向ResourceManager申请一个Application。 (3)RM将该应用程序的资源路径返回给YarnRunner。 (4)该程序将运行所需资源提交到HDFS上。...

09/26 17:42
31
python3项目打包成exe可执行程序

一、安装pyinstaller pip install pyinstaller 常用可选项及说明: -F:打包后只生成单个exe格式文件; -D:默认选项,创建一个目录,包含exe文件以及大量依赖文件; -c:默认选项,使用控制...

09/26 15:09
59
ReduceTask工作机制

(1)Copy阶段:ReduceTask从各个MapTask上远程拷贝一片数据,并针对某一片数据,如果其大小超过一定阈值,则写到磁盘上,否则直接放到内存中。 (2)Sort阶段:在远程拷贝数据的同时,Reduc...

09/26 14:25
41
MapTask工作机制

(1)Read阶段:MapTask通过InputFormat获得的RecordReader,从输入InputSplit中解析出一个个key/value。 (2)Map阶段:该节点主要是将解析出的key/value交给用户编写map()函数处理,并产生...

09/26 14:20
62
Hadoop集群常用脚本

hadoop群起脚本 #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " =================== 启动 hadoop集群 ===================" ......

09/23 19:24
139
Springboot 配置文件、隐私数据脱敏的最佳实践(原理+源码)

配置脱敏 实现配置的脱敏我使用了Java的一个加解密工具Jasypt,它提供了单密钥对称加密和非对称加密两种脱敏方式。 单密钥对称加密:一个密钥加盐,可以同时用作内容的加密和解密依据; 非对...

OpenResty实战应用

什么是OpenResty? OpenResty官网描述如下: OpenResty®是一个基于Nginx与Lua的高性能Web平台,其内部集成了大量精良的Lua库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并...

开放 API 接口签名验证,让你的接口从此不再裸奔

接口安全问题 请求身份是否合法? 请求参数是否被篡改? 请求是否唯一? AccessKey&SecretKey (开放平台) 请求身份 为开发者分配AccessKey (开发者标识,确保唯一)和SecretKey (用于接口...

09/01 16:37
31
步步深入:MySQL 架构总览->查询执行流程->SQL 解析顺序

前言:   一直是想知道一条SQL语句是怎么被执行的,它执行的顺序是怎样的,然后查看总结各方资料,就有了下面这一篇博文了。   本文将从MySQL总体架构--->查询执行流程--->语句执行顺序来...

09/01 10:33
28
阿里云存储图片x-oss-process常用方法处理

注:原图大小为600 px*400 px 如果图片存储与阿里云的话,只需要在链接加入下面的后缀即可。 图片缩放至80%,转换为webp格式,质量为原来的80%。转换后尺寸为480px*320px ?x-oss-process=im...

08/28 10:26
91
CentOS7 安装Docker

参考地址:https://docs.docker.com/engine/install/centos/ 1.yum安装gcc相关 yum -y install gcc yum -y install gcc-c++ 2.卸载旧版本 yum remove docker \ docker-client \ do......

个人整理的Redis6的思维导图

完整版下载:https://gitee.com/liuyuantao/study-mind-map/blob/master/Redis6.xmind

阿里云企业邮箱设置三方平台管理

POP3协议设置: 接收邮件服务器:pop3.mxhichina.com 或 pop3.您的域名,端口:110 发送邮件服务器:smtp.mxhichina.com或smtp.您的域名,端口:25 IMAP协议设置: 接收邮件服务器:imap.mx...

07/26 16:37
17
RabbitMQ实现即时通讯居然如此简单

MQTT协议 MQTT(Message Queuing Telemetry Transport,消息队列遥测传输协议),是一种基于发布/订阅(publish/subscribe)模式的轻量级通讯协议,该协议构建于TCP/IP协议上。MQTT最大优点在...

07/22 09:41
20
HAProxy中的ACL与自定义错误页面

1、ACL定义: 访问控制列表,用于实现基于请求报文的首部、响应报文的内容或其它的环境状态信息来做出转发决策,这大大增强了其配置弹性。其配置法则通常分为两步,首先去定义ACL ,即定义一...

07/06 17:01
8
HAProxy Web服务器状态监测

三种状态监测方式: •基于四层的传输端口做状态监测 server 172.18.200.103 172.18.200.103:80 check port 9000 addr 172.18.200.104 inter 3s fall 3 rise 5 weight 1 •基于指定URI 做状态...

07/06 16:42
0
HAProxy压缩功能

#对响应给客户端的报文进行压缩,以节省网络带宽 #注:会占用部分CPU性能,建议在后端服务器开启压缩功能,而非在HAProxy上开启压缩 compression algo gzip #启用http协议中的压缩机制gzip ...

07/06 16:36
21
HAProxy日志配置

定义haproxy日志文件路径: 1、在default配置项定义: log 127.0.0.1 local{1-7} info #基于syslog记录日志到指定设备,级别有(err、warning、info、debug) 2、配置rsyslog:vim /etc/rsyslo...

HAProxy修改报文首部

2.1以上版本 在http模式下,基于实际需求修改客户端的请求报文与响应报文,通过http-request和http-response在请求报文添加或删除字段 http-request add-header Date %T #请求报文添加date字...

07/06 16:25
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部