加载中
Spark基础全解析

我的个人博客:https://www.luozhiyun.com/ 为什么需要Spark? MapReduce的缺陷 第一,MapReduce模型的抽象层次低,大量的底层逻辑都需要开发者手工完成。 第二,只提供Map和Reduce两个操作。...

2019/04/10 10:10
43
Spark中Task数量的分析

 本文主要说一下Spark中Task相关概念、RDD计算时Task的数量、Spark Streaming计算时Task的数量。 Task作为Spark作业执行的最小单位,Task的数量及运行快慢间接决定了作业运行的快慢。 <br>...

2019/04/10 10:10
358
Apache—DBUtils框架

【原文链接】https://www.cnblogs.com/niuchuangfeng/p/9182542.html 阅读目录(Content) 一、什么是dbutils 二、dbutils核心API 1、QueryRunner类 2、ResultSetHandler接口的实现类 一、什么...

2019/04/10 10:10
66
大数据生态之数据处理框架探索

数据处理框架 数据处理是一个非常宽泛的概念,数据处理框架在数据架构中,主要是用于数据移动和分析这两大功能当中.对于数据移动,有离线数据移动和实时数据移动,也可以叫做是批量数据移动和流式...

Mapreduce的job提交流程

在hadoop1.0版本以前我们的Mapreduce是被当作资源调度和计算框架来使用的,成为了hadoop运行生态圈的瓶颈,所以在hadoop2.0版本以上引入了yarn的概念,使Mapreduce完全成为分布式计算框架,而...

工作五年的.neter的一些经历感想和对未来的一些疑惑

  本次疫情在家办公快一个月了,节省了上下班的时间,外出活动时间,感觉有好多时间可以利用。人一闲下来就容易想事情,很多事情想不通心里堵的厉害,做事都提不起兴趣。至于想些什么呢,我...

2019/04/10 10:10
72
分布式系统一致性问题与Raft算法(上)

最近在做MIT6.824的几个实验,真心觉得每一个做分布式相关开发的程序员都应该去刷一遍(裂墙推荐),肯定能够提高自己的技术认知水平,同时也非常感谢MIT能够把这么好的资源分享出来。 其中第...

算法自动化测试的挑战与思考

一、背景 从入职到现在已经有3个多月了,从最初的对于电商广告业务和算法测试的一头雾水,到现在的渐渐了解,基本上已经可以胜任项目的常规质量保障任务。然而,目前的质量保障手段依然停留在...

2018/11/14 15:36
22
一起了解 .Net Foundation 项目 No.9

.Net 基金会中包含有很多优秀的项目,今天就和笔者一起了解一下其中的一些优秀作品吧。 中文介绍 中文介绍内容翻译自英文介绍,主要采用意译、如与原文存在出入,请以原文为准。 DLR/IronPy...

2019/04/10 10:10
13
一起了解 .Net Foundation 项目 No.8

.Net 基金会中包含有很多优秀的项目,今天就和笔者一起了解一下其中的一些优秀作品吧。 中文介绍 中文介绍内容翻译自英文介绍,主要采用意译、如与原文存在出入,请以原文为准。 IdentityMo...

Yum搭建LNMP环境(动、静、库分离)(week4_day5)--技术流ken

前言 本篇博客使用yum来搭建lnmp环境,将采用动态,静态以及数据库分开安装的方式即nginx,php,mysql.会被分开安装在不同的服务器之上,搭建出来一套lnmp环境,并部署wordpress进行测试。 LN...

2018/11/14 15:28
10
负载均衡技术(一)———负载均衡技术介绍

此文已由作者张小刚授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 本文主要是对负载均衡技术进行一个简单的介绍,并结合在实际生产环境中负载均衡技术的应用情况...

2018/11/15 09:12
7
使用Lucene.Net做一个简单的搜索引擎-全文索引

Lucene.Net Lucene.net是Lucene的.net移植版本,是一个开源的全文检索引擎开发包,即它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎。 Lucene...

2019/04/10 10:10
14
整合 KAFKA+Flink 实例(第一部分,趟坑记录)

2017年后,一大波网络喧嚣,说流式处理如何牛叉,如何高大上,抱歉,工作满负荷,没空玩那个; 今年疫情隔离在家,无聊,开始学习 KAFKA+Flink ,目前的打算是用爬虫抓取网页数据,传递到Kaf...

2020/03/01 23:28
136
POI导出Excel

  前言   数据报表是许多项目都有的模块,一般都是导出Excel或者PDF,这里记录下我在项目里用POI导出Excel。项目中,我需要根据页面jqgrid的机架查询条件导出对应的机架数据,jqgrid是分...

struts从2.3.X升级到2.5.18中遇到的问题及解决办法

1,2.5.X版本不再提供xwork.jar ,整合到了 struts-core包中。 2,需要升级替换的jar文件: commons-lang commons-lang3 ognl 其他所有struts2开头的jar 删除xwork包 2,方法不能访问的问题,...

网站集群架构(LVS负载均衡、Nginx代理缓存、Nginx动静分离、Rsync+Inotify全网备份、Zabbix自动注册全网监控)--技术流ken

前言 最近做了一个不大不小的项目,现就删繁就简单独拿出来web集群这一块写一篇博客。数据库集群请参考《MySQL集群架构篇:MHA+MySQL-PROXY+LVS实现MySQL集群架构高可用/高性能-技术流ken》下...

2018/11/16 14:05
19
nginx 拦截 swagger 登录

随着微服务的也来越多,每个服务都有单独的文档,那么问题来了,怎么把所有文档整合在一起呢 本方法采用服务器拦截的方式进行处理 首先需要在opt 的主目录中 /opt/ 创建一个新文件 htpasswd...

HTTP协议 有这篇文章足够了

HTTP 协议详解 HTTP(HyperText Transfer Protocol)超文本传输协议。其最初的设计目的是为了提供一种发布和接收HTML页面的方法。 HTTP是一个客户端(用户)和服务端之间请求和应答的标准。 ...

ElasticSearch+Logstash+Filebeat+Kibana集群日志管理分析平台搭建

一、ELK搜索引擎原理介绍   在使用搜索引擎是你可能会觉得很简单方便,只需要在搜索栏输入想要的关键字就能显示出想要的结果。但在这简单的操作背后是搜索引擎复杂的逻辑和许多组件协同工作...

2018/11/15 22:13
258

没有更多内容

加载失败,请刷新页面

返回顶部
顶部