加载中
大数据教程(8.3)wordcount程序运行过程的解析

上一篇博客分享了wordcount的源码编写、原理实现,本节将对wordcount在hadoop内部运行过程进行解析。 运行流程图如下: 上图中说明:mr appmaster启动后,会根据任务分配规则进行任务的启动,...

2018/11/19 22:04
596
大数据教程(8.1)mapreduce核心思想

上一章介绍了hadoop的HDFS文件系统的原理及API使用。本章博主将继续对hadoop的mapreduce编程框架进行分享。 mapreduce原理篇 mapreduce是一个分布式运算程序的编程框架,是用户开发“基于had...

2018/11/19 11:27
1K
数据库(mysql)业务用户表批量造测试用户密码数据[方案]

博主这几天在配合公司测试做商城商品秒杀场景的压测,由于秒杀需要登录,所以需要为测试创建多个用户密码。此项任务可能在今后还会遇到,先做个笔录。同时,让小伙伴们需要的时候也可以有个参...

2018/11/16 19:00
343
大数据教程(7.4)HDFS的java客户端API(流处理方式)

博主上一篇博客分享了namenode和datanode的工作原理,本章节将继前面的HDFS的java客户端简单API后深度讲述HDFS流处理API。 场景:博主前面的文章介绍过HDFS上存的大文件会成不同的块存储在不...

2018/11/12 23:15
593
大数据教程(7.2)客户端向HDFS读数据流程分析

上一篇博客分享过了HDFS写数据的流程,本节博主将为大家带来HDFS读数据流程的分享。 一、从HDFS读文件的流程如图 最后寄语,以上是博主本次文章的全部内容,如果大家觉得博主的文章还不错,请...

2018/11/08 23:19
239
大数据教程(7.1)客户端向HDFS写数据流程分析

上一章为大家分享了hadoop入门的基础知识,本章博主将带领大家一起升入了解hadoop的HDFS底层原理以及hadoop内部rpc框架的原理和使用。 一、本节目的 HDFS工作机制的学习主要是为了加深大家对...

2018/11/07 23:06
376
大数据教程(6.7)第六章问题总结

本篇博主将介绍大家中学习前面的hadoop文章中可能出现的问题。 首先,可能涉及的命令: #命令:startx启动linux图形界面 #设置时间(或者也可使用ntp做linux时间同步) sudo date -s "2018-1...

2018/11/06 22:27
264
ecllipse/sts如何设置为new对象自动生成local变量的快捷键

本篇文章,博主跟大家分享一个快速为java新建对象生成local变量的快捷方式,该方式可以大大的提高开发效率,博主用的非常的爽。 第一步,windows->preferences-Keys,打开快捷键编辑地方,找...

2018/11/04 21:38
1.6K
最新win10系统安装 jdk1.7、jdk1.8共存环境配置

背景:由于博主最近搞大数据方面的东西,linux集群上使用的是jdk1.7来编译的hadoop,而本地又有些项目需要使用jdk1.8;所以需要同时安装两个版本的jdk以供切换。 一、oracle官网下载jdk1.8进...

2018/11/03 12:48
2W
大型项目mysql5.6主从读写分离搭建(一主三从)

本篇文章记录博主所负责的一个大型项目最近一次遇到主从失效,重新搭建的整个过程。博主可是干了几个小时才搭建好,但是小伙伴们不要怕,其实搭建主从本身是非常简单的;主要还是数据量十几个...

2018/11/03 09:56
377

没有更多内容

加载失败,请刷新页面

返回顶部
顶部