加载中
Hadoop学习(九)

Avro阿芙罗 它是串行化系统。这里使用1.8.1版本。它不是Hadoop的技术,是apache的技术。它是可以跨语言的。 网站: avro的学习使用文档: 前面介绍了java和Hadoop的串行化技术: Avro的使用:...

Hadoop学习(八)

ChainMap-ChainReduce 链式Map、链式Reduce。前面学习的都是让一个Map或者一个Reduce来做所有的工作,这样任务比较重。可以使用链式Map或者链式Reduce,就是使用多个Map来完成原来一个Map的工...

01/12 22:47
8
HBase学习(一)

HBase介绍 HBase安装 因为HBase是基于Hadoop的,所以Hadoop的集群要搭建好。安装HBase在namenode主节点S100上。 为了方便使用创建符号链接: 查看配置文件所在的目录: 为了可以在任何地方使...

大数据参考书籍

Hadoop权威指南 Hive编程指南 HBase权威指南

Hadoop学习(七)

输出格式 输出格式与输入格式是对应的,输入InputFormat要创建RecordReader读取器,相应的输出OutputFormat要创建RecordWriter记录书写器: 默认使用的输出格式是TextOutputFormat。默认情况...

01/07 18:16
8
Maven项目打包跳过测试

下面介绍了三种方式:

01/07 18:13
4
Hadoop学习(六)

文件块设置、切片算法 1.先看一个MR程序wordcount 统计单词出现的次数。思路是:(1)确定文件的格式(2)创建文件(3)实现Map函数和reduce函数 MR主类: 打包程序并放到ubuntu上去运行: ...

Hive学习(一)

Hive介绍 在学习Hadoop的时候运行一个MR作业,需要将写好的map/reduce程序打包放到Hadoop上再使用命令运行,这个过程是很麻烦的,使用Hive就简化了这个步骤。 Mysql数据库与Hive的区别: (1...

01/03 19:49
13
Hadoop学习(五)

MapReduce 1.引出和介绍 大数据处理的数据绝大多数都是纯文本。对于大数据量的时候,传统的处理方式太慢,效率太低,所以考虑使用Hadoop。 所谓的并行计算是:Map和reduce都可以并行。但是默...

Hadoop学习(四)

Hadoop序列化 Hadoop中存储的大多数是文本数据。 sequenceFile序列文件 sequenceFile存储的是键值对。相当于map。key值是可以重复的。 1)文本文件:这类文件以文本的ASCII码形式存储在计算机...

2018/12/26 15:16
5
Hadoop学习(三)

HDFS常用命令 1.常用命令 获得集群中namenode所在的节点主机名: 获得连接远程Hadoop主节点的PRC信息: 根据配置文件中的key查对应的value: 单独启动一个进程: SSH远程登陆主机,启动一个进...

Hadoop学习(二)

Hadoop配置完全分布式 步骤大体是是这样的: 1.准备5台客户机 2.安装JDK并配置环境变量(5台都一样,包括目录结构) 3.安装Hadoop并配置环境变量(5台都一样,包括目录结构) 4.安装SSH(5台...

2018/12/21 17:17
4
Hadoop学习(一)

客户机环境准备: 1.主机名 查看主机名:cat hostname 切换到root用户进行修改主机名: 重启客户机可以看到修改后的主机名: 一般修改了主机名就会修改hosts文件。 2.修改hosts文件 (1)Lin...

Linux-ubuntu学习(三)

1.ubuntu克隆虚拟机 (1)讲自己的虚拟机关机,选中,右键管理选择克隆。 (2)克隆自:虚拟机中的当前状态 (3)创建完整克隆 (4)填写虚拟机名称和存放的位置 (5)ip的修改:改为稳定的静...

2018/12/20 16:47
6
Linux-ubuntu学习(第二天)

Linux第二天 1.linux内置命令 (1)查看命令的使用帮助 (2)if命令的使用 下面会详细的讲解。 2.Linux内置变量的访问方式 (1)$?使用 %?表示前面一个命令执行的结果。前面执行了一个删除的...

2018/12/18 11:43
22
Linux-ubuntu学习(第一天)

Linux第一天 1.Linux与Windows的区别 Windows是桌面OS。Linux是作为服务器的OS。Linux作为服务器是更安全更稳定的。 2.虚拟机的理解 学习java的时候有个java虚拟机JVM。如果想要在windows上运...

2018/12/16 16:59
26
springboot学习(二)

SpringBoot的mvc支持:@RestController处理ajax请求 SpringBoot的mvc支持:@PathVariable获取url参数 SpringBoot的mvc支持:@RequestParam获取请求参数......

2018/11/27 23:00
5
springboot异常

1.java.lang.UnsupportedClassVersionError: javax/annotation/ManagedBean : Unsupported major.minor version 51.0”错误异常 出现这种异常的原因是使用的JDK版本不合适,解决办法: (1)...

Oracle的外连接

(1)内连接 得到的是A、B的公共部分。用法:join或者inner join (2)左外连接 from A left join B on 得到A、B公共部分和A不满足公共条件的部分 (3)右外连接 from A right join B on 得到...

2018/11/27 18:01
1
Maven的编译插件

Maven是个项目管理工具,如果我们不告诉它我们的代码要使用什么样的JDK版本编译的话,它就会用maven-compiler-plugin默认的jdk版本来进行处理,这样就容易出现版本不匹配,以至于可能导致编译...

2018/11/25 19:29
1

没有更多内容

加载失败,请刷新页面

返回顶部
顶部