加载中
hadoop 开发环境设置以及可运行jar包生成

开发环境搭建: 两个文件 hadoop的win安装包,然后配置path; 然后还有一个几个配置的包,然后把配置放在hadoop安装包里面的; ==================== 解决MapReduce任务在windows本地执行的N...

2018/01/25 18:27
992
hive客户机也是可以执行一些hdfs的命令的;

hive> dfs -ls /warehouse; Found 11 items drwxr-xr-x - dw g_dw 0 2017-12-22 09:48 /warehouse/ads drwxr-xr-x - dw g_dw 0 2017-12-22 13:55 /warehouse/bak drwxr-xr-x - dw g_dw 0 201...

2018/01/13 10:36
334
MapReduce:详解Shuffle过程---map和reduce数据交互的关键

http://langyu.iteye.com/blog/992916 Shuffle描述着数据从map task输出到reduce task输入的这段过程。 个人理解: map执行的结果会保存为本地的一个文件中: 只要map执行 完成,内存中的map...

2018/01/12 16:07
184
Map和Reduce中间过程描述

开始转大数据方向已经一年了,期间基于hadoop平台开发了两个项目,总算是沾边了。这段时间不算忙,借了本翟周伟的《Hadoop核心技术》,总算了解了MapReduce的实现原理。(吐槽下,这本书15年...

2018/01/10 10:02
78
hive 常用sql(2)

创建orc格式hive表 create table test_orc(name string,age int) stored as orc 查看hive表结构; show create table test_orc 插入测试数据(hive是不能单独插入数据的 ) insert into table ...

2018/01/03 09:36
34
hive常用sql语句(1)

set hive.cli.print.header=true; CREATE TABLE page_view(viewTime INT, userid BIGINT, page_url STRING, referrer_url STRING, ip STRING COMMENT 'IP Address of the User') COMMENT 'Th...

2018/01/03 09:29
1K
MySQL创建用户与授权方法

注:我的运行环境是widnows xp professional + MySQL5.0 一, 创建用户: 命令:CREATE USER 'username'@'host' IDENTIFIED BY 'password'; 说明:username - 你将创建的用户名, host - 指定该用户...

2017/12/30 22:20
40
hadoop版本和位数的查看方法

目前针对apache hadoop更新的版本较多,由此而产生了两个方面的问题:   1、如何查看运行的集群当中的hadoop的版本的问题。   2、如何查看运行集群当中的hadoop的位数 下面详细的介绍一下...

2017/12/30 20:18
330
linux之sed用法

sed是一个很好的文件处理工具,本身是一个管道命令,主要是以行为单位进行处理,可以将数据行进行替换、删除、新增、选取等特定工作,下面先了解一下sed的用法 sed命令行格式为: sed [-nefr...

2017/12/29 17:29
30
Hive自定义UDF和聚合函数UDAF

转自:http://computerdragon.blog.51cto.com/6235984/1288567 Hive是一种构建在Hadoop上的数据仓库,Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业,是MapReduce更高层次的抽...

2017/12/29 14:49
92
Hadoop: MapReduce2多个job串行处理

复杂的MapReduce处理中,往往需要将复杂的处理过程,分解成多个简单的Job来执行,第1个Job的输出做为第2个Job的输入,相互之间有一定依赖关系。以上一篇中的求平均数为例,可以分解成三个步骤...

2017/12/28 00:24
121
linux用户管理(1)----创建用户(adduser和useradd)和删除用户(userdel)

一、常用命令: (1)创建用户命令两条: adduser useradd (2)用户删除命令: userdel 二、两个用户创建命令之间的区别 adduser: 会自动为创建的用户指定主目录、系统shell版本,会在创建...

2017/12/27 15:16
292
vmvare12 破解密码

VMware Workstation 12序列号: 5A02H-AU243-TZJ49-GTC7K-3C61N 就好像之前微软,让大家用盗版一样,这样可以更快的拥有市场占有率。 事实上,输入key即可永久激活,只是版权意识上,这个还...

2017/12/27 11:53
52

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部