文档章节

使用TPC-H对Pig测试

youting
 youting
发布于 2014/12/08 22:17
字数 1141
阅读 43
收藏 0

在做完Running TPC-H on Hive后,又紧接着使用TPC-H对Pig进行了测试。有了对Hive测试的基础,在Pig上进行测试就相对简单多了,基本上都是“拿来主义”,都是现成的。需要使用的8个测试表以及测试数据都已经在Hive测试中生成过了,所以在Pig上就跑一遍测试程序看看结果就可以啦。下面,就来说说TPC-H在Pig上测试的具体步骤。

 

系统环境:

    6个结点,ubuntu01为master结点,ubuntu02-ubuntu06为slave结点

    Ubuntu 12.04 LTS

    Hadoop-1.2.1

    Hive-0.13.1

    tpch_2_14_3

一、安装配置

1、下载TPC-H源码tpch_2_14_3.zip,用来生成测试数据

      网址:http://www.tpc.org/tpch/default.asp

2、将TPC-H压缩包解压,本文中解压目录为:/opt/

     命令:ubuntu@ubuntu01:~$ unzip tpch_2_14_3.zip -C /opt/

3、进入tpch目录下的dbgen子目录下,将makefile.suite文件拷贝为makefile,并对makefile进行修改

     命令:ubuntu@ubuntu01:/opt/dbgen$ cp makefile.suite makefile

     命令:ubuntu@ubuntu01:/opt/dbgen$ gedit makefile

     在makefile文件中的相应行进行如下修改:CC      = gcc

     # Current values for DATABASE are: INFORMIX, DB2, TDAT (Teradata)  

     #                                  SQLSERVER, SYBASE  

     # Current values for MACHINE are:  ATT, DOS, HP, IBM, ICL, MVS, 

     #                                  SGI, SUN, U2200, VMS, LINUX, WIN32   

     # Current values for WORKLOAD are:  TPCH 

     DATABASE= SQLSERVER  

     MACHINE = LINUX  

     WORKLOAD = TPCH 

4、修改dbgen文件夹下的tpcd.h文件

     修改其中的SQLSERVER段:

     #ifdef  SQLSERVER
     #define GEN_QUERY_PLAN        "EXPLAIN;"
     #define START_TRAN                "START TRANSACTION;\n"
     #define END_TRAN                "COMMIT;\n"
     #define SET_OUTPUT                ""
     #define SET_ROWCOUNT                "limit %d;\n"
     #define SET_DBASE                "use %s;\n"
     #endif

5、执行makefile

     命令:ubuntu@ubuntu01:/opt/dbgen$ make

6、生成需要用的数据

     命令:ubuntu@ubuntu01:/opt/dbgen$ ./dbgen -s 1

     说明:-s 代表数据规模因子,1 代表产生1G的数据量

     在当前文件夹下生成的8个.tbl文件就是我们所需要的数据。

7、建立表,以及向表中加载数据

     在TPC-H_on_Hive/data目录下有个tpch_prepare_data.sh文件,通过查看这个文件中的语句可知,运行这个命令可以在HDFS上建立我们所需要的8个数据表,并且将本地产生的数据文件拷贝到HDFS中。

     命令:ubuntu@ubuntu01:/opt/TPC-H_on_Hive/data$ ./tpch_prepare_data.sh

--------------------------------分割线-------------------------------------

     如果已经进行过Hive测试的话,上边7个步骤都是可以省略的,就像我一开始说的,Pig上边的这套和Hive很大程度上是通用的 ( 不了解的可以看我的上一篇博客 )。从这开始,就要进入Pig测试正题了。

二、Pig测试

     8、下载TPC-H_on_Pig

     网址:https://issues.apache.org/jira/browse/PIG-2397

     下载之后,同样解压到/opt/目录下,将之前生成的8个表拷贝到TPC-H_on_Pig文件夹中。

     9、测试

     Pig测试命令:ubuntu@ubuntu01:/opt/TPC_H_on_Pig/$ ./run_tpch.sh hdfs://ubuntu01:9000/tpch/ hdfs://ubuntu01:9000/user/ 5

     逐个解释一下每个参数的含义:

     第一个:./run_tpch.sh,这个就不多说了;

     第二个:hdfs://ubuntu01:9000/tpch/ 这是输入数据的路径,但要注意的是这个路径是HDFS上的路径;

     第三个:hdfs://ubuntu01:9000/user/ 这是输出数据的路径,同样也是HDFS上的文件路径;

     第四个:5 这个参数表示的是reducers的个数,可以根据自己系统环境的情况来决定

     运行这个命令就万事大吉了,但由于测试时间可能会达到3个小时左右,所以最好将terminal中打印的信息输入到一个文本文件,这样可以方便查看。实现这种输出其实很简单,只需要使用tee命令就可以,在这里我们采用追加的方式向文本文件输出,命令如下:

命令:ubuntu@ubuntu01:/opt/TPC_H_on_Pig/$ ./run_tpch.sh hdfs://ubuntu01:9000/tpch/ hdfs://ubuntu01:9000/user/ 5 | tee -a q1~q22_Pig.txt

      其中,q1~q22_Pig.txt 代表输出文本文件名。

三、总结

     由于之前对Pig也是十分不了解,所以就跑去看README。对README里边的命令解释真心无语。原文中对于单个SQL脚本文件的给出的运行命令是

     ${PIG_HOME}/bin/pig $hadoop_opts -param input=<input_dir> -param output=<output_dir> -param reducers=<reducers> -f queries/<script_name>

     其他参数都好理解,唯独-param这个参数我是真不明白啥意思。看了一天都毫无进展,实在不了解它到底代表什么。就在准备撒手不干的时候,抱着试一试的心态就直接使用了 '-param',结果还真是这样,直接用,当场就一脸黑线啊有木有,可怜我一整天的时间啊,都浪费在这上面了。以后就吸取教训了,管他知不知道,都试试,没准就碰上了呢。

© 著作权归作者所有

共有 人打赏支持
youting
粉丝 1
博文 6
码字总数 5088
作品 0
南京
程序员
私信 提问
TPC-H Q1 测试显示 PgSQL 11 JIT 带来 30% 性能提升

PostgreSQL 11 正式版很快就能和我们见面了,该版本有一个和性能提升相关的重要特性 —— 对 JIT(just-in-time) 编译的支持。今年3月份我们曾报道过,在 TPC-H 等数据库测试中,发现用于 Po...

局长
09/14
1K
4
解析大数据基准测试——TPC-H or TPC-DS

转自:https://www.csdn.net/article/2015-05-14/2824680 摘要:为了方便企业选择合适的大数据测试基准,本文将在分析总结现有成果的基础,进一步讨论大数据测试基准应该具有的要素;并以此为...

yntmdr
07/16
0
0
benchmarksql 支持timesten的TPC-C/TPC-H测试么?

最近想做tpc-c、tpc-h测试,听说BenchmarkSql能测试很多软件,那么它支持tpc-c、tpc-h么?

nishuhan
2017/05/12
87
0
数据库性能测试工具--HammerOra

HammerOra 工具是基于TCL(Tool Command Language)语言的数据库性能测试工具。首先HammerOra是一款负载测试工具;其次HammerOra目前支持Oracle, MySQL和HTTP应用(web应用); 然后HammerOra是开源...

匿名
2009/09/22
5.5K
0
服务器性能指标:拨开服务器评测体系迷雾

用户总希望有一种简单、高效的度量标准,来量化评价服务器系统,以便作为选型的依据。但实际上,服务器的系统性能很难用一两种指标来衡量。包括 TPC、SPEC、SAP SD、Linpack和HPCC在内的众多...

shezjl
2015/06/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

JavaScript面试题大坑之隐式类型转换实例代码

1.1-隐式转换介绍 在js中,当运算符在运算时,如果两边数据不统一,CPU就无法计算,这时我们编译器会自动将运算符两边的数据做一个数据类型转换,转成一样的数据类型再计算 这种无需程序员手...

peakedness丶
16分钟前
0
0
示例vue 的keep-alive缓存功能的实现

本篇文章主要介绍了vue 的keep-alive缓存功能的实现,写的十分的全面细致,具有一定的参考价值,对此有需要的朋友可以参考学习下。如有不足之处,欢迎批评指正。 #Vue 实现组件信息的缓存 当...

前端攻城老湿
18分钟前
0
0
解析Vue.js中的computed工作原理

我们通过实现一个简单版的和Vue中computed具有相同功能的函数来了解computed是如何工作的。写的十分的全面细致,具有一定的参考价值,对此有需要的朋友可以参考学习下。如有不足之处,欢迎批...

前端攻城小牛
19分钟前
1
0
linux脚本中父shell与子shell 执行的几种方式

本文主要介绍以下几个命令的区别: shell subshell source $ (commond) `commond` Linux执行Scripts有两种方式,主要区别在于是否建立subshell 1. source filename or . filename 不创建sub...

问题终结者
37分钟前
1
0
安装jdk和Tomcat

12月12日任务 16.1 Tomcat介绍 16.2 安装jdk 16.3 安装Tomcat Tomcat介绍 Tomcat是apache软件基金会(Apache Software Foundation)的Jakarta项目中的一个核心项目,由apache、Sun和其他一些...

robertt15
38分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部