文档章节

FaceBook Prestodb 配置文档

稻草鸟人
 稻草鸟人
发布于 2016/05/12 17:44
字数 736
阅读 440
收藏 12

 

安装配置

wget https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.145/presto-server-0.145.tar.gz
tar xzvf presto-server-0.145.tar.gz
cd presto-server-0.145
mkdir etc

在etc目录下创建如下几个文件

1. node.properties
2. jvm.config
3. config.properties
4. log.properties
5. Catalog Properties

node.properties

node.environment=production                     #环境的名称,集群情况下每个presto节点名称需要保持一致
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff    #presto节点唯一标示,每个节点应该都不同
node.data-dir=/data/store/presto                #数据存放目录,presto会把日志和其他数据存这里

jvm.properties

-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p

config.properties

#cordinator 最小配置
coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8080
query.max-memory=50GB
query.max-memory-per-node=1GB
discovery-server.enabled=true
discovery.uri=http://example.net:8080

#worker最小配置
coordinator=false
http-server.http.port=8080
query.max-memory=50GB
query.max-memory-per-node=1GB
discovery.uri=http://example.net:8080

#一台机器做测试的时候既作为cordinator也是work那么我们如下配置
coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8080
query.max-memory=5GB
query.max-memory-per-node=1GB
discovery-server.enabled=true
discovery.uri=http://example.net:8080

log.properties

com.facebook.presto=INFO

Catalog 配置

#需要我们再etc目录下创建catalog目录,然后根据你想用的连接器创建对应的配置文件,
#比如我想用mysql连接器则创建mysql.properties
#实际情况很多人去用hive连接器..后面如果有机会,在我一边学习的时候再做分享
connector.name=mysql
connection-url=jdbc:mysql://localhost:3306
connection-user=root
connection-password=secret

如果多个mysql怎么办呢,我们就在catalog下面建立多个properties文件,但是需要是.properties结尾,名称不一样就行

启动

#后台启动
bin/launcher start
#前台启动,可以观察输出日志
bin/launcher run
#停止
bin/launcher stop

启动之后你可以在/data/store/presto目录下找到输出的日志

命令行

#下载
wget https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.146/presto-cli-0.146-executable.jar
#修改文件名为 presto
mv presto-cli-0.146-executable.jar presto
#添加可执行权限
chmod +x presto
#执行 schema 根据自己的表名而定
./presto --server localhost:8080 --catalog mysql --schema zhanshen

写在最后:

因为条件的限制,没有那么多机器,无法做大数据查询的测试,我很抱歉,对自己很抱歉...我也很庆幸,庆幸...

参考文档

【1】https://prestodb.io/docs/current/installation/deployment.html
【2】https://prestodb.io/docs/current/connector/mysql.html
【3】https://prestodb.io/docs/current/installation/cli.html

本文基于署名-非商业性使用-相同方式共享 4.0许可协议发布,欢迎转载、使用、重新发布,但务必保留文章署名稻草鸟人(包含此订阅号二维码)

© 著作权归作者所有

稻草鸟人

稻草鸟人

粉丝 51
博文 12
码字总数 10204
作品 0
上海
后端工程师
私信 提问
加载中

评论(3)

稻草鸟人
稻草鸟人 博主

引用来自“回去干活”的评论

科谱一下,这是个啥玩意.
打数据查询引擎
回去干活
回去干活
科谱一下,这是个啥玩意.
Caiman
Caiman
你好
Teiid 9.1.3 发布,数据虚拟化系统

Teiid 9.1.3 发布了,下载地址:download 。Teiid是一个数据虚拟化系统,让应用程序使用来自多个异构数据存储的数据。 该版本包含以下重要改进: [TEIID-4298] - Support in Odata4 for the...

红薯
2017/02/02
267
1
Teiid 8.10 Alpha2 发布

Teiid 8.10 Alpha2 发布,现已提供 downloads,同时也提供在 maven库。 值得关注的新特性如下: TEIID-991 SybaseIQ Translator - SybaseIQ 15.1 及以上 TEIID-2882 PrestoDB Translator - P...

叶秀兰
2014/12/20
294
0
Airbnb推出PrestoDB可视化Web UI —— Airpal

Airpal 是一个基于 Web 的查询执行工具,利用 Facebook 的 PrestoDB 进行查询和获取结果。提供了查找表、元数据、浏览数据行,编写和执行查询的功能,这些功能全部通过浏览器完成。一旦查询开...

oschina
2015/03/07
170
0
Teiid 8.10 Final 发布,异构数据存储系统

Teiid 8.10 Final 发布,该版本解决了 113 个 JIRA 问题,包括新特性、增强和 bug 修复,值得关注的有: TEIID-3192 Salesforce Connectivity - connectivity was converted to the partner...

红薯
2015/03/04
1K
2
presto执行过程,sql支持及hive异同

Prestodb概述及性能测试 博客分类: presto系列 概述内容 (1)简介 (2)Hive and Prestodb, comparison of functionality (3)Hive and Prestodb, comparison of performance (1)简介 ...

hblt-j
02/14
159
0

没有更多内容

加载失败,请刷新页面

加载更多

DevOps是如何实现效率的提升?

随着企业业务对软件系统日益依赖,IT管理与研发模式也随之对“敏态”模式产生了需求,也就是今天时常提起的DevOps。提升效率,是DevOps实践的核心内容之一。就让我们来一起从软件生命周期的业...

嘉为科技
29分钟前
3
0
总结:linux目录之proc

我们系统大部分的基础数据采集,其实就是读取proc目录下的文件,并解析获取数据的过程。 1、如cpu利用率:直接cat /proc/cpuinfo命令,然后获取输出内容,并解析里面的数据,如cpu核数等; ...

浮躁的码农
31分钟前
3
0
比原Bapp红包应用

喜迎国庆期间,比原链在自己的移动端钱包Bycoin(下载地址)和google插件钱byone中推出了红包应用,在国庆期间深受大家好评。 那我们今天就来大概介绍一下比原红包,以及基于比原链开发dapp应用...

比原链Bytom
32分钟前
3
0
Linux中没有rc.local文件的解决方法

Linux中没有rc.local文件的解决方法是什么呢?这应该是很多工程师比较头疼的问题,下面就给大家例举几个解决办法。 比较新的Linux发行版已经没有rc.local文件了。因为已经将其服务化了。 解决...

xiangyunyan
32分钟前
2
0
数据中台在阿里巴巴集团内部的实践情况

作者:品鉴 数据中台门在阿里巴巴集团干什么的,由哪个部门掌管?数据中台在阿里巴巴的主要作用是什么呢?外面吹嘘这么神秘的数据中台在阿里实践的如何呢?今天小编正好要采访数据技术及产品...

阿里云官方博客
33分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部