文档章节

导出SQL运行结果的方法总结

_夜枫
 _夜枫
发布于 2017/03/29 22:25
字数 1431
阅读 551
收藏 1

本文通过几个例子,介绍了几种下载MaxCompute SQL计算结果的方法。为了减少篇幅,所有的SDK部分都只举例介绍Java的例子。

SQLTask

SQLTask是SDK直接调用MaxCompute SQL的接口,能很方便得运行SQL并获得其返回结果。
从文档可以看到,SQLTask.getResult(i); 返回的是一个List。用户可以循环迭代这个List,获得完整的SQL计算返回结果。不过这个方法有个缺陷,可以参考这里这里提到的SetProject READ_TABLE_MAX_ROW的功能。目前Select语句返回给客户端的数据条数最大可以调整到1万。也就是说如果在客户端上(包括SQLTask)直接Select,那相当于查询结果上最后加了个Limit N(如果是CREATE TABLE XX AS SELECT或者用INSERT INTO/OVERWRITE TABLE把结果固化到具体的表里就没关系)。

Tunnel

如果需要导出的查询结果就是某张表的全部内容(或者是具体的某个分区的全部内容),可以用Tunnel来做。官网提供了命令行工具和基于SDK编写的Tunnl SDK。为了简单起见,这里就只提供一个命令行导出数据的例子,Tunnel SDK的编写是在有一些命令行没办法支持的情况下才需要考虑。具体需要用的时候看下文档好了。

>tunnel d wc_out c:\wc_out.dat;
2016-12-16 19:32:08  -  new session: 201612161932082d3c9b0a012f68e7     total lines: 3
2016-12-16 19:32:08  -  file [0]: [0, 3), c:\wc_out.dat
downloading 3 records into 1 file
2016-12-16 19:32:08  -  file [0] start
2016-12-16 19:32:08  -  file [0] OK. total: 21 bytes
download OK

SQLTask+Tunnel

可以看到,SQLTask不能处理超过1万条记录,但是Tunnel刚好可以,两者存在互补。所以可以基于两者实现数据的导出。以下用一个代码的例子来实现:

    private static final String accessId = "userAccessId";
    private static final String accessKey = "userAccessKey";
    private static final String endPoint = "http://service.odps.aliyun.com/api";
    private static final String project = "userProject";
    private static final String sql = "userSQL";
    private static final String table = "Tmp_" + UUID.randomUUID().toString().replace("-", "_");//其实也就是随便找了个随机字符串作为临时表的名字
    private static final Odps odps = getOdps();

    public static void main(String[] args) {
        System.out.println(table);
        runSql();
        tunnel();
    }

    /* * 把SQLTask的结果下载过来 * */
    private static void tunnel() {
        TableTunnel tunnel = new TableTunnel(odps);
        try {
            DownloadSession downloadSession = tunnel.createDownloadSession(
                    project, table);
            System.out.println("Session Status is : "
                    + downloadSession.getStatus().toString());
            long count = downloadSession.getRecordCount();
            System.out.println("RecordCount is: " + count);
            RecordReader recordReader = downloadSession.openRecordReader(0,
                    count);
            Record record;
            while ((record = recordReader.read()) != null) {
                consumeRecord(record, downloadSession.getSchema());
            }
            recordReader.close();
        } catch (TunnelException e) {
            e.printStackTrace();
        } catch (IOException e1) {
            e1.printStackTrace();
        }
    }

    /* * 保存这条数据 * 数据量少的话直接打印后拷贝走也是一种取巧的方法。实际场景可以用Java.io写到本地文件,或者写到远端数据等各种目标保存起来。 * */
    private static void consumeRecord(Record record, TableSchema schema) {
        System.out.println(record.getString("username")+","+record.getBigint("cnt"));
    }

    /* * 运行SQL,把查询结果保存成临时表,方便后面用Tunnel下载 * 这里保存数据的lifecycle为1天,所以哪怕删除步骤出了问题,也不会太浪费存储空间 * */
    private static void runSql() {
        Instance i;
        StringBuilder sb = new StringBuilder("Create Table ").append(table)
                .append(" lifecycle 1 as ").append(sql);
        try {
            System.out.println(sb.toString());
            i = SQLTask.run(getOdps(), sb.toString());
            i.waitForSuccess();

        } catch (OdpsException e) {
            e.printStackTrace();
        }
    }

    /* * 初始化MaxCompute(原ODPS)的连接信息 * */
    private static Odps getOdps() {
        Account account = new AliyunAccount(accessId, accessKey);
        Odps odps = new Odps(account);
        odps.setEndpoint(endPoint);
        odps.setDefaultProject(project);
        return odps;
    }

工具实现

有时候我们希望把数据导出后用文本文件来保存,但是有时候会希望保存到数据库或者其他的别的什么地方。为了避免重复造轮子,阿里开源了工具DataX。通过配置配置文件,可以很方便的导出MaxCompute里的数据到目标数据源。

工具的安装自不必多说,关于插件的配置,可以看到有分为Reader和Writer,还有一个用来配置整个任务的诸如速度并发限制的Setting。通过配置Reader和Writer,可以很方便地适配不同的数据源。

云产品

细心的你可能已经发现,这个解掉了数据下载后保存的问题,但是还是没解决数据的生成以及两个步骤之间的调度依赖的问题。

这里隆重为大家介绍阿里云大数据开发套件这个产品,我们可以在里面运行SQL、配置任务同步(基于dataX实现),还可以设置自动周期性运行还有多任务之间的依赖,彻底解决了前面的所有烦恼。

我们先创建一个工作流,里面可以有一个SQL节点和一个数据同步节点。如图

019849cd3cb0616f50f2a3bb39b54bba3ea5653f

里面配置的SQL作业和同步作业的配置如图:

3b2a53d2e53b71bd7aebceb274298f1e442b669a

注意SQL这里的创建表我先执行了一下再去配置同步(否则表都没有,同步任务没办法配置)

db1f82409b52a81ff39da11a4d202ce7bc985b01

运行测试后,可以看到日志里显示

 

2016-12-17 23:43:46.394 [job-15598025] INFO  JobContainer - 
任务启动时刻                    : 2016-12-17 23:43:34
任务结束时刻                    : 2016-12-17 23:43:46
任务总计耗时                    :                 11s
任务平均流量                    :           31.36KB/s
记录写入速度                    :           1668rec/s
读出记录总数                    :               16689
读写失败总数                    :                   0

到mysql里查一下,数据也进去了。

6ba5dd84c33ac8184c42729f7139246dcb234121

 

总结

  • 如果数据比较少,我们可以直接用SQLTask得到全部的查询结果。
  • 如果只是想导出某个表或者分区,可以用Tunnel直接导出数据。
  • 如果SQL比较复杂,需要Tunnel和SQL相互配合才行。
  • 开源工具DataX能帮助我们很方便把MaxCompute里的数据导出到目标数据源。
  • 大数据开发套件可以方便地帮我们运行SQL,同步数据,并有定时调度,配置任务依赖的功能。

本文转载自:https://yq.aliyun.com/articles/66825

_夜枫
粉丝 10
博文 506
码字总数 0
作品 0
朝阳
后端工程师
私信 提问
如何在Azure Data Studio中导出数据库?

出口? 当我们说出口时,我们究竟是什么意思?它可以像将数据导出到平面文件以便在Excel或其他东西中使用一样简单。它可能正在创建备份。也许我们的意思是创建一个bacpac文件。我们还可以考虑...

萤火的萤
02/28
0
0
将MySQL查询结果导出到Excel

总结将mysql的查询结果导出到文件的方法 总结 使用命令 参考:https://stackoverflow.com/questions/32737478/how-should-i-tackle-secure-file-priv-in-mysql 设置查询结果自动写入到指定文...

yysue
2018/10/07
265
0
Java项目中调用bat批处理配合使用BCP进行多用户数据的备份

标签: 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://enetq.blog.51cto.com/479739/878372 Java项目中调用bat批处理配合...

fraya1234
2017/11/11
0
0
如何查看表和索引的统计信息

原文:如何查看表和索引的统计信息   这几天要求做一个服务器的统计信息,主要针对表和索引。下面我就简单分享几个查询数据表和索引统计信息的方法: 1.使用T-SQL 语句实现: select schem...

杰克.陈
2018/01/25
0
0
Java中Date插入数据库的一些问题总结(二)

Java中Date插入数据库的一些问题总结(二) 关于java.sql.Date中插入/提取数据库中 Date类型的date值–带有时分秒的方法 ———————————–楼主温馨提示:以下内容可以忽略,直接从下...

萧沐垚
2016/12/16
307
0

没有更多内容

加载失败,请刷新页面

加载更多

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二)

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二) List 类型的操作 1、 向列表左侧添加数据 Long leftPush = redisTemplate.opsForList().leftPush("name", name); 2、 向列表右......

TcWong
今天
7
0
排序––快速排序(二)

根据排序––快速排序(一)的描述,现准备写一个快速排序的主体框架: 1、首先需要设置一个枢轴元素即setPivot(int i); 2、然后需要与枢轴元素进行比较即int comparePivot(int j); 3、最后...

FAT_mt
昨天
4
0
mysql概览

学习知识,首先要有一个总体的认识。以下为mysql概览 1-架构图 2-Detail csdn |简书 | 头条 | SegmentFault 思否 | 掘金 | 开源中国 |

程序员深夜写bug
昨天
10
0
golang微服务框架go-micro 入门笔记2.2 micro工具之微应用利器micro web

micro web micro 功能非常强大,本文将详细阐述micro web 命令行的功能 阅读本文前你可能需要进行如下知识储备 golang分布式微服务框架go-micro 入门笔记1:搭建go-micro环境, golang微服务框架...

非正式解决方案
昨天
9
0
前端——使用base64编码在页面嵌入图片

因为页面中插入一个图片都要写明图片的路径——相对路径或者绝对路径。而除了具体的网站图片的图片地址,如果是在自己电脑文件夹里的图片,当我们的HTML文件在别人电脑上打开的时候图片则由于...

被毒打的程序猿
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部