大数据开发—常见问题(2)

2017/05/08 17:18
阅读数 444

我们在进行大数据开发过程中,会遇到各种问题,本文将定期收集整理一些在使用阿里云数加 MaxCompute 和 大数据开发套件 过程中遇到的常见问题,供大家参考~

Q. 图片中的任务状态实际是暂停的,为什么统计的是失败?

1

A. 大数据开发套件中的暂停状态,就是失败,所以会放在失败里统计. 此处建议如果用于紧急处理任务,减少对下游数据的影响,可以将其置为暂停状态;如果是不再使用的任务,建议删除 。

Q. 一个 sql 里 join 一个百万的小表 6 次,这个小表的数据会在内存里做缓存吗?还是会被全表扫描 6 次?
A. 当一个大表和一个或多个小表做 join 时,可以使用 mapjoin ,在小数据量情况下,SQL 会将用户指定的小表全部加载到执行 join 操作的程序的内存中,从而加快 join 的执行速度 。详情请参见 SELECT 操作 中的 mapjoin 部分的内容 。

Q. MaxCompute 对于有临时表的任务是否可以自动推荐上游任务?
A. 有临时表的任务是无法自动推荐依赖的, 脚本本身会产生表,无法自依赖,需要靠人工填这个上游依赖关系 。

Q. MaxCompute 是否支持 Elasticsearch ?
A. 不支持 。

Q. UDF 里是否可以查询 OTS..?
A. 不可以 。

Q. 通过 SQL 语句创建 MaxCompute 表时,怎么设置“中文名”?如下图所示:

2

A. 这里的中文名是在数据管理模块中为了方便管理而设置的,MaxCompute 表本身没有这个属性, 包括所属类目等,都是在数据治理中用到 。

Q. MaxCompute 存储过程中支持类似于 oracle 的 EXECUTE IMMEDIATE + sql 语句 这样的语法吗?也就是说可以自己拼凑一个动态的 sql,然后让它执行吗?
A. 不支持 。

本文为云栖社区原创内容,未经允许不得转载,如需转载请发送邮件至yqeditor@list.alibaba-inc.com

 

原文链接

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部