文档章节

大数据开发—常见问题(2)

大大梁
 大大梁
发布于 2017/05/08 17:18
字数 553
阅读 10
收藏 0

我们在进行大数据开发过程中,会遇到各种问题,本文将定期收集整理一些在使用阿里云数加 MaxCompute 和 大数据开发套件 过程中遇到的常见问题,供大家参考~

Q. 图片中的任务状态实际是暂停的,为什么统计的是失败?

1

A. 大数据开发套件中的暂停状态,就是失败,所以会放在失败里统计. 此处建议如果用于紧急处理任务,减少对下游数据的影响,可以将其置为暂停状态;如果是不再使用的任务,建议删除 。

Q. 一个 sql 里 join 一个百万的小表 6 次,这个小表的数据会在内存里做缓存吗?还是会被全表扫描 6 次?
A. 当一个大表和一个或多个小表做 join 时,可以使用 mapjoin ,在小数据量情况下,SQL 会将用户指定的小表全部加载到执行 join 操作的程序的内存中,从而加快 join 的执行速度 。详情请参见 SELECT 操作 中的 mapjoin 部分的内容 。

Q. MaxCompute 对于有临时表的任务是否可以自动推荐上游任务?
A. 有临时表的任务是无法自动推荐依赖的, 脚本本身会产生表,无法自依赖,需要靠人工填这个上游依赖关系 。

Q. MaxCompute 是否支持 Elasticsearch ?
A. 不支持 。

Q. UDF 里是否可以查询 OTS..?
A. 不可以 。

Q. 通过 SQL 语句创建 MaxCompute 表时,怎么设置“中文名”?如下图所示:

2

A. 这里的中文名是在数据管理模块中为了方便管理而设置的,MaxCompute 表本身没有这个属性, 包括所属类目等,都是在数据治理中用到 。

Q. MaxCompute 存储过程中支持类似于 oracle 的 EXECUTE IMMEDIATE + sql 语句 这样的语法吗?也就是说可以自己拼凑一个动态的 sql,然后让它执行吗?
A. 不支持 。

本文为云栖社区原创内容,未经允许不得转载,如需转载请发送邮件至yqeditor@list.alibaba-inc.com

 

原文链接

本文转载自:

大大梁
粉丝 0
博文 225
码字总数 0
作品 0
私信 提问
微服务开发架构——Spring Cloud常见问题与总结Spring Cloud 各组件配置属性

个人GitHub地址:https://github.com/leebingbin/ 在使用Spring Cloud的过程中,难免会遇到一些问题。所以对Spring Cloud的常用问题做一些总结。 关于“Eureka常见问题”可以参考,我之前的文...

Mr_ET
2017/11/02
144
0
LeanDev Day:对战类游戏开发技术专场

游戏开发除了要有好的设计及创意外,如何快速稳定上线也是大家最为关心的问题,特别是如今游戏层出不穷的情况下,进度缓慢很可能会导致自己的目标市场早已经被其他同类游戏垄断占领。所以本次...

LeanCloud
2018/05/17
8
0
LeanDev Day:对战类游戏开发技术专场

游戏开发除了要有好的设计及创意外,如何快速稳定上线也是大家最为关心的问题,特别是如今游戏层出不穷的情况下,进度缓慢很可能会导致自己的目标市场早已经被其他同类游戏垄断占领。所以本次...

LeanCloud
2018/05/17
19
0
应对程序员面试,你必须知道的八大数据结构

瑞士计算机科学家Niklaus Wirth在1976年写了一本书,名为《算法+数据结构=编程》。 40多年后,这个等式仍被奉为真理。这就是为什么在面试过程中,需要考察软件工程师对数据结构的理解。 几乎...

技术小能手
2018/08/29
0
0
微服务开发架构——Spring Cloud常见问题与总结Hystrix/Feign 整合Hystrix后首次请求失败

个人GitHub地址:https://github.com/leebingbin/ 在使用Spring Cloud的过程中,难免会遇到一些问题。所以对Spring Cloud的常用问题做一些总结。 关于“Eureka常见问题”可以参考,我之前的文...

Mr_ET
2017/10/30
229
0

没有更多内容

加载失败,请刷新页面

加载更多

《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
今天
6
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
今天
7
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
今天
5
0
OSChina 周日乱弹 —— 我,小小编辑,食人族酋长

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @宇辰OSC :分享娃娃的单曲《飘洋过海来看你》: #今日歌曲推荐# 《飘洋过海来看你》- 娃娃 手机党少年们想听歌,请使劲儿戳(这里) @宇辰OSC...

小小编辑
今天
1K
11
MongoDB系列-- SpringBoot 中对 MongoDB 的 基本操作

SpringBoot 中对 MongoDB 的 基本操作 Database 库的创建 首先 在MongoDB 操作客户端 Robo 3T 中 创建数据库: 增加用户User: 创建 Collections 集合(类似mysql 中的 表): 后面我们大部分都...

TcWong
今天
40
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部