文档章节

大数据开发—常见问题(2)

大大梁
 大大梁
发布于 2017/05/08 11:05
字数 622
阅读 4
收藏 0

我们在进行大数据开发过程中,会遇到各种问题,本文将定期收集整理一些在使用阿里云数加 MaxCompute 和 大数据开发套件 过程中遇到的常见问题,供大家参考~

Q. 图片中的任务状态实际是暂停的,为什么统计的是失败?

1

A. 大数据开发套件中的暂停状态,就是失败,所以会放在失败里统计. 此处建议如果用于紧急处理任务,减少对下游数据的影响,可以将其置为暂停状态;如果是不再使用的任务,建议删除 。

Q. 一个 sql 里 join 一个百万的小表 6 次,这个小表的数据会在内存里做缓存吗?还是会被全表扫描 6 次?
A. 当一个大表和一个或多个小表做 join 时,可以使用 mapjoin ,在小数据量情况下,SQL 会将用户指定的小表全部加载到执行 join 操作的程序的内存中,从而加快 join 的执行速度 。详情请参见 SELECT 操作 中的 mapjoin 部分的内容 。

Q. MaxCompute 对于有临时表的任务是否可以自动推荐上游任务?
A. 有临时表的任务是无法自动推荐依赖的, 脚本本身会产生表,无法自依赖,需要靠人工填这个上游依赖关系 。

Q. MaxCompute 是否支持 Elasticsearch ?
A. 不支持 。

Q. UDF 里是否可以查询 OTS..?
A. 不可以 。

Q. 通过 SQL 语句创建 MaxCompute 表时,怎么设置“中文名”?如下图所示:

2

A. 这里的中文名是在数据管理模块中为了方便管理而设置的,MaxCompute 表本身没有这个属性, 包括所属类目等,都是在数据治理中用到 。

Q. MaxCompute 存储过程中支持类似于 oracle 的 EXECUTE IMMEDIATE + sql 语句 这样的语法吗?也就是说可以自己拼凑一个动态的 sql,然后让它执行吗?

A. 不支持 。

本文为云栖社区原创内容,未经允许不得转载,如需转载请发送邮件至yqeditor@list.alibaba-inc.com

原文链接:http://click.aliyun.com/m/19871/

本文转载自:

大大梁
粉丝 0
博文 225
码字总数 0
作品 0
私信 提问
微服务开发架构——Spring Cloud常见问题与总结Spring Cloud 各组件配置属性

个人GitHub地址:https://github.com/leebingbin/ 在使用Spring Cloud的过程中,难免会遇到一些问题。所以对Spring Cloud的常用问题做一些总结。 关于“Eureka常见问题”可以参考,我之前的文...

Mr_ET
2017/11/02
147
0
LeanDev Day:对战类游戏开发技术专场

游戏开发除了要有好的设计及创意外,如何快速稳定上线也是大家最为关心的问题,特别是如今游戏层出不穷的情况下,进度缓慢很可能会导致自己的目标市场早已经被其他同类游戏垄断占领。所以本次...

LeanCloud
2018/05/17
9
0
LeanDev Day:对战类游戏开发技术专场

游戏开发除了要有好的设计及创意外,如何快速稳定上线也是大家最为关心的问题,特别是如今游戏层出不穷的情况下,进度缓慢很可能会导致自己的目标市场早已经被其他同类游戏垄断占领。所以本次...

LeanCloud
2018/05/17
21
0
应对程序员面试,你必须知道的八大数据结构

瑞士计算机科学家Niklaus Wirth在1976年写了一本书,名为《算法+数据结构=编程》。 40多年后,这个等式仍被奉为真理。这就是为什么在面试过程中,需要考察软件工程师对数据结构的理解。 几乎...

技术小能手
2018/08/29
0
0
微服务开发架构——Spring Cloud常见问题与总结Hystrix/Feign 整合Hystrix后首次请求失败

个人GitHub地址:https://github.com/leebingbin/ 在使用Spring Cloud的过程中,难免会遇到一些问题。所以对Spring Cloud的常用问题做一些总结。 关于“Eureka常见问题”可以参考,我之前的文...

Mr_ET
2017/10/30
234
0

没有更多内容

加载失败,请刷新页面

加载更多

Rust 的 GUI 框架生态概览

本文比较全面比较了目前主流的 Rust 的 GUI 框架的表现。其中 ++ 表示非常好,-- 表示非常差,而 o 表示处于平均水平。 参与对比的框架共有 8 个,详细的比较结果如下: Electron + Neon El...

红薯
17分钟前
3
0
golang微服务框架go-micro 入门笔记2.1 micro工具之micro api

micro api micro 功能非常强大,本文将详细阐述micro api 命令行的功能 重要的事情说3次 本文全部代码https://idea.techidea8.com/open/idea.shtml?id=6 本文全部代码https://idea.techidea8....

非正式解决方案
今天
3
0
Spring Context 你真的懂了吗

今天介绍一下大家常见的一个单词 context 应该怎么去理解,正确的理解它有助于我们学习 spring 以及计算机系统中的其他知识。 1. context 是什么 我们经常在编程中见到 context 这个单词,当...

Java知其所以然
昨天
3
0
Spring Boot + Mybatis-Plus 集成与使用(二)

前言: 本章节介绍MyBatis-Puls的CRUD使用。在开始之前,先简单讲解下上章节关于Spring Boot是如何自动配置MyBatis-Plus。 一、自动配置 当Spring Boot应用从主方法main()启动后,首先加载S...

伴学编程
昨天
7
0
用最通俗的方法讲spring [一] ──── AOP

@[TOC](用最通俗的方法讲spring [一] ──── AOP) 写这个系列的目的(可以跳过不看) 自己写这个系列的目的,是因为自己是个比较笨的人,我曾一度怀疑自己的智商不适合干编程这个行业.因为在我...

小贼贼子
昨天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部