文档章节

MaxCompute Console 实用小命令

_夜枫
 _夜枫
发布于 2017/03/21 10:40
字数 958
阅读 19
收藏 0

MaxCompute Console 可以从 这里 下载。在阿里云官网可以查看 帮助文档

这里跟大家分享一些 MaxCompute Console 中实用的小命令。嗯,一般人我不告诉他~

odpscmd -v 查看 odpscmd 版本

  /Users/zhenhong/tool/odps_clt  ./bin/odpscmd -v
******Odps Command Line Tools******
BuildTime: 2016-06-27 18:14:48
Revision: 30d623d
MavenVersion: 0.24.0-snapshot
Branch: develop

2 开启 debug 模式

在 odps_config.ini 中加一行:debug=true,将开启调试模式。之后在 odpscmd 运行过程中会输出 debug 日志、异常 stacktrace 等,方便定位问题。

  /Users/zhenhong/tool/odps_clt  cat conf/odps_config.ini
debug=true
access_id=***
access_key=***
end_point=***
project_name=***

运行 odpscmd,输入错误命令,将会看到错误日志

  /Users/zhenhong/tool/odps_clt  ./bin/odpscmd
[DEBUG]:ODPSConsole Start
Aliyun ODPS Command Line Tool
Version 0.24.0-snapshot
@Copyright 2015 Alibaba Cloud Computing Co., Ltd. All rights reserved.
odps@ odps_test_tunnel_project_gcc492>ll tables;
FAILED: ODPS-0130161:Parse exception - line 1:0 cannot recognize input near 'll' 'tables' '<EOF>'
[DEBUG]: com.aliyun.openservices.odps.console.ODPSConsoleException: ODPS-0130161:Parse exception - line 1:0 cannot recognize input near 'll' 'tables' '<EOF>'
    at com.aliyun.openservices.odps.console.QueryCommand.run(QueryCommand.java:212)
。。。

help <命令关键字> 获取命令使用提示

大多数同学都知道使用 odpscmd -h 或者 help;来获取 odpscmd 的所有命令提示。
除了这个,我们还有专门的 help + 关键字 命令呢。例如,使用help ls; 获取与 ls 相关的命令;使用 help table; 命令来获取所有与 table 相关的命令提示。

  /Users/zhenhong/tool/odps_clt  ./bin/odpscmd
[DEBUG]:ODPSConsole Start
Aliyun ODPS Command Line Tool
Version 0.24.0-snapshot
@Copyright 2015 Alibaba Cloud Computing Co., Ltd. All rights reserved.
odps@ odps_test_tunnel_project_gcc492>help table;

Usage: show tables [in <projectname>]
 list|ls tables [-p,-project <projectname>]
Usage: export table <tablename>
Usage: alter table <tablename> merge smallfiles
Usage: read  <table_name> [<(col_name>[,..])][PARTITION <(partition_spec)>][line_num]

是不是很方便呢?再也不用去翻文档了!

另外,负责数据上传下载 tunnel 命令,除了有 help tunnel; 来获取提示,还有tunnel help <subcommand> 来获取详细命令提示,下面例子使用 tunnel help download; 得到与下载相关的命令参数。

odps@ odps_test_tunnel_project_gcc492>tunnel help download;
usage: tunnel download [options] <[project.]table[/partition]> <path>
              download data to local file
 -c,-charset <ARG>                 specify file charset, default ignore.
                                   set ignore to download raw data
。。。。(此处省略大量参数提示)
 -tz,-time-zone <ARG>              time zone, default local timezone:
                                   Asia/Shanghai
Example:
    tunnel download test_project.test_table/p1="b1",p2="b2" log.txt

wait <instance_id> 获取 instance 详细信息:logview、 summary 等

当一个作业已经运行完成,或者被放到后台执行,我们就不能再看到 instance 相关的执行信息,包括 logview 链接、instance summary、instance 运行的结果等等。这个时候,使用 wait <instance_id>命令可以再次获取到这些信息。

odps@ odps_test>wait 20161008231329221gr58pvyi2;

ID = 20161008231329221gr58pvyi2
Log view:
http://logview.odps.aliyun-inc.com:8080/logview/?h=http://***:***/***&p=odps_test&i=20161008231329221gr58pvyi2&token=********
Summary:
resource cost: cpu 0.00 Core * Min, memory 0.00 GB * Min
inputs:
    odps_test.src: 500 (2608 bytes)
outputs:
[此处省略。。。]

"_c0"
500

5 命令自动补全

由于历史原因,odpscmd 的命令没有统一的规范,完整的命令补全不是很好做,但是在 0.23.0 版本之后,我们做了命令关键字和文件路径的自动补全,使用TAB键即可。
下面列出输入不同字符后,敲 TAB 键的结果:

odps@ test_new_console_gcc>tunnel up
update         updateabtest   upload
odps@ test_new_console_gcc>tunnel upload test_dual ./te
test test_body      test_dual      test_dual1     test_header    test_out       test_value     text
odps@ test_new_console_gcc>add resource /tmp/
com.apple.launchd.1YmqQ8L2kK    com.apple.launchd.26PWVPElv8    entsafemgr.log

history 命令查看历史

用来找曾经写过的命令,特别方便哦。

odps@ test_new_console_gcc>history;
1 count src;
2 select t1.prediction_result from pai_pred_output_perd_14561096286930 t1 join pai_pred_output_perd_14561096286930 t2 on t1.label ==t2.label;
3 desc instance 20160811091342933gtvve03;
4 desc instance 20160811091342933gtvve03;
5 wait 20160811091342933gtvve03;
(省略 。。。)

注: 最多缓存 500 条历史命令

7 版本更新自动提示

在最新的开发版本中,我们添加了版本的更新提示功能,先露个脸吧:

  /Users/zhenhong/tool/odps_clt  ./bin/odpscmd
Aliyun ODPS Command Line Tool
Version 0.25.0-snapshot
@Copyright 2015 Alibaba Cloud Computing Co., Ltd. All rights reserved.
New version 0.25.1 available! Try it now! http://repo.aliyun.com/odpscmd/

持续更新中 (欢迎补充,更欢迎吐槽(_))。。。

如果上述命令的您还不能使用,请先升级版本哦,快来 试试 吧!

更多问题欢迎加入MaxCompute钉钉群讨论
aaaaa

本文转载自:https://yq.aliyun.com/articles/61428

_夜枫
粉丝 10
博文 506
码字总数 0
作品 0
朝阳
后端工程师
私信 提问
使用MaxCompute Java SDK运行安全相关命令

使用MaxCompute Console的同学,可能都使用过MaxCompute安全相关的命令。官方文档上有详细的MaxCompute安全指南,并给出了安全相关语句汇总。 简而言之,权限管理、列级别访问控制、项目空间...

四相
01/21
0
0
使用 top instance 命令查看运行中 MaxCompute 作业

我们都知道,在 MaxCompute Console 里,可以使用下面的命令来列出运行完成的 instance 列表。 但很多时候,我们希望可以找出当前正在运行的 instance 。MaxCompute Console 新增了 top inst...

zhaowei121
01/23
5
0
Kafka数据迁移MaxCompute最佳实践

前提条件 搭建Kafka集群 进行数据迁移前,您需要保证自己的Kafka集群环境正常。本文使用阿里云EMR服务自动化搭建Kafka集群,详细过程请参见:Kafka 快速入门。 本文使用的EMR Kafka版本信息如...

付帅
05/29
0
0
在 MaxCompute UDF 中运行 Scipy

新版 MaxCompute Isolation Session 支持 Python UDF。也就是说,Python UDF 中已经可以跑二进制包。刚才以 Scipy 为例踩了一下坑,把相关的过程分享出来。 下载 Scipy 包并上传资源 首先,从...

继盛
2018/05/10
0
0
阿里云MaxCompute 2019-1月刊

亲爱的开发者们,MaxCompute 2019.1月刊为您带来产品最新动态和丰富的产品技术内容,欢迎阅读。 导读 【新视频】精选视频集锦全新上线 【新故事】精选案例集锦全面更新 【新文档】2019年1月M...

晋恒
02/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

只需一步,在Spring Boot中统一Restful API返回值格式与统一处理异常

统一返回值 在前后端分离大行其道的今天,有一个统一的返回值格式不仅能使我们的接口看起来更漂亮,而且还可以使前端可以统一处理很多东西,避免很多问题的产生。 比较通用的返回值格式如下:...

晓月寒丶
昨天
59
0
区块链应用到供应链上的好处和实际案例

区块链可以解决供应链中的很多问题,例如记录以及追踪产品。那么使用区块链应用到各产品供应链上到底有什么好处?猎头悬赏平台解优人才网小编给大家做个简单的分享: 使用区块链的最突出的优...

猎头悬赏平台
昨天
28
0
全世界到底有多少软件开发人员?

埃文斯数据公司(Evans Data Corporation) 2019 最新的统计数据(原文)显示,2018 年全球共有 2300 万软件开发人员,预计到 2019 年底这个数字将达到 2640万,到 2023 年达到 2770万。 而来自...

红薯
昨天
65
0
Go 语言基础—— 通道(channel)

通过通信来共享内存(Java是通过共享内存来通信的) 定义 func service() string {time.Sleep(time.Millisecond * 50)return "Done"}func AsyncService() chan string {retCh := mak......

刘一草
昨天
58
0
Apache Flink 零基础入门(一):基础概念解析

Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速...

Vincent-Duan
昨天
60
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部