MaxCompute Studio使用心得系列3——可视化分析作业运行

MaxCompute Studio使用心得系列3——可视化分析作业运行

大家好,又见面了,我是全栈君。

上一篇写分享了通过MaxCompute Studio 编写sql脚本时“编译”功能带来的便捷,这次分享脚本编译好提交运行后,自助查看作业的执行情况。

我们很熟悉的是通过logview,去分析作业的执行情况,logview上有很详细的执行日志,而Studio不仅仅提供可视化的信息,还会明确给出一些分析结论如job是有否长尾或数据倾斜情况。

比如我写完一个sql脚本,编译成功

image

接着执行脚本,Studio自动打开当前job的执行详细信息页面,包括job基本信息列表、详情展示和分析区(执行计划图、时序图、分析等)

image

如上图,job执行失败:

  • 界面底部RUN日志中打出具体的错误信息。
  • 详情展示区默认显示执行计划图,可以看到子任务的依赖关系,双击每一个子任务节点图,可以展开更详细的信息。
  • 即使是失败的job,也可以切换到分析tab查看具体结论,如本次执行,job有长尾。

image

可以点击具体的长尾节点查看该节点的长尾图进一步分析,相关长尾调优可以参考文档计算长尾调优

修改好sql脚本,再执行,执行成功如下图:

image

成功的任务我们依然可以分析很多信息,比如查看那个任务task耗时热点:

image

点击下面的进度条可以回放整个job执行的过程

image

可以查看耗时最长的前10个节点

image

可以查看每个子任务执行过程所有fuxi instance各种I/O信息:

image

同样的可以看到分析信息,看是否还有可优化的点。

怎么样,这样看日志是不是感觉更容易理解了呢!

对了,MaxCompute Studio也有用户钉钉支持群:

image

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/108028.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • ubuntu1804安装教程详细(怎么安装ubuntu18.04)

    UbuntuUbuntu叫法很多(友帮拓、优班图、乌班图),是一个一琢磨应用为主的开源GUN/Linux操作系统,接下来记录了在VMwareWorkstationPro中安装Ubuntu18.04准备工作下载安装VMware虚拟机VMware下载地址:https://www.vmware.com/cn/products/workstation-pro/workstation-pr…

  • nessus8.15_nessus使用教程

    nessus8.15_nessus使用教程1、 打开浏览器输入IP加端口8834登录Nessus2、 输入账号密码,均为admin3、 登录成功后,进入到首页4、 点击侧边栏policies,显示策略界面5、 点击newpolicy,显示策略模板6、 选择advancedscan,填写策略名称7、 点击permission,选择canuse,设置所有人可用8、 单击Plugins标签,该界面显示了所有插件程…

    2022年10月19日
  • 小李打怪兽——01背包

    小李打怪兽——01背包题目描述小李对故乡的思念全部化作了对雾霾天气的怨念,这引起了掌控雾霾的邪神的极大不满,邪神派去了一只小怪兽去对付小李,由于这只怪兽拥有极高的IQ,它觉得直接消灭小李太没有难度了,它决定要和小李在智力水平上一较高下。我们可否帮助小李来战胜强大的怪兽呢?问题是这样的:给定一堆正整数,要求你分成两堆,两堆数的和分别为S1和S2,谁分的方案使得S1*S1-S2*S2的结果小(规定S1>=S2)…

  • 字符串长度函数strlen()。。字符串函数头文件string.h「建议收藏」

    百度知道看到的string.h头文件里常用的函数有:strlen求字符串长度。strcmp比较2个字符串是否一样。strcat字符串连接操作。strcpy字符串拷贝操作。strncat字符串连接操作(前n个字符)。strncpy字符串拷贝操作(前n个字符)。strchr查询字串。strstr查询子串。string.h是C语言里面关于字符数组的函数定义的头文件,更详细的可以到i…

  • ajax跨域的解决办法_前端跨域解决方案

    ajax跨域的解决办法_前端跨域解决方案什么是AJAX?AJAX是无需刷新页面就能够从服务器去的数据的一种方法,负责Ajax运作的核心对象是XMLHttpRequest(XHR)对象。同源策略是对XHR的一个主要约束,它为通信设置了“相同的域、相同的端口、相同的协议”这一限制。试图访问上述限制之外的资源都会引发安全错误,除非采用被认可的跨域解决方案。这个方案叫做CORS(Cross-OriginResource

  • Day14 自己定义泛型类的使用

    Day14 自己定义泛型类的使用

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号