MaxCompute Studio使用心得系列3——可视化分析作业运行

MaxCompute Studio使用心得系列3——可视化分析作业运行

大家好,又见面了,我是全栈君。

上一篇写分享了通过MaxCompute Studio 编写sql脚本时“编译”功能带来的便捷,这次分享脚本编译好提交运行后,自助查看作业的执行情况。

我们很熟悉的是通过logview,去分析作业的执行情况,logview上有很详细的执行日志,而Studio不仅仅提供可视化的信息,还会明确给出一些分析结论如job是有否长尾或数据倾斜情况。

比如我写完一个sql脚本,编译成功

image

接着执行脚本,Studio自动打开当前job的执行详细信息页面,包括job基本信息列表、详情展示和分析区(执行计划图、时序图、分析等)

image

如上图,job执行失败:

  • 界面底部RUN日志中打出具体的错误信息。
  • 详情展示区默认显示执行计划图,可以看到子任务的依赖关系,双击每一个子任务节点图,可以展开更详细的信息。
  • 即使是失败的job,也可以切换到分析tab查看具体结论,如本次执行,job有长尾。

image

可以点击具体的长尾节点查看该节点的长尾图进一步分析,相关长尾调优可以参考文档计算长尾调优

修改好sql脚本,再执行,执行成功如下图:

image

成功的任务我们依然可以分析很多信息,比如查看那个任务task耗时热点:

image

点击下面的进度条可以回放整个job执行的过程

image

可以查看耗时最长的前10个节点

image

可以查看每个子任务执行过程所有fuxi instance各种I/O信息:

image

同样的可以看到分析信息,看是否还有可优化的点。

怎么样,这样看日志是不是感觉更容易理解了呢!

对了,MaxCompute Studio也有用户钉钉支持群:

image

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/108028.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • matlab中0/0_matlab样条插值

    matlab中0/0_matlab样条插值“matlab里a(i)~=0”的解释如下:确定数组a的第i个元素是否不等于0。如果不等于0,则结果为true,否则为false。分析:a(i)表示数组a中的第i个元素,在Matlab中,“~”表示非,“~=”表示不等于(≠)。例如:1、打开matlab并在命令窗口中输入示例数组>>a=-1:32、确定a的第一个元素是否不等于0:>>a(1)~=0因为a的第一个元…

  • realsense深度图像保存方法「建议收藏」

    realsense深度图像保存方法「建议收藏」一般使用realsense时会保存视频序列,当保存深度图像时,需要注意保存的图像矩阵的格式,不然可能造成深度值的丢失。在众多图像库中,一般会使用opencv中的imwrite()函数进行深度图像的保存。一般深度图像中深度值的单位是mm,因此一般使用np.uint16作为最终数据格式保存。例子:importnumpyasnpimportcv2deffun1(…

  • 温故知新-SpringCloud架构图(总结)[通俗易懂]

    温故知新-SpringCloud架构图(总结)[通俗易懂]最近学习了SpringCloud相关的知识点,使用下图来做一个知识总结,如果有相关的疑问,欢迎各位同学指出????:

  • vue源码实现的整体流程解析「建议收藏」

    vue源码实现的整体流程解析「建议收藏」一、前言最近一直在使用vue做项目,闲暇之余查阅了一些关于vue实现原理的资料,一方面对所了解到的知识做个总结,另外一方面希望能对看到此文章的同学有所帮助。本文如有不足之处,还请过往的大佬批评指正。

  • 矩阵范数求导规则_矩阵逆的范数和矩阵范数的逆

    矩阵范数求导规则_矩阵逆的范数和矩阵范数的逆矩阵求导及其例题,供自己学习使用

  • webstorm下载插件_webpack 插件

    webstorm下载插件_webpack 插件2016年整理了一下自己常用的webstorm插件:webstorm常用插件集合不过毕竟现在已经2020年了,常用的插件已经发生了一些变化,重新整理一下。

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号