Yarn application has already exited with state FINISHED

Yarn application has already exited with state FINISHED

大家好,又见面了,我是全栈君。

如果在运行spark-sql时遇到如下这样的错误,可能是因为yarn-site.xml中的配置项
yarn.nodemanager.vmem-pmem-ratio值偏小,它的默认值为2.1,可以尝试改大一点再试。


ERROR cluster.YarnClientSchedulerBackend: Yarn application has already exited with state FINISHED!

16/10/13 10:23:19 ERROR client.TransportClient: Failed to send RPC 7614640087981520382 to /10.143.136.231:34800: java.nio.channels.ClosedChannelException

java.nio.channels.ClosedChannelException

16/10/13 10:23:19 ERROR cluster.YarnSchedulerBackend$YarnSchedulerEndpoint: Sending RequestExecutors(0,0,Map()) to AM was unsuccessful

java.io.IOException: Failed to send RPC 7614640087981520382 to /10.143.136.231:34800: java.nio.channels.ClosedChannelException

        at org.apache.spark.network.client.TransportClient$3.operationComplete(TransportClient.java:249)

        at org.apache.spark.network.client.TransportClient$3.operationComplete(TransportClient.java:233)

        at io.netty.util.concurrent.DefaultPromise.notifyListener0(DefaultPromise.java:680)

        at io.netty.util.concurrent.DefaultPromise$LateListeners.run(DefaultPromise.java:845)

        at io.netty.util.concurrent.DefaultPromise$LateListenerNotifier.run(DefaultPromise.java:873)

        at io.netty.util.concurrent.SingleThreadEventExecutor.runAllTasks(SingleThreadEventExecutor.java:357)

        at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:357)

        at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:111)

        at java.lang.Thread.run(Thread.java:745)

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/108843.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • ext表示什么_rent和lease

    ext表示什么_rent和leaseExtjs的组件有两个看起来类似的配置项,applyTo和renderTo,这两个配置项都是用来指定将该extjs组件加载到什么位置。那他们到底有什么区别呢,网上搜了下,有两篇博文也是关于这个的。ExtJS中的renderTo和applyTo的差别[url]http://hi.baidu.com/agzfsshohpcdegr/item/50370f1912dc05e3…

  • VBoxManage安装

    VBoxManage安装扩展包的版本需要与VirtualBox的版本一致,通过帮助可以查看VirtualBox的版本信息,然后在http://download.virtualbox.org/virtualbox/寻找对应的版本。接下来执行安装命令[root@root下载]#VBoxManageextpackinstall./Oracle_VM_VirtualBox_Extension_Pack…

  • idea打开不了项目_idea为什么打不开

    idea打开不了项目_idea为什么打不开最近做项目的时候发现一个有趣的事情。公司以前的项目代码拉取下来之后用idea没法打开。如上图open之后没反应。打不开。找了很多资料没发现是什么原因导致的,只有这一个项目打不开,其他项目都能正常打开、编译,同时idea无任何提示。这个解决办法呢我尝试是在下图这个页面直接将项目拖进去,确实解决了问题,能够正常打开编译了。此方法目前来看2019.3.4和2020.2版本试过是可以的,但是在2017.12版本上此方法不行。如有大神知道原因请留言,小弟感激不尽…

  • simulink实现模糊PID控制[通俗易懂]

    simulink实现模糊PID控制[通俗易懂]simulink实现模糊PID控制模糊系统,建立simulink实现主程序设计。

  • 服务器异地灾备_华为idc解决方案

    服务器异地灾备_华为idc解决方案说明两地三中心:两地是指同城、异地三中心是指生产中心、同城容灾中心、异地容灾中心。备端在线两地三中心灾备方案网络设计如下:容灾系统衡量指标衡量容灾系统的主要指标有RPO(RecoveryPointObject):灾难发生时允许丢失的数据量RTO(RecoveryTimeObjective):系统恢复的时间容灾半径:生产系统和容灾系统之间的距离ROI(R…

  • Java和Python的区别及工资对比,到底该学哪个?[通俗易懂]

    Java和Python的区别及工资对比,到底该学哪个?[通俗易懂]不知不觉,2019年的第三季度也快要结束了!随着互联网的发展,人工智能、语音技术、区块链等技术不断发挥着重要作用时,大家一直都在追逐着、猜测着2020年什么技术会火,却忽略掉了眼前的事情。近日有位博主做出了9月份关于程序员工资统计:·Java工程师工资·Python工程师工资自从Python火爆全球后,一直以来都被拿来和Java相比,从以上数据可以看出:Python薪资比Java会…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号