hadoop错误_wired connected

hadoop错误_wired connectedhadoop错误INFO ipc.Client Retrying connect to server

大家好,又见面了,我是你们的朋友全栈君。

问题

  • 今天在测试环境上跑任务的时候遇到了这个问题,找遍了网上的文章,都是让改配置文件的,比如这一个 Retrying connect to server ,但是在测试环境上我没有权限改配置文件,所以也就没有测试

解决方案

  • 之前的运行语句和jar包都是可以正常跑出结果的,这次也是在之前的jar包基础上做了一些修改,为什么就不能跑了呢?
  • 之后用控制变量法测试了很多参数,发现之前的跑的数据比这次小,之前5.4T,这次16T,于是将这次的数据分批次跑,减少一次跑的数据量,成功运行

总结

  • 出现这个错误的原因是数据量太大,导致hadoop出现连接错误
  • 改配置文件的方法没有试过,因为没有权限
  • 我的解决方案是写了个脚本分批次跑数据,减少一次跑的数据量

转载于:https://my.oschina.net/u/4017963/blog/3046827

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/106833.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号