HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境

转自:http://www.blogjava.net/paulwong/archive/2012/10/03/388977.html

如果是在WINDOWS的ECLIPSE中,运行HBASE的MAPREDUCE,会出现异常,这是由于默认运行MAPREDUCE任务是在本地运行,而由于会建立文件赋权限是按照UNIX的方式进行,因此会报错:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 java.lang.RuntimeException: Error  while  running command to get file permissions : java.io.IOException: Cannot run program  ” ls ” : CreateProcess error = 2 ,

解决办法是将任务发到运程主机,通常是LINUX上运行,在hbase-site.xml中加入:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 < property >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境     < name > mapred.job.tracker </ name >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境     < value > master:9001 </ value >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 </ property >

同时需把HDFS的权限机制关掉:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 < property >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境     < name > dfs.permissions </ name >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境     < value > false </ value >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 </ property >

另外由于是在远程上执行任务,自定义的类文件,如Maper/Reducer等需打包成jar文件上传,具体见方案:
Hadoop作业提交分析(五)http://www.cnblogs.com/spork/archive/2010/04/21/1717592.html

研究了好几天,终于搞清楚,CONFIGUARATION就是JOB的配置信息,远程JOBTRACKER就是以此为参数构建JOB去执行,由于远程主机并没有自定义的MAPREDUCE类,需打成JAR包后,上传到主机处,但无需每次都手动传,可以代码设置:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 conf.set( ” tmpjars ” ,  ” d:/aaa.jar ” );

另注意,如果在WINDOWS系统中,文件分隔号是“;”,生成的JAR包信息是以“;”间隔的,在远程主机的LINUX上是无法辨别,需改为:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 System.setProperty( ” path.separator ” ,  ” : ” );

参考文章:
http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html

使用hadoop eclipse plugin提交Job并添加多个第三方jar(完美版)
http://heipark.iteye.com/blog/1171923

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/110182.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • 字符串数组转化为list_字符串 java list

    字符串数组转化为list_字符串 java listpublicclassTest{publicstaticvoidmain(String[]args){String[]animals={“dog”,”cat”,”rabbit”,”fish”};ListanimalList=Arrays.asList(animals);for(Stringstr:animalList){System.out.println(str…

  • 阿里编程规范 pdf_阿里前端开发规范

    阿里编程规范 pdf_阿里前端开发规范阿里编程规范及阿里Java开发规约插件AlibabaJavaCodingGuidelines统一规范标准将有助于提高行业编码规范化水平,帮助行业人员提高开发质量和效率、大大降低代码维护成本。2017年年初,首次公开了《阿里巴巴Java开发手册》,自从第一个版本起,倍受业界关注。为了让开发者更加方便、快速的将规范推动并实行起来,阿里巴巴基于手册内容,研发了一套自动化的IDE检测插件(…

    2022年10月28日
  • vm15激活码(JetBrains全家桶)

    (vm15激活码)2021最新分享一个能用的的激活码出来,希望能帮到需要激活的朋友。目前这个是能用的,但是用的人多了之后也会失效,会不定时更新的,大家持续关注此网站~https://javaforall.cn/100143.htmlIntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,上面是详细链接哦~BI…

  • activiti 生命周期_activiti教程

    activiti 生命周期_activiti教程activiti工作流的web流程设计器整合视频教程SSM和独立部署本视频为activiti工作流的web流程设计器整合视频教程整合Acitiviti在线流程设计器(Activiti-Modeler5.21.0官方流程设计器)本视频共讲了两种整合方式1.流程设计器和其它工作流项目分开部署的方式2.流程设计器和SSM框架项目整合在一起的方式视频大小…文章风火轮12017-04-0511…

  • Postman使用教程_笔记本初学者入门教程

    Postman使用教程_笔记本初学者入门教程安装本文只是基于Chrome浏览器的扩展插件来进行的安装,并非单独应用程序。首先,你要台电脑,其次,安装有Chrome浏览器,那你接着往下看吧。1.官网安装(别看)打开官网,https://www.getpostman.com点击那个灰灰色的「ChromeApp(Free)」按钮。正常情况会跳转到Chrome网上应用店界面,但是,由于,嗯,你懂的!你一般看到的是第…

  • 修复weblogic的JAVA反序列化漏洞的多种方法

    修复weblogic的JAVA反序列化漏洞的多种方法

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号