HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境

转自:http://www.blogjava.net/paulwong/archive/2012/10/03/388977.html

如果是在WINDOWS的ECLIPSE中,运行HBASE的MAPREDUCE,会出现异常,这是由于默认运行MAPREDUCE任务是在本地运行,而由于会建立文件赋权限是按照UNIX的方式进行,因此会报错:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 java.lang.RuntimeException: Error  while  running command to get file permissions : java.io.IOException: Cannot run program  ” ls ” : CreateProcess error = 2 ,

解决办法是将任务发到运程主机,通常是LINUX上运行,在hbase-site.xml中加入:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 < property >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境     < name > mapred.job.tracker </ name >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境     < value > master:9001 </ value >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 </ property >

同时需把HDFS的权限机制关掉:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 < property >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境     < name > dfs.permissions </ name >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境     < value > false </ value >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 </ property >

另外由于是在远程上执行任务,自定义的类文件,如Maper/Reducer等需打包成jar文件上传,具体见方案:
Hadoop作业提交分析(五)http://www.cnblogs.com/spork/archive/2010/04/21/1717592.html

研究了好几天,终于搞清楚,CONFIGUARATION就是JOB的配置信息,远程JOBTRACKER就是以此为参数构建JOB去执行,由于远程主机并没有自定义的MAPREDUCE类,需打成JAR包后,上传到主机处,但无需每次都手动传,可以代码设置:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 conf.set( ” tmpjars ” ,  ” d:/aaa.jar ” );

另注意,如果在WINDOWS系统中,文件分隔号是“;”,生成的JAR包信息是以“;”间隔的,在远程主机的LINUX上是无法辨别,需改为:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 System.setProperty( ” path.separator ” ,  ” : ” );

参考文章:
http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html

使用hadoop eclipse plugin提交Job并添加多个第三方jar(完美版)
http://heipark.iteye.com/blog/1171923

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/110182.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • arclistsg文档独立模型标签

    arclistsg文档独立模型标签

  • request对象常用方法总结

    request对象常用方法总结JSP内置对象:request对象  客户端的请求信息被封装在request对象中,通过它才能了解到客户的需求,然后做出响应。它是HttpServletRequest类的实例。request对象具有请求域,即完成客户端的请求之前,该对象一直有效。常用方法如下:常用方法方法介绍StringgetParameter(Stringname)返回name指定参数的参数值Str

  • python浮雕图片_python图片处理PIL

    python浮雕图片_python图片处理PIL一、PIL介绍PIL中所涉及的基本概念有如下几个:通道(bands)、模式(mode)、尺寸(size)、坐标系统(coordinatesystem)、调色板(palette)、信息(info)和滤波器(filters)1、通道每张图片都是由一个或者多个数据通道构成。PIL允许在单张图片中合成相同维数和深度的多个通道。以RGB图像为例,每张图片都是由三个数据通道构成,分别为R、G和B通道。而对…

  • 6种php加密解密方法

    6种php加密解密方法<?phpfunctionencryptDecrypt($key,$string,$decrypt){if($decrypt){$decrypted=rtrim(mcrypt_d

  • 马云收购UC你,至于到底是谁宣战

    马云收购UC你,至于到底是谁宣战

  • python控制运算的优先顺序(python控制电脑桌面软件)

    Python控制odrive紧接着上一篇文章,来分享一下我的应用过程。先说结论,python编程odrive其实只要写上你之前在odrivetool下的调试命令就行了目前我还只是一个菜鸡,对很多技术都不熟悉或者只知道表面。我也是边做变成长,有哪些不到位的地方可以友善交流。最初的疑惑python也是我最近才开始学习的语言,它可以是一门交互式的语言,如果你知道这一点,那么就知道odrivetool其实就是这样子,你输入命令行然后执行。所以,如果你想控制odrive,只要在python代码中写上诸如o

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号