sqoop的安装和使用[通俗易懂]

sqoop的安装和使用

大家好,又见面了,我是全栈君。

关系行数据库与非关系型数据库之间的数据同步
一、在不使用sqoop的情况下
Mysql–>hive
1.利用naivacat(工具)将数据库中的表导出(导出的时候要主要制表符/t)
2.利用WinSCP(工具)上传到linux指定的文件夹下
3.先在hive建表 create table 表名(idfa string) row format delimited fields terminated by ‘\t'”
4.hive -e “load data local inpath ‘t1.txt’ into table t1”
(假设表里面有数据,须要truncate table hive表名。在运行4)
 truncate table t1;( 仅仅删除表数据)
或者hive -e “load data local inpath ‘t1.txt’ overwrite into table t1”;
hive–>Mysql
1.hive -e “sql语句;>>name.txt”  导出在home/dev
2.然后在利用WinSCP(工具)下载到本地 
二、在使用sqoop的情况下
1.解压sqoop,配置环境变量:
在/etc/profile中加入:(没有root权限是不能改动的,所以仅仅能在sqoop/bin路径下启动)
export $SQOOP_HOME=/home/hadoop/sqoop-1.4.3
export $PATH = $SQOOP_HOME/bin:$PATH
配置完毕后要运行 source  etc/profile
2. 解压mysql,将mysql-connector-java-5.1.24-bin.jar放到$SQOOP_HOME/lib里    
把sqoop解压后根文件夹下的sqoop-1.4.3.jar增加到hadoop-2.2.0/lib里就可以。

3. 列出mysql数据库中的全部数据库命令
./sqoop list-databases –connect jdbc:mysql://222.99.11.52:33221/ –username dev –password 1234
4. 将关系型数据的表结构拷贝到hive中
./sqoop create-hive-table –connect jdbc:mysql://222.99.11.52:33221/sampledata –table t1 –username dev –password 1234 –hive-table /hive/warehouse/t1
5.从关系数据库导入文件到hive中
./sqoop import –connect jdbc:mysql:// 222.206.163.139:33221/sampledata –username dev –password mysql-password –table t1 –hive-import
6.将hive中的表数据导入到mysql中
./sqoop export –connect jdbc:mysql:// 222.206.163.139:33221/sampledata –username dev –password admin –table uv_info –export-dir /user/hive/warehouse/uv/dt=日期
  
 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/115632.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • Spring3.0MVC+MyBatis3.0+Spring3.0(全注解列子)

    Spring3.0MVC+MyBatis3.0+Spring3.0(全注解列子)

  • Navicat连接SQL Server2000提示错误08001

    Navicat连接SQL Server2000提示错误08001数据库是SQLServer2000问题描述无论是本机的数据库还是局域网内的,都出现如图的提示使用系统自带的“SQL查询分析器”则可以访问!百度了一圈,给出的都是sql2005的解决办法请问2000该如何解决啊,先谢过~http://bbs.csdn.net/topics/390715240?page=1解决方法运行Navicat安装目录下的sqlncli.msi,选择修复(R

  • mac mysql改密码_mac系统重置密码

    mac mysql改密码_mac系统重置密码MAC重置MySql密码步骤:1.关闭mysql服务2.打开终端按步骤输入:输入1:cd/usr/local/mysql/bin/输入2:sudo./mysqld_safe–skip-grant-tables3.打开另外一个终端窗口:第一步输入:cd/usr/local/mysql/bin/第二步输入:./mysql第三步输入:FLUSHPRIVILEGES;第四步输入:ALTERUSER‘root’@‘localhost’IDENTIFIEDBY‘1

    2022年10月11日
  • excel转json操作

    excel转json操作工作中需要用到将从数据库中下载的excel每行数据转成json文件,用于规则回溯,参考网上资料,通过以下代码可实现:importpandasaspdimportnumpyasnpimportjsonimportdatetime#导入数据#由于phone2有缺失值,如果不加converters={‘phone2’:str},导致读入会变成float形式,导致有值的手机号码后会加点0,如13812341234.0data=pd.read_excel(r’C:\Users\

  • tf版安装_国际贸易术语2010图解

    tf版安装_国际贸易术语2010图解TFS2010安装环境是操作系统为WindowsServer2003SP2(X86),WindowsServer2003R2(X86),WindowsServer2003R2SP2(X86),WindowsServer2008,WindowsServer2008R2。必备组件为:IIS,SQLServer2008,SharePoint(WindowsShare

  • js遍历对象属性的一些方法有哪些_js面试遍历对象的所有属性

    js遍历对象属性的一些方法有哪些_js面试遍历对象的所有属性1.Reflect.ownKeys()静态方法Reflect.ownKeys()返回一个由目标对象自身的属性键组成的数组。2.Object.entries(obj)Object.entries()方法返回一个给定对象自身可枚举属性的键值对数组,其排列与使用for…in循环遍历该对象时返回的顺序一致(区别在于for-in循环还会枚举原型链中的属性)。3.Object.fromEntr…

    2022年10月20日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号