hive表数据去重

hive表数据去重

根据user name查重
SELECT test_user_name, count(*) c from default.test GROUP BY test_user_name HAVING c> 1;
根据id查重
SELECT id ,count(*) c FROM default.test GROUP BY id HAVING c >1;
去重:注意min用法,取相同数据的最小id,去重的重点
min:使用group by 分组后取分组内最小id,以便去掉其它重复数据
INSERT OVERWRITE table default.test partition(test_data_source) select * from default.test where id in ( select min(id) as id from default.test group by test_user_name) ;

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/100394.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • java extends runtimeexception_Java中RuntimeException和Exception的区别

    java extends runtimeexception_Java中RuntimeException和Exception的区别1.引入RuntimeExceptionpublicclassRuntimeException{publicstaticvoidmain(String[]args){//TODOAuto-generatedmethodstubStringstr=”123″;inttemp=Integer.parseInt(str);System.out.println(temp*te…

  • 在java中数组的输入与输出_Java 数组的输入输出

    在java中数组的输入与输出_Java 数组的输入输出Java中要对控制台进行输入操作的话要调用Scanner类,定义一个扫描的对象,例://要导入java.util.Scanner;Scannerscanner=newScanner(System.in);12这样便打开了输入流,接下来定义数组:int[]n=newint[4];//使用方括号,使用圆括号会报错1接下来可以将控制台取得的输入输入数组里面,需要调用Scanner对象的n…

  • SQL Server实现某书店图书进货、销售管理系统[通俗易懂]

    SQL Server实现某书店图书进货、销售管理系统[通俗易懂]  文末附带数据库文件及数据库日志文件地址。 一.需求分析1、背景(1)待开发的系统名称:图书进货、销售管理系统(2)开发者:FriggaAZ(3)用户:书店管理人员(4)开发环境:① 操作系统:Windows10专业版Build17682② 数据库:SQLServer2017Developer2、系统总体功能分析需求(1)…

  • DB破解(暗黑破坏神辅助)使用方法「建议收藏」

    DB破解(暗黑破坏神辅助)使用方法「建议收藏」下载网址:http://www.mochafuzhu.com/forum.php?mod=forumdisplay&fid=57开始请先在网站里下载运行环境并安装,然后下载辅助。(Q群:528411948)1、首先,一定要先 启动游戏,注意!辅助的路径千万不要有中文的目录,否则会造成辅助自动退出的问题。然后解压下载好辅助后,我们得到以下画面,以管理员身份运行打开。(如果不能打开请检…

  • influxdb原理与实战_fluent调用nist数据库

    influxdb原理与实战_fluent调用nist数据库本文属于《InfluxDB系列教程》文章系列,该系列共包括以下15部分:InfluxDB学习之InfluxDB的安装和简介InfluxDB学习之InfluxDB的基本概念InfluxDB学习

  • 高通工具QXDM_高通qpst识别不到手机端口

    高通工具QXDM_高通qpst识别不到手机端口QXDM,QPST和QCAT是Qualcomm高通公司针对高通芯片的抓包分析工具。QXDM抓包分析,QPST与手机com口连接,QCAT用来分析抓包产生的isf文件(log)。 工具名称 功能 QXDM 关闭打开备份还原NV、NV修改、抓modemlog QCAT 解析log工具,…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号