hive表数据去重

hive表数据去重

根据user name查重
SELECT test_user_name, count(*) c from default.test GROUP BY test_user_name HAVING c> 1;
根据id查重
SELECT id ,count(*) c FROM default.test GROUP BY id HAVING c >1;
去重:注意min用法,取相同数据的最小id,去重的重点
min:使用group by 分组后取分组内最小id,以便去掉其它重复数据
INSERT OVERWRITE table default.test partition(test_data_source) select * from default.test where id in ( select min(id) as id from default.test group by test_user_name) ;

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/100394.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • flash制作车轮转动的汽车沿着路径走的动画

    flash制作车轮转动的汽车沿着路径走的动画二维动画制作实验报告一.实验目的1.掌握动画的概念。2.熟练Flash的界面。3.掌握Flash界面中各组成元素和功能。二.实验工具    Flash三.实验要求制作车轮转动的汽车沿着路径走。四.实验内容1.搜索相关的素材,一个小汽车,将汽车的车轮和车身单独裁剪出来。2.首先,新建一个600×400的画布。将车轮和车身导入到库里。将车轮和车身拖入舞台,双击车轮进入编辑界面,在30帧新建关键帧,在中…

  • 数据结构:八大数据结构分类

    数据结构分类数据结构是指相互之间存在着一种或多种关系的数据元素的集合和该集合中数据元素之间的关系组成。常用的数据结构有:数组,栈,链表,队列,树,图,堆,散列表等,如图所示:每一种数据结构都有着独特的数据存储方式,下面为大家介绍它们的结构和优缺点。1、数组数组是可以再内存中连续存储多个元素的结构,在内存中的分配也是连续的,数组中的元素通过数组下标进行访问,数组下标从0开始…

  • python向量叉乘_矢量的点乘和叉乘公式

    python向量叉乘_矢量的点乘和叉乘公式向量的内积(点乘)定义概括地说,向量的内积(点乘/数量积)。对两个向量执行点乘运算,就是对这两个向量对应位一一相乘之后求和的操作,如下所示,对于向量a和向量b:a和b的点积公式为:这里要求一维向量a和向量b的行列数相同。注意:点乘的结果是一个标量(数量而不是向量)定义:两个向量a与b的内积为a·b=|a||b|cos∠(a,b),特别地,0·a=a·0=0;若a,b是非零向量,则a…

  • 新东方四六级写作_新东方四六级老师

    新东方四六级写作_新东方四六级老师必读的新东方优秀范文      欢迎下载>01 The Language of MusicA painter hangs his or her finished picture on a wall, and everyone can see it. A composer writes a work, but no one can hear it until i

  • Apache配置与应用

    Apache配置与应用一、构建虚拟web主机1、概述2、分类二、构建虚拟web主机1、基于域名搭建虚拟web主机2、基于IP地址的虚拟主机三、构建web虚拟目录与用户授权限制1、创建用户认证数据文件2、添加

  • Android 宏病毒,xls宏病毒,程序不落地创建傀儡进程实现远控

    Android 宏病毒,xls宏病毒,程序不落地创建傀儡进程实现远控本帖最后由Yennfer_于2019-9-2409:47编辑萌新分析,很多不足,请大佬们提出问题,共同学习。基本信息FileNameFileSizeFileTypeMD5Order_679873892xls47,4722ByteRat7641fef8abc7cb24b66655d11ef3daf2简介病毒是一个宏病毒,点击启用宏后会通过mshta.exe来访问url,得到要执行的代码,…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号