sql中三种去重的方式_三种重采样方法的特点

sql中三种去重的方式_三种重采样方法的特点点击关注上方“逆锋起笔”,设为“置顶或星标”,第一时间送达干货blog.csdn.net/xienan_ds_zj/article/details/103869048作者:程序员的成长之路…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺


点击关注上方“逆锋起笔”,


设为“置顶或星标”,第一时间送达干货

blog.csdn.net/xienan_ds_zj/article/details/103869048

作者:程序员的成长之路

SQL去重是数据分析工作中比较常见的一个场景,今天给大家具体介绍3种去重的方法。

在使用SQL提数的时候,常会遇到表内有重复值的时候,比如我们想得到 uv (独立访客),就需要做去重。

在 MySQL 中通常是使用 distinct 或 group by子句,但在支持窗口函数的 sql(如Hive SQL、Oracle等等) 中还可以使用 row_number 窗口函数进行去重。

举个栗子,现有这样一张表 task:

13fe7bac6a455bc8d0a830ee2e72559d.png

备注:

  • task_id: 任务id;

  • order_id: 订单id;

  • start_time: 开始时间

注意:一个任务对应多条订单

我们需要求出任务的总数量,因为 task_id 并非唯一的,所以需要去重:

distinct

-- 列出 task_id 的所有唯一值(去重后的记录)
-- select distinct task_id
-- from Task;

-- 任务总数
select count(distinct task_id) task_num
from Task;

distinct 通常效率较低。它不适合用来展示去重后具体的值,一般与 count 配合用来计算条数。

distinct 使用中,放在 select 后边,对后面所有的字段的值统一进行去重。比如distinct后面有两个字段,那么 1,1 和 1,2 这两条记录不是重复值 。

group by

-- 列出 task_id 的所有唯一值(去重后的记录,null也是值)
-- select task_id
-- from Task
-- group by task_id;

-- 任务总数
select count(task_id) task_num
from (select task_id
      from Task
      group by task_id) tmp;

row_number

row_number 是窗口函数,语法如下:

row_number() over (partition by <用于分组的字段名> order by <用于组内排序的字段名>)

其中 partition by 部分可省略。

-- 在支持窗口函数的 sql 中使用
select count(case when rn=1 then task_id else null end) task_num
from (select task_id
       , row_number() over (partition by task_id order by start_time) rn
   from Task) tmp;

此外,再借助一个表 test 来理理 distinct 和 group by 在去重中的使用:

7966af2240bb3db8712a5059cf83fecc.png

-- 下方的分号;用来分隔行
select distinct user_id
from Test;    -- 返回 1; 2

select distinct user_id, user_type
from Test;    -- 返回1, 1; 1, 2; 2, 1

select user_id
from Test
group by user_id;    -- 返回1;  2

select user_id, user_type
from Test
group by user_id, user_type;    -- 返回1, 1; 1, 2; 2, 1

select user_id, user_type
from Test
group by user_id;    
-- Hive、Oracle等会报错,mysql可以这样写。
-- 返回1, 1 或 1, 2 ; 2, 1(共两行)。只会对group by后面的字段去重,就是说最后返回的记录数等于上一段sql的记录数,即2条
-- 没有放在group by 后面但是在select中放了的字段,只会返回一条记录(好像通常是第一条,应该是没有规律的)

逆锋起笔是一个专注于程序员圈子的技术平台,你可以收获最新技术动态最新内测资格BAT等大厂的经验精品学习资料职业路线副业思维,微信搜索逆锋起笔关注!

又一本 Python 可视化好书来了!

GitHub 人脸属性编辑神器横空出世!

代码生成器用起来,是真的爽~

一次完整的 Http 请求过程

一本免费的深度学习漫画书



8d8c86a0c7ccc277546fe6ac1c32c673.png

更多精彩内容,请关注「数据前线」

记得点「赞」「在看」

爱你们587c035047dcf743355fde33258b7a58.png 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/192259.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • nio和零拷贝_零拷贝

    nio和零拷贝_零拷贝传统IO传统IO的数据拷贝流程如下图:数据需要从磁盘拷贝到内核空间,再从内核空间拷到用户空间(JVM)。程序可能进行数据修改等操作再将数据拷贝到内核空间,内核空间再拷贝到网卡内存,通过网络发送出去(或拷贝到磁盘)。即数据的读写(这里用户空间发到网络也算作写),都至少需要两次拷贝。当然磁盘到内核空间属于DMA拷贝(DMA即直接内存存取,原理是外部设备不通过CPU而直接与系统内存交换……

  • vue 计数器_74161计数器

    vue 计数器_74161计数器计数器的实现在页面上简单实现一个计数器<!DOCTYPEhtml><htmllang="en"><head><metach

  • 技术趋势:是什么让MVC悄然消失的?「建议收藏」

    技术趋势:是什么让MVC悄然消失的?

  • 硬件知识–LM393的应用总结「建议收藏」

    硬件知识–LM393的应用总结「建议收藏」总结:正向输入的电压高于负向输入电压,比较器将输出高电平;反之则低。 最近要做一个光电传感器模块,去年的电赛上因为光电传感器的失败,心里总是有些不甘心。要做光电传感器模块首先,就参考某宝上的模块的设计。在那些成品模块上,用到了LM393;并且LM393是常用的比较器的芯片,所以有必要仔细研究一下它的电路应用,为以后参考。 某宝上有大量的这样的成品模块。一般是用于光电传感器,主要的芯片就是

  • 2020/4/1微信小程序笔记

    2020/4/1微信小程序笔记1.微信小程序的登录流程 通过wx.login()获取登录凭证code 通过button组件的open-type=”getUserInfo”, 获取用户信息 将获取到的登录凭证和用户信息传递到自己的服务器 在自己的服务器上将登录凭证发送到微信的服务器上换取openid和session_key …

  • android高德地图获取海拔_高德导航地图能显示海拔高度吗

    android高德地图获取海拔_高德导航地图能显示海拔高度吗现在人们生活水平普遍提高,私家车成为老百姓的常态,选择周末或者节假日来一场自驾游还是非常给力的,很多年轻人都喜欢挑战自己,去西部自驾游,这个就需要知道海拔信息了,那么高德地图能导航出海拔数据吗?高德地图测海拔的具体方法如下:1、第一步打开高德地图的网页,找到并点击下方那行小字。2、点中间的(开放平台)四个字。3、打开高德开发平台界面然后依次点击(开发支持)-(地图工具)-(坐标拾取器)。4、打开界…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号