数据库去重有几种方法_去重数据库

数据库去重有几种方法_去重数据库概述转发这个主要是有时会有重复数据的需求,留一个查询方法,大家有空也可以测试一下..一、Oracle数据库去重(推荐放在在第6点)1、环境准备可以看到“ALLEN”和“SMITH”这两个人的数据重复了,现在要求表中name重复的数据只保留一行,其他的删除。CREATETABLEhwb(idint,namevarchar(10));INSERTINTOhwbVALUES(1,’TOM’);INSERTINTOhwbVALUES(2,’A

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

目录

概述

一、Oracle数据库去重(推荐放在在第6点)

二、MySQL数据库去重

三、sqlserver数据库去重

四、pg数据库删除重复数据


概述


转发这个主要是有时会有重复数据的需求,留一个查询方法,大家有空也可以测试一下..


一、Oracle数据库去重(推荐放在在第6点)

1、环境准备

可以看到“ALLEN”和“SMITH”这两个人的数据重复了,现在要求表中name重复的数据只保留一行,其他的删除。

CREATE TABLE hwb(
    id int,
    name varchar(10)
);

INSERT INTO hwb VALUES(1, 'TOM');
INSERT INTO hwb VALUES(2, 'ALLEN');
INSERT INTO hwb VALUES(3, 'ALLEN');
INSERT INTO hwb VALUES(4, 'SMITH');
INSERT INTO hwb VALUES(5, 'SMITH');
INSERT INTO hwb VALUES(6, 'SMITH');
commit;
SELECT * FROM hwb;

 

超详细的四类数据库去重实现方案汇总,值得收藏

 

2、实现方法一:通过分组后,拿最小的id重复删除

 delete from hwb a where a.id  in      
   (select min(id) FROM hwb a group by name having count(name) > 1)

 

超详细的四类数据库去重实现方案汇总,值得收藏

 

超详细的四类数据库去重实现方案汇总,值得收藏

 

3、实现方法二:通过name相同,id不同的方式来判断

DELETE FROM hwb a
 WHERE EXISTS (SELECT 1
          FROM hwb b
         WHERE a.name = b.name
           AND a.id > b.id);

 

超详细的四类数据库去重实现方案汇总,值得收藏

 

4、实现方法三:用rowid代替id,替换删除

DELETE FROM hwb a
 WHERE EXISTS (SELECT 1
          FROM hwb b
         WHERE a.name = b.name
           AND a.rowid > b.rowid);

 

超详细的四类数据库去重实现方案汇总,值得收藏

 

5、实现方法四:通过分析函数根据name分组生成序号,然后删除序号大于1的数据。

语法格式:row_number() over(partition by 分组列 order by 排序列 desc)

在使用 row_number() over()函数时候,over()里头的分组以及排序的执行晚于 where 、group by、 order by 的执行。

DELETE FROM hwb a
WHERE ROWID IN (SELECT rid
                   FROM (SELECT ROWID as rid,
                                ROW_NUMBER() OVER(PARTITION BY name ORDER BY id) AS seq
                           FROM hwb)
                  WHERE seq > 1);

 

超详细的四类数据库去重实现方案汇总,值得收藏

 

6、【推荐】实现方法五:根据rowid删除

DELETE FROM hwb a
 WHERE a.ROWID > (SELECT MIN(b.ROWID) FROM hwb b WHERE a.name = b.name);

 

超详细的四类数据库去重实现方案汇总,值得收藏

 


二、MySQL数据库去重

1、环境准备

CREATE TABLE hwb(
    id BIGINT (4) not null,
    name varchar(10),
    PRIMARY KEY (id) 
) ENGINE = INNODB;

INSERT INTO hwb VALUES(1, 'TOM');
INSERT INTO hwb VALUES(2, 'ALLEN');
INSERT INTO hwb VALUES(3, 'ALLEN');
INSERT INTO hwb VALUES(4, 'SMITH');
INSERT INTO hwb VALUES(5, 'SMITH');
INSERT INTO hwb VALUES(6, 'SMITH');
commit;
SELECT * FROM hwb;

2、实现方法一:通过分组后,拿最大/最小的id重复删除

--重复删除多次
delete from hwb 
where id in (select id from 
       (select max(b.id) as id FROM hwb b group by name having count(name) > 1)c )

--或者修改为以下,只需删除一次
delete from hwb 
WHERE
NAME IN (select name from ( SELECT NAME FROM hwb b GROUP BY NAME HAVING count( NAME ) > 1 ) t)
AND id NOT IN (select tt.id from (SELECT max(c.id ) as id FROM hwb c GROUP BY NAME HAVING count( NAME ) > 1 ) tt)

 

超详细的四类数据库去重实现方案汇总,值得收藏

 

3、实现方法二:

根据name分组,查找出id最小的,然后再查找id不包含刚才查出来的。这样就查询出了所有的重复数据(除了id最小的那行)

delete from hwb 
WHERE
 id NOT IN (select tt.id from (SELECT min(c.id ) as id FROM hwb c GROUP BY NAME ) tt)

 

超详细的四类数据库去重实现方案汇总,值得收藏

 

4、实现方法三:通过name相同,id不同的方式来判断

delete  from hwb  where  id in ( 
select id from (
select * from hwb a
WHERE EXISTS (SELECT 1
          FROM hwb b
         WHERE a.name = b.name
           AND a.id > b.id))c );

 

超详细的四类数据库去重实现方案汇总,值得收藏

 

5、实现方法四:用rowid代替id,替换删除

在 Oracle 数据库的表中的每一行数据都有一个唯一的标识符,称为 rowid ,在 Oracle 内部通常就是使用它来访问数据的。

而在 MySQL 中也有一个类似的隐藏列 _rowid 来标记唯一的标识。但是需要注意 _rowid 并不是一个真实存在的列,其本质是一个 非空唯一列 的别名。

在某些情况下 _rowid 是不存在的,其只存在于以下情况:

1)当表中存在一个 数字类型 的单列主键时, _rowid 其实就是指的是这个主键列

2)当表中 不存在主键 但存在一个 数字类型 的 非空唯一列 时, _rowid 其实就是指的是对应 非空唯一列 。

需要注意以下情况是不存在 _rowid 的

1)主键列 或者 非空唯一列 的类型不是 数字类型

2)主键 是联合主键

3)唯一 列不是非空的。

delete  from hwb  where  id in ( 
select id from (
select * from hwb a
WHERE EXISTS (SELECT 1
          FROM hwb b
         WHERE a.name = b.name
           AND a._rowid > b._rowid))c );

 

超详细的四类数据库去重实现方案汇总,值得收藏

 

ps:还可考虑表切换完成去重步骤。


三、sqlserver数据库去重

1、环境准备

CREATE TABLE [dbo].[hwb] (
  [id] decimal(12)   NULL,
  [name] nvarchar(10) COLLATE Chinese_PRC_CI_AS  NOT NULL
)
GO

ALTER TABLE [dbo].[hwb] SET (LOCK_ESCALATION = TABLE)
GO

INSERT INTO hwb VALUES(1, 'TOM');
INSERT INTO hwb VALUES(2, 'ALLEN');
INSERT INTO hwb VALUES(3, 'ALLEN');
INSERT INTO hwb VALUES(4, 'SMITH');
INSERT INTO hwb VALUES(5, 'SMITH');
INSERT INTO hwb VALUES(6, 'SMITH');
GO

2、实现方法一:通过分组后,拿最大/最小的id重复删除

--重复删除多次
delete from hwb 
 where id  in
       (select min(id) FROM hwb a group by name having count(name) > 1)

--或者修改为以下,只需删除一次
select * from hwb 
-- delete from hwb
WHERE
NAME IN (SELECT NAME FROM hwb b GROUP BY NAME HAVING count( NAME ) > 1 )
AND id NOT IN (SELECT max(c.id ) as id FROM hwb c GROUP BY NAME HAVING count( NAME ) > 1 )

 

超详细的四类数据库去重实现方案汇总,值得收藏

 

3、实现方法二:根据name分组,查找出id最小的,然后再查找id不包含刚才查出来的

这样就查询出了所有的重复数据(除了id最小的那行)

delete from hwb 
WHERE
 id NOT IN (select tt.id from (SELECT min(c.id ) as id FROM hwb c GROUP BY NAME ) tt)

 

超详细的四类数据库去重实现方案汇总,值得收藏

 

4、实现方法三:通过name相同,id不同的方式来判断

DELETE FROM hwb a
 WHERE EXISTS (SELECT 1
          FROM hwb b
         WHERE a.name = b.name
           AND a.id > b.id);

 

超详细的四类数据库去重实现方案汇总,值得收藏

 

5、实现方法四:用hash值代替id,替换删除

%%lockres%%会返回聚集索引键的hash值,

非聚集索引,%%lockres%%会返回非聚集索引键的hash值

delete from hwb a
 WHERE EXISTS (SELECT 1
          FROM hwb b
         WHERE a.name = b.name
           AND a.%%lockres%% > b.%%lockres%%);

 

超详细的四类数据库去重实现方案汇总,值得收藏

 

6、实现方法五:通过分析函数根据name分组生成序号,然后删除序号大于1的数据。

语法格式:row_number() over(partition by 分组列 order by 排序列 desc)

在使用 row_number() over()函数时候,over()里头的分组以及排序的执行晚于 where 、group by、 order by 的执行。

DELETE FROM hwb a
WHERE
	id IN (
	SELECT	b.id 
	FROM	(SELECT id, ROW_NUMBER () OVER ( PARTITION BY name ORDER BY id ) AS seq FROM hwb) b 
	WHERE	b.seq > 1 );

 

超详细的四类数据库去重实现方案汇总,值得收藏

 

7、【推荐】实现方法六:根据hash值删除

DELETE FROM hwb a
 WHERE a.%%lockres%% > (SELECT MIN(b.%%lockres%%) FROM hwb b WHERE a.name = b.name);

 

超详细的四类数据库去重实现方案汇总,值得收藏

 


四、pg数据库删除重复数据

1、环境准备

set search_path to 'public'; 
\dt   --list tables
CREATE TABLE hwb(
    id INT PRIMARY KEY  NOT NULL,
    name CHAR(10));

INSERT INTO hwb VALUES(1, 'TOM');
INSERT INTO hwb VALUES(2, 'ALLEN');
INSERT INTO hwb VALUES(3, 'ALLEN');
INSERT INTO hwb VALUES(4, 'SMITH');
INSERT INTO hwb VALUES(5, 'SMITH');
INSERT INTO hwb VALUES(6, 'SMITH');
SELECT * FROM hwb;

2、实现方法一:通过分组后,拿最大/最小的id重复删除

--重复删除多次
delete from hwb 
where id in (select max(b.id) as id FROM hwb b group by name having count(name) > 1)

--或者修改为以下,只需删除一次
delete  from hwb 
WHERE
NAME IN (SELECT NAME FROM hwb b GROUP BY NAME HAVING count(NAME) > 1)
AND id NOT IN (SELECT max(c.id ) as id FROM hwb c GROUP BY NAME HAVING count( NAME ) > 1);

 

超详细的四类数据库去重实现方案汇总,值得收藏

 

3、实现方法二:

根据name分组,查找出id最小的,然后再查找id不包含刚才查出来的。这样就查询出了所有的重复数据(除了id最小的那行)

delete  from hwb 
WHERE id NOT IN (SELECT min(c.id ) as id FROM hwb c GROUP BY NAME );

 

超详细的四类数据库去重实现方案汇总,值得收藏

 

4、实现方法三:通过name相同,id不同的方式来判断

delete from hwb a
WHERE EXISTS (SELECT 1
          FROM hwb b
         WHERE a.name = b.name
           AND a.id > b.id);

 

超详细的四类数据库去重实现方案汇总,值得收藏

 

5、[推荐]实现方法四:用ctid代替id,替换删除

delete from hwb a
WHERE EXISTS (SELECT 1 FROM hwb b
WHERE a.name = b.name AND a.ctid > b.ctid);

--或者如下:
select * from hwb WHERE ctid NOT IN (SELECT min(ctid) as id FROM hwb GROUP BY NAME );

 

超详细的四类数据库去重实现方案汇总,值得收藏

 

6、[最高效推荐]实现方法五:用ctid代替id,结合row_number替换删除

delete FROM hwb a WHERE a.ctid = 
ANY (array (SELECT ctid FROM (SELECT row_number() over(PARTITION BY NAME) as seq, ctid FROM hwb ) t 	
WHERE t.seq > 1));

 

超详细的四类数据库去重实现方案汇总,值得收藏

本文转载至头条用户“波波说运维”

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/187117.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • AOSP>设计>测试>(第三节)兼容性测试套件CTS[通俗易懂]

    AOSP>设计>测试>(第三节)兼容性测试套件CTS[通俗易懂]AOSP>设计>测试>兼容性测试套件CTS第三节兼容性测试套件(CTS)概览新变化测试开发工作流设置CTS运行CTS命令控制台免安装应用运行CTS验证程序相机测试安全元件解读结果CTS开发下载版本说明第三节兼容性测试套件(CTS)概览本内容面向Android平台开发者。在了解如何在Android平台上进行测试之前,请参阅Android平台架构,大致了解相关的信息。另请注意,您可以使用特定于安全性的测试机制检测设备上的漏洞以及加强设备抵御漏洞的能力。新变化

  • FEC相关知识「建议收藏」

    FEC相关知识「建议收藏」1概念和原理前向纠错前向纠错也叫前向纠错码(ForwardErrorCorrection,简称FEC),是增加数据通讯可信度的方法。在单向通讯信道中,一旦错误被发现,其接收器将无权再请求传输。FEC是利用数据进行传输冗余信息的方法,当传输中出现错误,将允许接收器再建数据。常用的前向纠错码(1)电视传输专用的前向纠错码电视节目广播前向纠错采用2/3码率格形码、卷积交织

  • 下载速度

    下载速度

  • OSError: cannot write mode RGBA as JPEG

    OSError: cannot write mode RGBA as JPEG原代码captcha.save(‘code.jpg’)原因:RGBA意思是红色,绿色,蓝色,Alpha的色彩空间,Alpha指透明度。而JPG不支持透明度,所以要么丢弃Alpha,要么保存为.png文件解决方法一captcha=captcha.convert(‘RGB’)captcha.save(‘code.jpg’)方法二captcha.save(‘code.png’)…

  • 在安装twincat plc时,出现 there are some files marked for deletion on next reboot.please reboot first then

    在安装twincat plc时,出现 there are some files marked for deletion on next reboot.please reboot first then

  • 基于对话框的MFC程序实现RTL风格的一种方式[通俗易懂]

    基于对话框的MFC程序实现RTL风格的一种方式[通俗易懂]操作系统使用阿拉伯语时,微软操作系统为了适应阿拉伯语地区和希伯来语地区自右向左的阅读习惯,提供了独特的RTL的界面风格。怎么才能实现应用程序和操作系统保持一致的RTL风格呢?搜索了一些关于RTL界面实现的资料,网上大多数是通过遍历程序窗口,依次调用ModifyStyleEx系统API来实现的。基于对话框的MFC程序的窗口样式是通过资源文件预先定义的。基于对话框的…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号