MySQL去重的方法整理

MySQL去重方法整理及其操作指南

一、简介

对于处理数据库中的重复数据，MySQL提供了多种去重方法。将对这些方法进行整理，帮助读者更好地理解和应用。

二、初级方法：手动去重

当数据量较少，存在极少的重复行时，可以使用distinct关键字筛选出重复行，然后手动一行一行删除。

三、中级方法：按单个字段去重

当需要根据某个字段（如id）去重时，可以使用以下方法：

1. 找出所有重复id的记录。

2. 保留每个重复id对应的最小（或最大）值所在的行。

3. 删除除保留行之外的所有重复行。

示例操作：

假设有一个表a_tmp，包含id和name两个字段，存在如下重复数据：

id name

1 a

1 b

2 c

2 a

...

可以使用以下SQL语句进行去重：

delete from a_tmp

where id in (select from (select b.id from a_tmp b group by b.id having count(b.id) > 1) bb)

and name not in (select from (select min(a.name) from a_tmp a group by a.id having count(a.id) > 1) aa);

四、高级方法：按多个字段去重

当需要根据多个字段（如id和name）去重时，可以参照中级方法，使用主键进行比较。若存在以下数据：

id name rowid

1 a 1

1 a 2

... 以此类推 ...

id name

1 a

1 a

1 b

1 b

2 c

2 c

3 c