excel如何查重复数据:多方法实操
excel如何查重复数据,主流可落地方式包含条件格式标记、COUNTIF辅助列判断、删除重复项工具、高级筛选,条件格式适合一万行以内快速肉眼查看,COUNTIF适配多条件、需要筛选统计的中等规模数据表,删除重复项工具会直接改动原始数据,必须提前备份,高级筛选可以输出副本不污染源表,微软官方文档支持以上四类操作,检测时首尾空格、数字文本格式不一致会让相同内容判定为非重复,合并单元格区域无法正常执行查重逻辑。
excel如何查重复数据各方法对比
| 方法 | 核心操作 | 数据规模适配 | 原始数据改动 |
|---|---|---|---|
| 条件格式标记 | 开始,条件格式,突出显示单元格规则,重复值 | 一万行以内 | 无,仅改变单元格底色 |
| COUNTIF辅助列 | 新增辅助列输入公式=COUNTIF($A$2:$A$2000,A2)>1 | 一万至十万行 | 新增一列,原有内容不变 |
| 删除重复项工具 | 数据选项卡,删除重复项,勾选比对字段 | 十万行以内 | 直接删除整行,不可撤销 |
| 高级筛选 | 数据,高级筛选,将筛选结果复制到其他位置,勾选选择不重复的记录 | 五万行以内 | 生成全新结果区域 |
使用条件格式标记重复值时,你直接选中目标数据整片区域,不要选中表头以外的零散单元格,弹出弹窗直接确定,重复单元格就会自动填充浅红底色,你可以快速浏览全部重复内容,该方式只做视觉标记,不能直接筛选出重复行,数据超过一万行之后,页面刷新速度会明显变慢,大面积卡顿属于较为常见现象。
COUNTIF辅助列可以输出布尔结果,TRUE就代表该行内容存在重复,FALSE代表内容唯一,写完公式后向下填充整列,之后对辅助列开启筛选,勾选TRUE就能够单独提取全部重复行,需要多列组合判断重复时,改用COUNTIFS函数填写多个比对条件,适合业务核对,导出重复明细的工作场景,空白单元格会被识别为互相重复,核对空白数据需要额外增加判断语句做过滤。
删除重复项工具执行前,你必须复制一份原始工作表留存,该功能不支持ctrl+z回滚,执行时弹窗内只勾选需要用来判定重复的对应列,不要盲目勾选全部列,如果表格处于筛选状态,工具依旧读取全部隐藏行,会误删筛选之外的数据,操作前要点击清除筛选,保证所有行全部处于可见状态再执行功能。
高级筛选不会修改原有表格,你设置列表区域为待查重数据源,条件区域留空,勾选将筛选结果复制到其他位置,指定空白单元格作为输出起点,勾选选择不重复的记录,确认后会把全部不重复行复制到目标位置,原有表里重复行完整保留,适合需要对比新旧两份完整数据集,不想改动源文件的核对工作。
空格会干扰查重结果。
肉眼看起来完全一致的两条记录,单元格首尾存在看不见的空格,excel会判定二者不属于重复,批量处理前你可以新增辅助列使用TRIM函数清除首尾空格,CLEAN函数清除非打印隐藏字符,把处理之后的新列当作查重依据,数字存储为文本格式,和纯数字格式的相同数字,同样会判定为不重复,你要统一单元格数据类型再开展查重,否则会出现大量漏检重复的情况。
合并单元格会破坏查重逻辑,只要选中范围包含合并单元格,查重只会读取合并区域左上角单元格的值,其余单元格内容直接被忽略,出现大量漏判,正式查重操作前,你需要取消全部合并单元格,填充对应缺失内容,再框选规整矩形数据区域开展检测,不要带着合并单元格直接运行查重功能。
十万行以上超大数据表,普通公式与条件格式运行效率偏低,你可以改用PowerQuery完成查重,导入表格之后分组依据关键字列,计数行数,计数大于1即为重复,运算压力在查询引擎,对工作表卡顿影响更小,适合持续更新的业务数据表,每次刷新就可以得到最新重复标记结果,不用反复手动设置格式和填充公式。
