这个工具做的是「只保留出现过一次的行」:1 2 2 3 3 4 4 里只有 1 从头到尾只出现过一次,其余都被重复过,结果就只剩 1。常见用途是从日志或名单里挑出独一无二的记录——只访问过一次的 IP、只出现一次的错误码、名单里没被重复登记的那几条。
它和你平时说的「去重」不是一回事,所以设置里两种都给了:
1 2 2 3 3 4 4
1
1 2 3 4
默认行为与旧版一致(只留唯一行)。要常规去重就把「保留」切到「每组留第一条」,它按原文顺序给每个内容留第一次出现的那条。
| 场景 | 要解决的事 | 建议设置 |
|---|---|---|
| 日志找异常 | 哪个 IP / 哪个错误码只出现过一次,可能是偶发问题 | 只出现一次的 |
| 名单查重 | 两份名单合并后,哪些条目是真的重复了 | 每组留第一条(再去对比行数差) |
| 清理脏数据 | 一大列去重,只留每个值的一条 | 每组留第一条 |
| Excel 粘过来对不上 | 明明只有几十种,却判成一堆不重复 | 打开「忽略首尾空白」 |
| 网址、邮箱 | HTTP://A.com 和 http://a.com 想算同一条 | 打开「忽略大小写」 |
| 核对唯一性 | 确认某个编号在整批数据里只出现一次 | 只出现一次的 |
去重是每个内容留一条(1 2 2 3 → 1 2 3);这个模式是只留从头到尾只出现过一次的(1 2 2 3 → 1 3)。要做前一种,把「保留」切到「每组留第一条」。
说明这段内容里每一行都至少出现过两次,没有「唯一」的行。想看到东西就切「每组留第一条」,或者回原文检查是不是粘重了。
空行不参与比较,也不出现在结果里。「忽略首尾空白」打开时,只有空格或制表符的行同样按空行处理。
「忽略首尾空白」打开时,输出的是去掉首尾空白后的样子(比较用的也是它)。行首缩进本身有意义(比如代码)时把它关掉即可。
用这个内容第一次出现时的写法。比如 HTTP://A.com 先出现、http://a.com 后出现,输出就是前者。
直接点「开始处理」看状态行就行:它会报出总行数、不同内容有几种、其中重复的有几种。结果区是附带产物,不想用可以不管。
不会。一次遍历建表、一次遍历输出,十万行通常在几百毫秒内完成。
不会。处理在你的浏览器里完成,页面不发送任何请求,关掉标签页内容就消失了。
这个工具完全在你的浏览器里运行:你输入的内容、上传的文件,都不会离开你的电脑,也不会传到任何服务器。
放心用,数据只在你自己的电脑上转一圈。
用手机相机扫描二维码,即可继续使用该工具
遇到问题或有好建议?告诉我们。