在线文本大数据去重 - 极速版


90% 完成(成功)

在线文本大数据去重 - 极速版工具介绍


如果文本里有非常多的行需要进行去重处理,那么使用本工具可以快速的完成任务

目前只是实现了整行去重,更多的功能,后期会慢慢增加

使用bitmap算法,所以速度非常快

使用限制相关说明


考虑到服务器太烂,主要是宽带费用高,目前仅支持最大3M的文本进行处理

3M 文件足以容纳10-15万行域名 ip 等等,足以应付日常使用了

大数据文本去重工具使用场景


本工具适用于多种应用场合

爬虫爬取的数据去重

大批量网站日志ip去重或者统计ip的出现次数

大批量网址去重

等等

更新日志


2019年9月11号上线

2020年6月20 重新优化

2023年9月20 重构代码,改为前端js来实现,理论不再限制文件大小