如果文本里有非常多的行需要进行去重处理,那么使用本工具可以快速的完成任务
目前只是实现了整行去重,更多的功能,后期会慢慢增加
使用bitmap算法,所以速度非常快
考虑到服务器太烂,主要是宽带费用高,目前仅支持最大3M的文本进行处理
3M 文件足以容纳10-15万行域名 ip 等等,足以应付日常使用了
本工具适用于多种应用场合
爬虫爬取的数据去重
大批量网站日志ip去重或者统计ip的出现次数
大批量网址去重
等等
2019年9月11号上线
2020年6月20 重新优化
2023年9月20 重构代码,改为前端js来实现,理论不再限制文件大小