在线大数据去重 - 极速版

300万行数据,处理速度仅需3秒


在线大数据去重 - 极速版工具介绍


支持超大行的文本去重,支持按列去重,按整行去重,组合去重,重复次数统计等各种操作

经测试150M的文本,300万行数据,处理速度3秒左右,时间上还是可以接受的

经之前测试采用布隆+redis去重,效果也非常好,如果有更大的文本,比如几个G或者10个G,建议采用这种组合来去重

支持自定义列的分隔符,你无需对文本进行过多的修改,即可立马进行快速的大文本去重

由于此功能是免费的,所以有必要进行一定的限制,最大上传文本支持100M,最大行数300万行,超过的行数,自动忽略,忘悉知

大数据文本去重工具使用场景


本工具适用于多种应用场合

爬虫爬取的数据去重

大批量网站日志ip去重或者统计ip的出现次数

大批量网址去重

等等

更新日志


2019年9月11号上线