大数据文本去重采用与 AWK 相同的流式思路：逐行读取、首次出现立即输出、只维护“已经见过”的唯一记录。整个过程在浏览器本机完成，文件不会上传服务器。
极速模式使用 Rust 编译的轻量 WebAssembly 引擎，在线程中按字节精确去重，并把结果持续写入浏览器私有临时文件；可视结果模式使用独立 Worker 处理并把结果显示在页面中。
可以处理千万级记录，但最终上限取决于平均行长、唯一率和设备可用内存。重复率越高，去重索引占用越低；页面主线程不会因计算而卡死。
渲染数百万行会制造大量字符串、DOM 和垃圾回收开销。极速模式只显示进度与统计，结果边处理边写入临时文件，这是保持流畅的关键。
不会。哈希只用于快速定位候选记录；哈希和长度相同后，引擎仍会逐字节比较原始内容，确认完全相同才视为重复。
空行也作为一条记录参与去重，最多保留一次；所有非重复行均按第一次出现的顺序输出。
这个工具完全在你的浏览器里运行：你输入的内容、上传的文件，都不会离开你的电脑，也不会传到任何服务器。
放心用，数据只在你自己的电脑上转一圈。
用手机相机扫描二维码，即可继续使用该工具
遇到问题或有好建议？告诉我们。