关于此工具
在处理大型日志文件、邮件营销列表、爬虫数据清洗、数据库主键整理及代码词表时,文本中频繁充斥着海量的重复行与无序杂乱记录。人工肉眼筛选不仅极其枯燥低效,而且极易遗漏。本工具提供纯前端万级文本行极速去重与智能排序,支持字母自然顺序排序、数字升序降序、大小写敏感过滤以及空行快速清理,一键导出纯净无冗余的整洁列表。
如何使用本工具(操作步骤)
粘贴或导入待去重文本
在输入框中粘贴包含重复记录的多行文本列表,或从日志文件中复制大批量数据,支持数万行瞬时载入。
勾选去重与排序规则
选择是否开启大小写敏感(区分 Apple 与 apple)、是否自动去除每行首尾空白、是否剔除纯空行,并挑选升序或降序排序。
查验统计并一键复制结果
工具即刻展示去重前后行数对比与剔除的重复项总数,满意后一键将纯净数据复制到剪贴板或导出保存。
万级文本行毫秒级哈希去重
基于现代 JavaScript 原生 `Set` 集合数据结构与高吞吐量哈希查找,即使面对数万行杂乱记录,依然能在百毫秒内去重完毕。
支持人类直觉的自然排序 (Natural Sort)
支持自然数排序(如 item2 会正确排在 item10 前面,而不是被粗暴的 ASCII 字典序排到后面),完全契合人类认知习惯。
纯本地离线过滤,数据绝对私密
所有去重和文本重排计算均在浏览器沙箱内存中进行,内部客户名单、机密工号与重要配置绝不流经公网服务器。
大规模数据清洗常识与排序避坑指南
- •警惕看不见的“首尾空白字符(Whitespace)”陷阱:看似相同的两行字(如 `admin` 与 `admin `),如果其中一行末尾带有一个隐蔽的空格,普通去重会误以为它们是不同内容。去重前务必勾选“自动去除首尾空白(Trim)”。
- •自然排序 vs 字典序的区别:标准 ASCII 字典序中字符按码点比较,会导致 `file10.txt` 排在 `file2.txt` 前面;若要得到符合人类直觉的编号顺序,务必使用“自然数排序(Natural Sort)”。
- •保持原始先后顺序(Stable Deduplication):如果您只需要去除后续出现的重复记录,但要求保留首次出现的行在原文中的原有上下顺序,请选择“仅去重,不改变原有顺序”模式。
代码与转换对比示例
杂乱无序清单去重与自然排序前后对照示例
apple
Banana
orange
apple
banana
10_item
2_item2_item
10_item
apple
Banana
orange* 不仅排除了重复的 apple,同时让 2_item 优雅地排在 10_item 前面。
JavaScript 高性能文本行去重与自然排序代码
function dedupAndSort(text, caseSensitive = false) {
const lines = text.split(/\r?\n/).map(l => l.trim()).filter(Boolean);
const seen = new Set();
const unique = lines.filter(line => {
const key = caseSensitive ? line : line.toLowerCase();
if (seen.has(key)) return false;
seen.add(key);
return true;
});
// 自然排序 (适应文件名与编号)
return unique.sort(new Intl.Collator(undefined, { numeric: true }).compare);
}借助 Set.prototype.has() 实现 O(1) 的超极速查重复杂度,结合 Intl.Collator 实现全球语言友好的自然排序。* `Intl.Collator` 是现代浏览器国际化标准排序接口,性能远超手工正则替换。
常见问题解答
Q: 去重时如何处理大小写(Apple 与 apple 算不算重复)?
A: 系统提供灵活选项:关闭“区分大小写”时,系统将 `Apple` 与 `apple` 视作同一项并只保留首次出现的那一行;开启“区分大小写”时,两者将被视作不同项予以并列保留。
Q: 单次粘贴几万行数据会导致网页假死或崩溃吗?
A: 完全不会。现代 JavaScript 引擎(V8)处理纯文本哈希数组性能极高,50,000 行文本的去重与排序通常耗时在 50 毫秒以内,体验极其丝滑。
Q: 支持同时统计每个重复项出现的具体频次吗?
A: 支持。在去重面板中可开启“显示重复出现次数”选项,系统会在每行文字前自动添加频次标记(如 `3 | [email protected]`),方便排查高频垃圾请求。