T工具箱
≣

去重排序

按行去重并排序文本

关于此工具

在处理大型日志文件、邮件营销列表、爬虫数据清洗、数据库主键整理及代码词表时,文本中频繁充斥着海量的重复行与无序杂乱记录。人工肉眼筛选不仅极其枯燥低效,而且极易遗漏。本工具提供纯前端万级文本行极速去重与智能排序,支持字母自然顺序排序、数字升序降序、大小写敏感过滤以及空行快速清理,一键导出纯净无冗余的整洁列表。

如何使用本工具(操作步骤)

1

粘贴或导入待去重文本

在输入框中粘贴包含重复记录的多行文本列表,或从日志文件中复制大批量数据,支持数万行瞬时载入。

2

勾选去重与排序规则

选择是否开启大小写敏感(区分 Apple 与 apple)、是否自动去除每行首尾空白、是否剔除纯空行,并挑选升序或降序排序。

3

查验统计并一键复制结果

工具即刻展示去重前后行数对比与剔除的重复项总数,满意后一键将纯净数据复制到剪贴板或导出保存。

万级文本行毫秒级哈希去重

基于现代 JavaScript 原生 `Set` 集合数据结构与高吞吐量哈希查找,即使面对数万行杂乱记录,依然能在百毫秒内去重完毕。

支持人类直觉的自然排序 (Natural Sort)

支持自然数排序(如 item2 会正确排在 item10 前面,而不是被粗暴的 ASCII 字典序排到后面),完全契合人类认知习惯。

纯本地离线过滤,数据绝对私密

所有去重和文本重排计算均在浏览器沙箱内存中进行,内部客户名单、机密工号与重要配置绝不流经公网服务器。

大规模数据清洗常识与排序避坑指南

  • •警惕看不见的“首尾空白字符(Whitespace)”陷阱:看似相同的两行字(如 `admin` 与 `admin `),如果其中一行末尾带有一个隐蔽的空格,普通去重会误以为它们是不同内容。去重前务必勾选“自动去除首尾空白(Trim)”。
  • •自然排序 vs 字典序的区别:标准 ASCII 字典序中字符按码点比较,会导致 `file10.txt` 排在 `file2.txt` 前面;若要得到符合人类直觉的编号顺序,务必使用“自然数排序(Natural Sort)”。
  • •保持原始先后顺序(Stable Deduplication):如果您只需要去除后续出现的重复记录,但要求保留首次出现的行在原文中的原有上下顺序,请选择“仅去重,不改变原有顺序”模式。

代码与转换对比示例

杂乱无序清单去重与自然排序前后对照示例

原始输入(包含重复项与无序)
apple
Banana
orange
apple
banana
10_item
2_item
不区分大小写去重 + 自然升序结果
2_item
10_item
apple
Banana
orange

* 不仅排除了重复的 apple,同时让 2_item 优雅地排在 10_item 前面。

JavaScript 高性能文本行去重与自然排序代码

原生实现范式
function dedupAndSort(text, caseSensitive = false) {
  const lines = text.split(/\r?\n/).map(l => l.trim()).filter(Boolean);
  const seen = new Set();
  const unique = lines.filter(line => {
    const key = caseSensitive ? line : line.toLowerCase();
    if (seen.has(key)) return false;
    seen.add(key);
    return true;
  });
  // 自然排序 (适应文件名与编号)
  return unique.sort(new Intl.Collator(undefined, { numeric: true }).compare);
}
核心优势
借助 Set.prototype.has() 实现 O(1) 的超极速查重复杂度,结合 Intl.Collator 实现全球语言友好的自然排序。

* `Intl.Collator` 是现代浏览器国际化标准排序接口,性能远超手工正则替换。

常见问题解答

Q: 去重时如何处理大小写(Apple 与 apple 算不算重复)?

A: 系统提供灵活选项:关闭“区分大小写”时,系统将 `Apple` 与 `apple` 视作同一项并只保留首次出现的那一行;开启“区分大小写”时,两者将被视作不同项予以并列保留。

Q: 单次粘贴几万行数据会导致网页假死或崩溃吗?

A: 完全不会。现代 JavaScript 引擎(V8)处理纯文本哈希数组性能极高,50,000 行文本的去重与排序通常耗时在 50 毫秒以内,体验极其丝滑。

Q: 支持同时统计每个重复项出现的具体频次吗?

A: 支持。在去重面板中可开启“显示重复出现次数”选项,系统会在每行文字前自动添加频次标记(如 `3 | [email protected]`),方便排查高频垃圾请求。

相关推荐工具

所有处理都在你的浏览器本地完成,数据不会上传到服务器。
/