T工具箱
NFC

Unicode 规范化

按 NFC/NFD/NFKC/NFKD 统一等价写法

关于此工具

Unicode 文本规范化(Unicode Normalization Forms,Unicode Standard Annex #15 标准规范)是解决跨平台文本对比失败、数据库唯一定位查重失效、密码哈希不匹配以及搜索漏检的最核心底层规范。在 Unicode 体系中,同一个人类看起来完全相同的字符(如带声调的字母 `é`),在底层物理字节编码上存在两种合法的表达:一种是单个独立码点(`U+00E9` 单字符),另一种是由基础字母 `e` 加附加变音符号组合而成的两个码点(`U+0065` + `U+0301`)。虽然屏幕渲染观感 100% 相同,但在计算机二进制比对时 `str1 === str2` 会诡异地返回 `false`!本工具提供纯前端 NFC、NFD、NFKC、NFKD 四大官方标准规范化转换与字节对齐。

如何使用本工具(操作步骤)

1

粘贴待统一排版的文本内容

在左侧编辑窗口中输入或粘贴包含外文变音符、特殊全角半角符号、圈号数字或罗马字符的文本。

2

选择目标规范化形式 (NFC/NFD/NFKC/NFKD)

挑选目标标准化形式:推荐通用 Web 默认的「NFC(标准等价合成)」、搜索推荐的「NFKC(兼容等价合成)」或分解模式。

3

查验字节码点变化并一键复制

右侧即刻高亮展示规范化后统一的纯净文本,并可透视其底层的十六进制码点对比,点击复制按钮直接投入工程中使用。

支持全套 W3C 与 Unicode 官方四大规范化范式

完整覆盖 NFC(标准合成)、NFD(标准分解)、NFKC(兼容合成)与 NFKD(兼容分解),满足国际化工程全部严苛标准。

彻底粉碎全角字符、特殊符号与圈号数字歧义

利用 NFKC 兼容规范,可一键将带圈数字(`①`)、连字(`fi`)及全角英文字母(`ABC`)优雅平替为标准 ASCII 字符!

纯本地离线装配,接口机密文本绝对安全

所有字符串遍历直接调用浏览器 V8 底层原生 `String.prototype.normalize` 接口,无网络请求,商业文本绝对私密。

Unicode 规范化工程常识与踩坑避错指南

  • •macOS 与 Windows 跨平台文件名的“NFD 灾难”:苹果 macOS 的 HFS+ / APFS 文件系统在存储文件名时,强制将所有文件名转为 **NFD 分解格式**;而 Windows 和 Linux 普遍采用 **NFC 格式**!这导致从 Mac 导出的压缩包解压到服务器后,Git 会疯狂提示文件已被修改!统一转为 NFC 即可瞬间平息问题。
  • •数据库建立唯一索引(Unique Index)前必须做 NFC 规范化:如果允许用户用邮箱或用户名注册,恶意黑客可以用 NFD 分解格式的字母注册一个“看着与管理员完全一样”的账号,绕过数据库的唯一索引产生严重的安全仿冒漏洞!
  • •搜索引擎索引构建请选用 NFKC 模式:在构建全站搜索索引分词时,使用 NFKC 能够将全角半角字母、特殊罗马数字(`Ⅳ` 转 `IV`)及特殊变体自动归一,大幅提升搜索引擎的召回率与模糊匹配准确度!

代码与转换对比示例

四大 Unicode 规范化形式(NFC / NFD / NFKC / NFKD)特性速查表

规范化形式名称
• NFC  : Canonical Decomposition, followed by Canonical Composition (推荐 Web 默认)
• NFD  : Canonical Decomposition (全部拆开为基础字符+变音符组合)
• NFKC : Compatibility Decomposition, followed by Canonical Composition (最强归一化)
• NFKD : Compatibility Decomposition (兼容拆分)
实战经典代表转换案例
• 带有重音符的 "é" :
  NFD 拆解为: e + ◌́ (2 个独立码点: U+0065 + U+0301)
  NFC 合成为: é (1 个独立码点: U+00E9)
• 特殊符号 "①" 经 NFKC 规范化后变为: "1"
• 连字 "fi" 经 NFKC 规范化后变为: "fi"

* W3C 官方明确建议:现代 Web 上的所有 HTML 和文本传输应强制统一使用 **NFC** 格式!

JavaScript 原生 `String.prototype.normalize` 调用代码

文本比对踩坑与修复代码
const str1 = "\u00E9"; // precomposed: "é"
const str2 = "e\u0301"; // decomposed: "é"

console.log(str1 === str2); // 惊人报错: false! (虽然看着完全一样)

// 修复方案: 统一转为 NFC 规范化
console.log(str1.normalize('NFC') === str2.normalize('NFC')); // true!
搜索场景推荐 NFKC
// 用户在搜索框搜 "1",想匹配到数据库里的 "①"
"①".normalize('NFKC'); // 输出: "1" (匹配成功!)
"ABC".normalize('NFKC'); // 输出: "ABC" (全角转半角!)

* 在将用户密码保存并进行哈希(Hash)之前,先执行 `.normalize('NFC')` 是密码学安全开发的国际铁律。

常见问题解答

Q: 为什么看着完全一样的两个字符,在代码里比较 `str1 === str2` 会返回 false?

A: 因为计算机比对的是底层底层的物理字节码点(Code Points)。一个单码点 `é`(码点 233)和一个由 `e`(码点 101)拼上尖音符(码点 769)组成的双码点,在二进制上是完全不同的字节序列,因此被判定为不相等。规范化统一后即可返回 true。

Q: NFKC 转换是可逆的吗?可以把标准数字还原成带圈数字吗?

A: 不可逆。NFKC 属于“兼容等价降级(Compatibility Decomposition)”,一旦把 `①` 转换为了普通的 `1`,信息被格式化统一,在数学上无法反推该数字原本究竟是带圈符号、带括号符号还是全角符号。

Q: 本工具处理纯中文普通汉字会有副作用吗?

A: 普通标准中文汉字绝大部分在 Unicode 中已经是预先合成的稳定码点,在执行 NFC 规范化时会保持 100% 原始原样不变,仅在遇到特殊中日韩兼容表意文字(CJK Compatibility Ideographs)时才会进行标准化折叠,安全可靠。

相关推荐工具

所有处理都在你的浏览器本地完成,数据不会上传到服务器。
/