关于此工具
Unicode 文本规范化(Unicode Normalization Forms,Unicode Standard Annex #15 标准规范)是解决跨平台文本对比失败、数据库唯一定位查重失效、密码哈希不匹配以及搜索漏检的最核心底层规范。在 Unicode 体系中,同一个人类看起来完全相同的字符(如带声调的字母 `é`),在底层物理字节编码上存在两种合法的表达:一种是单个独立码点(`U+00E9` 单字符),另一种是由基础字母 `e` 加附加变音符号组合而成的两个码点(`U+0065` + `U+0301`)。虽然屏幕渲染观感 100% 相同,但在计算机二进制比对时 `str1 === str2` 会诡异地返回 `false`!本工具提供纯前端 NFC、NFD、NFKC、NFKD 四大官方标准规范化转换与字节对齐。
如何使用本工具(操作步骤)
粘贴待统一排版的文本内容
在左侧编辑窗口中输入或粘贴包含外文变音符、特殊全角半角符号、圈号数字或罗马字符的文本。
选择目标规范化形式 (NFC/NFD/NFKC/NFKD)
挑选目标标准化形式:推荐通用 Web 默认的「NFC(标准等价合成)」、搜索推荐的「NFKC(兼容等价合成)」或分解模式。
查验字节码点变化并一键复制
右侧即刻高亮展示规范化后统一的纯净文本,并可透视其底层的十六进制码点对比,点击复制按钮直接投入工程中使用。
支持全套 W3C 与 Unicode 官方四大规范化范式
完整覆盖 NFC(标准合成)、NFD(标准分解)、NFKC(兼容合成)与 NFKD(兼容分解),满足国际化工程全部严苛标准。
彻底粉碎全角字符、特殊符号与圈号数字歧义
利用 NFKC 兼容规范,可一键将带圈数字(`①`)、连字(`fi`)及全角英文字母(`ABC`)优雅平替为标准 ASCII 字符!
纯本地离线装配,接口机密文本绝对安全
所有字符串遍历直接调用浏览器 V8 底层原生 `String.prototype.normalize` 接口,无网络请求,商业文本绝对私密。
Unicode 规范化工程常识与踩坑避错指南
- •macOS 与 Windows 跨平台文件名的“NFD 灾难”:苹果 macOS 的 HFS+ / APFS 文件系统在存储文件名时,强制将所有文件名转为 **NFD 分解格式**;而 Windows 和 Linux 普遍采用 **NFC 格式**!这导致从 Mac 导出的压缩包解压到服务器后,Git 会疯狂提示文件已被修改!统一转为 NFC 即可瞬间平息问题。
- •数据库建立唯一索引(Unique Index)前必须做 NFC 规范化:如果允许用户用邮箱或用户名注册,恶意黑客可以用 NFD 分解格式的字母注册一个“看着与管理员完全一样”的账号,绕过数据库的唯一索引产生严重的安全仿冒漏洞!
- •搜索引擎索引构建请选用 NFKC 模式:在构建全站搜索索引分词时,使用 NFKC 能够将全角半角字母、特殊罗马数字(`Ⅳ` 转 `IV`)及特殊变体自动归一,大幅提升搜索引擎的召回率与模糊匹配准确度!
代码与转换对比示例
四大 Unicode 规范化形式(NFC / NFD / NFKC / NFKD)特性速查表
• NFC : Canonical Decomposition, followed by Canonical Composition (推荐 Web 默认)
• NFD : Canonical Decomposition (全部拆开为基础字符+变音符组合)
• NFKC : Compatibility Decomposition, followed by Canonical Composition (最强归一化)
• NFKD : Compatibility Decomposition (兼容拆分)• 带有重音符的 "é" :
NFD 拆解为: e + ◌́ (2 个独立码点: U+0065 + U+0301)
NFC 合成为: é (1 个独立码点: U+00E9)
• 特殊符号 "①" 经 NFKC 规范化后变为: "1"
• 连字 "fi" 经 NFKC 规范化后变为: "fi"* W3C 官方明确建议:现代 Web 上的所有 HTML 和文本传输应强制统一使用 **NFC** 格式!
JavaScript 原生 `String.prototype.normalize` 调用代码
const str1 = "\u00E9"; // precomposed: "é"
const str2 = "e\u0301"; // decomposed: "é"
console.log(str1 === str2); // 惊人报错: false! (虽然看着完全一样)
// 修复方案: 统一转为 NFC 规范化
console.log(str1.normalize('NFC') === str2.normalize('NFC')); // true!// 用户在搜索框搜 "1",想匹配到数据库里的 "①"
"①".normalize('NFKC'); // 输出: "1" (匹配成功!)
"ABC".normalize('NFKC'); // 输出: "ABC" (全角转半角!)* 在将用户密码保存并进行哈希(Hash)之前,先执行 `.normalize('NFC')` 是密码学安全开发的国际铁律。
常见问题解答
Q: 为什么看着完全一样的两个字符,在代码里比较 `str1 === str2` 会返回 false?
A: 因为计算机比对的是底层底层的物理字节码点(Code Points)。一个单码点 `é`(码点 233)和一个由 `e`(码点 101)拼上尖音符(码点 769)组成的双码点,在二进制上是完全不同的字节序列,因此被判定为不相等。规范化统一后即可返回 true。
Q: NFKC 转换是可逆的吗?可以把标准数字还原成带圈数字吗?
A: 不可逆。NFKC 属于“兼容等价降级(Compatibility Decomposition)”,一旦把 `①` 转换为了普通的 `1`,信息被格式化统一,在数学上无法反推该数字原本究竟是带圈符号、带括号符号还是全角符号。
Q: 本工具处理纯中文普通汉字会有副作用吗?
A: 普通标准中文汉字绝大部分在 Unicode 中已经是预先合成的稳定码点,在执行 NFC 规范化时会保持 100% 原始原样不变,仅在遇到特殊中日韩兼容表意文字(CJK Compatibility Ideographs)时才会进行标准化折叠,安全可靠。