编码/解码

Unicode 转义

文本与 Unicode 转义序列(\uXXXX)互转,支持 UTF-16 与 UTF-32

原文
转义结果

什么是 Unicode 转义?

Unicode 转义将字符表示为 \uXXXX(UTF-16)或 \UXXXXXXXX(码点)形式,便于在代码、正则或协议中表示非 ASCII 字符。

使用场景

  • 正则表达式中的 Unicode 字符
  • API 或配置文件中的非 ASCII 字符串
  • 防 XSS、过滤特殊字符时的表示

Unicode 转义把文本改写为反斜杠加十六进制:按 UTF-16 码元写四位,或八位形式,双向可逆。适合把中文、emoji 等非 ASCII 文本放进只允许 ASCII 的配置,并暴露不可见字符。

一个 UTF-16 码元对应一个转义

编码器用 split('') 遍历,拿到的是 UTF-16 码元而非码位,每个码元写成 \u 加四位补零的小写十六进制。emoji 在循环开始前已被引擎拆成 0xD83D 与 0xDE00,两个代理都满足四位条件,于是函数里的代理对计算(高位 = 0xD800 + (cp − 0x10000) / 0x400,低位 = 0xDC00 + (cp − 0x10000) % 0x400)在本模式不会执行。空格、换行、ASCII 与汉字一律展开,输出恒为码元数的 6 倍。

八位模式其实没有写码位

选大写 \U 后仍按码元循环,只把取值换成 codePointAt(0)。孤立的代理码元被原样返回,😀 因此写成 \U0000d83d\U0000de00:两个代理伪装成码位,而代理值本身不是合法码位,C++ 与 Go 会直接拒绝。连 U+10FFFF 也只是一对不超过 0xDFFF 的八位数。解码方向倒正常:\U0001F600 经 fromCodePoint 能还原 😀,读得懂自己写不出的输入,但只有 BMP 内文本能完整往返。

解码是正则替换,不是语法解析

解码跑两条全局正则:\u[0-9a-fA-F]{4} 交给 String.fromCharCode,\U[0-9a-fA-F]{8} 交给 String.fromCodePoint。未匹配部分原样抄走,所以花括号写法 \u{1F600}、只有三位的 \u4e2、以及 \x41、\n 都不报错,只当普通文本留下。合法代理对能重新拼合,因为 fromCharCode 逐个生成码元;单独的 \uD800 生成未配对代理,在 JS 字符串里合法,写成 UTF-8 就变 U+FFFD。

实操示例

ASCII、重音字母与 emoji 混排的编码

输入
café 😀
输出
\u0063\u0061\u0066\u00e9\u0020\ud83d\ude00

6 个码位却是 7 个 UTF-16 码元:é 占一个(00e9),😀 需要两个,因此输出 42 个字符(7 × 6)。小写十六进制与四位补零解释了 c 为什么写成 \u0063 而不是 \u63。同一输入换成八位模式得到 70 个字符,结尾为 \U0000d83d\U0000de00。

边界与常见误用

  • 不做任何保留:A 也会变成 \u0041,输出长度是输入 length 的 6 倍,没有只转义非 ASCII 的选项。
  • 大写 U 形式不能直接放进 JavaScript 字符串字面量,Rust、PHP 要的是花括号写法 \u{...},粘到语言不对的地方会在解析阶段直接失败。
  • 只识别正好四位或八位十六进制,\u{1F600} 与 \x41 会原样保留,混合写法的载荷只能被部分还原,且不会报错。
  • 手写代理对必须成对且顺序正确:\uDE00\uD83D 或孤立的 \uD83D 会解码成未配对代理,随后按 UTF-8 编码时出错。
  • 对工具输出再编码一次会把反斜杠也转义掉:\u4e2d 变成 \u005c\u0075\u0034\u0065\u0032\u0064,连点两次编码就无法还原原文。

相关工具

六种去处:什么时候该换用别的编码器

要判断的事本工具(Unicode 转义)替代做法
转义结果要塞进 JSON 文档页面只给裸转义,从不替你加引号:双引号出来是 \u0022,换行是 \u000a,外层包装仍要自己做——它适合喂给语言字面量,不适合直接当 JSON 片段。JSON 字符串转义工具会把 U+007F 以上原样保留(中文还是中文),换行、双引号用短写法 \n、\";当载荷是 JSON、且还要有人看懂那份 diff 时选它。
结果要渲染成 HTML 文本或属性值浏览器不认识 \u4e2d,会把反斜杠、u 和四位数字原样画在页面上;这套转义只有语言解析器认,放进标记语言就是死字符串。HTML 实体工具的默认模式只处理 &、<、>、两种引号和空格,完整模式写出十进制实体如 &#20013;;目的地是文档时走那条路。
字符串要进 URL、查询参数或表单输出与 UTF-8 字节无关,URI 解析器会把反斜杠、u 和四位数字当普通字符透传,服务端收到的是转义文本本身。URL 编码工具走 encodeURIComponent,「中」变成 %E4%B8%AD;凡是要被 URI 解析器解码的位置都用它,本页留给源码。
只想转义非 ASCII,保留其余原文没有这个开关。像 id_ 加「中」这样的键,前面的 ASCII 会被一起展开,本来让人读懂的那半行就没了。两行 Node 就够精确:匹配 /[^\x00-\x7F]/g,每处命中替换成反斜杠、u 和 charCodeAt(0) 的四位十六进制;周围键名或日志前缀必须可读时用它。
你是在确认「这是什么字符」,而不是搬运它每个码元都压成一个不带名称、不带十进制值的四位数,\u00e9 本身看不出是哪个字母,得先解码再去查。ASCII / 码点查询页把十进制值和分类标签并排列出;怀疑某段字符串有问题就去那里核对,确认之后再回来产出真正要上线的转义。
输入是一个文件,或者几百条字符串一个输入框、一份缓冲,没有文件选择也不是批处理——整个语言包只能一次粘贴、一次复制,转多少遍就看你点多少次。把转换挪进构建流程:python3 -m json.tool 默认就把所有非 ASCII 字符写成四位转义,非 JSON 文件用几行 fs.readFileSync 的 Node 脚本;每次构建都要一致结果时选这条路。

各类文本要占几个 UTF-16 码元,两种模式各输出多少字符

文本UTF-16 码元数\u 模式输出\U 模式输出
空格 U+00201610
换行 U+000A1610
反斜杠 U+005C1610
中 U+4E2D1610
é U+00E9(一个码位)1610
e + U+0301(两个码位,同一个字形)21220
😀 U+1F60021220
🇨🇳(两个区域指示符)42440
👨‍👩‍👧(三个 emoji 加两个零宽连接符)84880

数的是码元而不是看得见的字:编码器遍历的正是 length,所以预组合的 é 只算 1,字形相同的 e + U+0301 要算 2。每个码元补足四位或八位十六进制,6 和 10 由此而来;工具既不做截断也不自动换行,所以无论输入多长,这张表的数字都成立。

常见问题

\uXXXX 转义和 UTF-8 字节是什么关系?
\uXXXX 是 UTF-16 码元的十六进制写法,不是 UTF-8 字节。BMP 内字符一一对应;但 emoji 等增补平面字符是 2 个码元组成的代理对(如 😀 是 \uD83D\uDE00)。本工具会同时显示码点(U+1F600)和 UTF-8 字节,避免混淆。
为什么 emoji 转义后是两个 \u 开头的部分?
因为 JavaScript 字符串按 UTF-16 编码,码点超过 U+FFFF 的字符(含绝大多数 emoji)需要一对代理码元。ES6 的 \u{1F600} 花括号写法可以直接按码点书写,本工具支持切换输出格式。
什么场景需要 Unicode 转义?
典型场景:在不支持非 ASCII 的配置或协议里携带文本;排查"看起来一样但比较不相等"的字符串(不可见字符、全角/半角差异);分析控制台里 \u 开头的输出。转义让不可见差异变得可见。

内容复核: