RezeのBlog
← 返回文章列表

中文进了大模型,怎么就成了一串鬼画符

2026.11.17技术4056 字参考 7

把一句中文丢进分词可视化工具,屏幕上跳出来的往往不是字,是一片“ä½ å¥½”之类的符号。像网页编码没选对时的乱码,像谁把键盘敲乱了。第一眼看,以为是工具坏了。

其实没坏。那些鬼画符,是汉字在模型眼里真正的样子。

这件事得从一个很小的分工说起:模型不认字,它只认数字。你敲进去的每一个字,在进模型之前都要先被切成一块一块,每块编一个号,模型读的是这串号。负责切的那道工序叫分词(tokenizer),切出来的块叫 token。你用多少块,就付多少钱——大模型的账单按 token 算,不按字数。

问题就出在“怎么切”上。

一个汉字,在机器里是三个字节

英文字母在电脑里占一个字节,一个汉字在 UTF-8 编码下占三个。这是底子里的差别。同样一句中文,机器看到的原始数据天然就比等长的英文重三倍。

但机器不会老老实实按字节读。分词器要做的,是把这些字节拼成有意义的块。这里用的是一套叫 BPE 的算法——Byte Pair Encoding,字节对编码。它的思路朴素到有点笨:

先把句子拆成最小单位,然后统计哪两个单位总挨在一起,把出现次数最多的那一对合并成一个新单位;再从新单位里找下一对最频繁的,继续合并。重复几万次,直到词表够大为止。

一台老式机械打字机的实物照片
BPE 干的事有点像老式打字机:把零散的部件一下下拼成能用的字块。词表就是这么一轮轮攒出来的。照片来源:Pexels。

几万轮下来,“the”“ing”“tion”这些高频片段各自成了词表里的一个 token。Sennrich 在 2015 年把这套原本用来压缩数据的办法搬到了分词上,GPT-2 之后它成了主流。

词表就是这么“训练”出来的——说训练,其实没有神经网络,就是拿语料数频率、一遍遍合并。GPT-2 的合并做了五万次,词表 50257 个;到 GPT-4 的 cl100k,十万多个;GPT-4o 的 o200k,二十万个出头。一本《现代汉语词典》收词六七万条,这个机器的“词典”比它厚得多。不过里面装的不全是词,更多的是“the”“ing”这种被切碎的半成品。

鬼画符是字节的替身,不是乱码

回到开头那片乱码。它跟 BPE 的一个工程细节有关。

GPT-2 的实现里有一道步骤叫 bytes_to_unicode。它不是在解码,而是给 256 个字节每个都找一个“替身字符”,做成一张一一对应的表。为什么要多这一步?因为字节值里有空格、换行、还有一堆控制字符,直接拿来做字符串处理会到处碰壁,词表存进 JSON 文件也会出问题。映射成一批规规矩矩的可打印字符之后,就好办了。

于是空格那个字节(0x20)的替身是“Ġ”,换行是“Ċ”。你在词表里看到满屏的“Ġthe”,那个“Ġ”不神秘,就是词前面带了个空格。而一个汉字拆成三个字节后,每个字节都换成各自的替身,三个替身连起来,就是你看到的那串不像中文的东西。

电脑屏幕上显示的一行行代码文本
屏幕上这些看着规整的字符,落到模型里都是先拆成字节、再换上替身的。那串鬼画符就是这么来的。照片来源:Pexels。

所以那不是编码错误。你把 token 还原成字节,再按 UTF-8 拼回去,一个字都不少。它是可逆的——这套设计最要紧的承诺就是这个:任何文本,哪怕是从没见过的字符,最终都能落到字节上,永远不会有“这个词我不认识”的尴尬。Unicode 里现在有十几万个字符,要是一个字符占词表一格,根本装不下;换成 256 个字节做底座,整个世界就都装进来了。

代价也跟着来了:token 的边界不保证落在字符的边界上。一个汉字三个字节,完全可能被分到相邻两个 token 里。流式输出的时候,模型先吐出半个字符的字节,那一瞬间屏幕上就是个“”,要等下一个 token 补齐才拼得回来。有些时候大模型一个字蹦一半再补上,原因就在这儿。

生僻字为什么算三个,而“中国”只算一个

有了上面这些,最反直觉的那个问题就好答了:凭什么一个生僻字要顶三个 token?

因为词表的格子是按频率抢来的。“中国”这两个字的六个字节,在新闻和对话里成串出现,BPE 训练时早就把它们一次次合并,最后直接写进词表,占一个独立的编号。同样六个字节,压成了一个 token。

而“夔”这种字,现代语料里几乎见不到。它的三个字节从来没被当成一整块合并过,词表里没有它的位置,分词器只能退回去,一个字节一个 token——三个字节,三个 token。一个字,三份钱。

极客公园做过一次测试,把同一句话“人工智能正在重塑全球的信息基础设施”分别送进不同模型的分词器:GPT-4 基本一个汉字一个 token,切出 19 块;Qwen 把“人工智能”四个字认成一个词,整句只切出 6 块。同一句话,差了三倍。

差距不在模型懂不懂中文,在词表里给中文留了多少位置。国产模型从设计之初就把常用汉字和高频词整块塞进去,中文反而比英文省 token;以英文为默认值搭起来的词表,中文是后来挤进去的,就得一直多付。有人管这叫“中文税”。词听着有点夸张,但同一份 200k 的上下文窗口,装中文资料能塞进去的内容比英文少四到七成。这笔账是真的。

被切碎的字,反倒多留了一条线索

顺着“切得越碎越亏”这个思路往下想,好像合并得越多就越好。翻到 2025 年发表在《Computational Linguistics》上的一篇论文,事情没这么简单。

作者 David Haslett 注意到一个巧合。Unicode 给汉字排编码的时候大致按部首归类,“茶”和“茎”都带草字头,字节序列的开头相同;“河”和“海”都带三点水,开头也相同。于是当分词器把汉字切成三个字节时,共用部首的字会共用第一个 token。

这有点像人识字时看偏旁。“焱”字没见过,看到三个“火”,大概能猜到跟火有关。偏旁本来就是人脑里最省力的语义线索。论文做了三个实验,问模型两个汉字是不是共用一个语义部首、给相似度打分、做“找出不同类”。结论一致:汉字被切成多个 token 时,模型认出共享部首的准确率更高;被编成整字 token 时,准确率反而降了。

旧 tokenizer 下 89% 的汉字是多 token,识别部首的准确率更高;新 tokenizer 把这个比例降到 57%,准确率跟着下来。

切碎要付钱,但碎掉的字节里留着部首的痕迹,模型真从中学到了一点东西。把字拼回去,成本降了,那条线索也封死了。

不过这条结论的边界得说清楚:它只落在字形相关的细分任务上,不能推成“模型的中文整体理解变差了”。而且实验对比的 GPT-4 和 GPT-4o,除了分词器,架构、语料、参数量都变了,准确率的变化没法百分之百算到分词头上。别拿这个当“文言文更省 token 所以该用古文跟 AI 聊天”那类说法的论据——那种账算不过来,省在编码端的 token,会以推理负担的形式还回去。

1947 年的那台打字机

中文要挤进一套为罗马字母设计的机器,这别扭不是 AI 时代才有的。

1947 年,林语堂造了一台“明快打字机”。英文打字机 26 个键,一键一字母,中文有几千个常用字,没法照搬。他把汉字按字形拆成上下字根,用 72 个键组合定位,候选字出现在一个叫“魔术眼”的小窗里,再按键挑选。每分钟能打四五十个字,收了八千多个常用字。技术上是个突破,商业上失败了——造价太高,演示时还出过故障,投资人没了兴趣,原型机后来不知所踪,直到 2025 年才在一堆旧物里被认出来。

一台老式打字机的实物照片
林语堂那台明快打字机没能留下清晰的实物照片,这是同时代机械打字机的样子——把几千个汉字塞进几十个键,靠的就是这种机械式的拆解组合。照片来源:Pexels。

可它那套“拆开、检索、从候选里挑”的路子活了下来。从仓颉、五笔到今天手机上的拼音输入法,都是它的后裔。

当年拆的是字根,现在拆的是字节。机器换了,问题还是那个问题:怎么把中文塞进一套不是为它设计的系统里。中间还夹着一堆谁都没规划过的巧合——Unicode 为方便人检索而排的部首顺序,撞上 BPE 按频率做的无心拆解,在神经网络的黑盒里,凑出了一条有点像人识字的路。

有些别扭是设计出来的,有些只是碰巧还没被删掉。那条靠部首排序意外留下的路,没人规划过;现在有人把它填平了,图的是省几个 token。

参考