中文进了大模型,怎么就成了一串鬼画符
把一句中文丢进分词可视化工具,屏幕上跳出来的往往不是字,是一片“ä½ å¥½”之类的符号。像网页编码没选对时的乱码,像谁把键盘敲乱了。第一眼看,以为是工具坏了。
其实没坏。那些鬼画符,是汉字在模型眼里真正的样子。
这件事得从一个很小的分工说起:模型不认字,它只认数字。你敲进去的每一个字,在进模型之前都要先被切成一块一块,每块编一个号,模型读的是这串号。负责切的那道工序叫分词(tokenizer),切出来的块叫 token。你用多少块,就付多少钱——大模型的账单按 token 算,不按字数。
问题就出在“怎么切”上。
一个汉字,在机器里是三个字节
英文字母在电脑里占一个字节,一个汉字在 UTF-8 编码下占三个。这是底子里的差别。同样一句中文,机器看到的原始数据天然就比等长的英文重三倍。
但机器不会老老实实按字节读。分词器要做的,是把这些字节拼成有意义的块。这里用的是一套叫 BPE 的算法——Byte Pair Encoding,字节对编码。它的思路朴素到有点笨:
先把句子拆成最小单位,然后统计哪两个单位总挨在一起,把出现次数最多的那一对合并成一个新单位;再从新单位里找下一对最频繁的,继续合并。重复几万次,直到词表够大为止。

几万轮下来,“the”“ing”“tion”这些高频片段各自成了词表里的一个 token。Sennrich 在 2015 年把这套原本用来压缩数据的办法搬到了分词上,GPT-2 之后它成了主流。
词表就是这么“训练”出来的——说训练,其实没有神经网络,就是拿语料数频率、一遍遍合并。GPT-2 的合并做了五万次,词表 50257 个;到 GPT-4 的 cl100k,十万多个;GPT-4o 的 o200k,二十万个出头。一本《现代汉语词典》收词六七万条,这个机器的“词典”比它厚得多。不过里面装的不全是词,更多的是“the”“ing”这种被切碎的半成品。
鬼画符是字节的替身,不是乱码
回到开头那片乱码。它跟 BPE 的一个工程细节有关。
GPT-2 的实现里有一道步骤叫 bytes_to_unicode。它不是在解码,而是给 256 个字节每个都找一个“替身字符”,做成一张一一对应的表。为什么要多这一步?因为字节值里有空格、换行、还有一堆控制字符,直接拿来做字符串处理会到处碰壁,词表存进 JSON 文件也会出问题。映射成一批规规矩矩的可打印字符之后,就好办了。
于是空格那个字节(0x20)的替身是“Ġ”,换行是“Ċ”。你在词表里看到满屏的“Ġthe”,那个“Ġ”不神秘,就是词前面带了个空格。而一个汉字拆成三个字节后,每个字节都换成各自的替身,三个替身连起来,就是你看到的那串不像中文的东西。

所以那不是编码错误。你把 token 还原成字节,再按 UTF-8 拼回去,一个字都不少。它是可逆的——这套设计最要紧的承诺就是这个:任何文本,哪怕是从没见过的字符,最终都能落到字节上,永远不会有“这个词我不认识”的尴尬。Unicode 里现在有十几万个字符,要是一个字符占词表一格,根本装不下;换成 256 个字节做底座,整个世界就都装进来了。
代价也跟着来了:token 的边界不保证落在字符的边界上。一个汉字三个字节,完全可能被分到相邻两个 token 里。流式输出的时候,模型先吐出半个字符的字节,那一瞬间屏幕上就是个“”,要等下一个 token 补齐才拼得回来。有些时候大模型一个字蹦一半再补上,原因就在这儿。
生僻字为什么算三个,而“中国”只算一个
有了上面这些,最反直觉的那个问题就好答了:凭什么一个生僻字要顶三个 token?
因为词表的格子是按频率抢来的。“中国”这两个字的六个字节,在新闻和对话里成串出现,BPE 训练时早就把它们一次次合并,最后直接写进词表,占一个独立的编号。同样六个字节,压成了一个 token。
而“夔”这种字,现代语料里几乎见不到。它的三个字节从来没被当成一整块合并过,词表里没有它的位置,分词器只能退回去,一个字节一个 token——三个字节,三个 token。一个字,三份钱。
极客公园做过一次测试,把同一句话“人工智能正在重塑全球的信息基础设施”分别送进不同模型的分词器:GPT-4 基本一个汉字一个 token,切出 19 块;Qwen 把“人工智能”四个字认成一个词,整句只切出 6 块。同一句话,差了三倍。
差距不在模型懂不懂中文,在词表里给中文留了多少位置。国产模型从设计之初就把常用汉字和高频词整块塞进去,中文反而比英文省 token;以英文为默认值搭起来的词表,中文是后来挤进去的,就得一直多付。有人管这叫“中文税”。词听着有点夸张,但同一份 200k 的上下文窗口,装中文资料能塞进去的内容比英文少四到七成。这笔账是真的。
被切碎的字,反倒多留了一条线索
顺着“切得越碎越亏”这个思路往下想,好像合并得越多就越好。翻到 2025 年发表在《Computational Linguistics》上的一篇论文,事情没这么简单。
作者 David Haslett 注意到一个巧合。Unicode 给汉字排编码的时候大致按部首归类,“茶”和“茎”都带草字头,字节序列的开头相同;“河”和“海”都带三点水,开头也相同。于是当分词器把汉字切成三个字节时,共用部首的字会共用第一个 token。
这有点像人识字时看偏旁。“焱”字没见过,看到三个“火”,大概能猜到跟火有关。偏旁本来就是人脑里最省力的语义线索。论文做了三个实验,问模型两个汉字是不是共用一个语义部首、给相似度打分、做“找出不同类”。结论一致:汉字被切成多个 token 时,模型认出共享部首的准确率更高;被编成整字 token 时,准确率反而降了。
旧 tokenizer 下 89% 的汉字是多 token,识别部首的准确率更高;新 tokenizer 把这个比例降到 57%,准确率跟着下来。
切碎要付钱,但碎掉的字节里留着部首的痕迹,模型真从中学到了一点东西。把字拼回去,成本降了,那条线索也封死了。
不过这条结论的边界得说清楚:它只落在字形相关的细分任务上,不能推成“模型的中文整体理解变差了”。而且实验对比的 GPT-4 和 GPT-4o,除了分词器,架构、语料、参数量都变了,准确率的变化没法百分之百算到分词头上。别拿这个当“文言文更省 token 所以该用古文跟 AI 聊天”那类说法的论据——那种账算不过来,省在编码端的 token,会以推理负担的形式还回去。
1947 年的那台打字机
中文要挤进一套为罗马字母设计的机器,这别扭不是 AI 时代才有的。
1947 年,林语堂造了一台“明快打字机”。英文打字机 26 个键,一键一字母,中文有几千个常用字,没法照搬。他把汉字按字形拆成上下字根,用 72 个键组合定位,候选字出现在一个叫“魔术眼”的小窗里,再按键挑选。每分钟能打四五十个字,收了八千多个常用字。技术上是个突破,商业上失败了——造价太高,演示时还出过故障,投资人没了兴趣,原型机后来不知所踪,直到 2025 年才在一堆旧物里被认出来。

可它那套“拆开、检索、从候选里挑”的路子活了下来。从仓颉、五笔到今天手机上的拼音输入法,都是它的后裔。
当年拆的是字根,现在拆的是字节。机器换了,问题还是那个问题:怎么把中文塞进一套不是为它设计的系统里。中间还夹着一堆谁都没规划过的巧合——Unicode 为方便人检索而排的部首顺序,撞上 BPE 按频率做的无心拆解,在神经网络的黑盒里,凑出了一条有点像人识字的路。
有些别扭是设计出来的,有些只是碰巧还没被删掉。那条靠部首排序意外留下的路,没人规划过;现在有人把它填平了,图的是省几个 token。
参考
- AI 大模型的「中文税」:中文比英文更费 Token,为什么?(极客公园,2026) · 中文费 token 与上下文窗口缩水的体感数据
- Token 化差异背后的 BPE 机制:为何「夔」拆成多 token、「中国」只占一个(腾讯云开发者社区,2026) · 字节拆分与高频词合并的出处
- Byte-Level BPE:GPT 为什么用字节级而不是字符级 · 字节回退与 bytes_to_unicode 替身映射;另参 OpenAI GPT-2 encoder.py、tiktoken 词表说明
- 词表里的 Ġ 是什么:走一遍 GPT-2 分词器 · 空格字节 0x20 映射成 Ġ 的核实
- BPE(字节对编码)原理 · 方法源头:Philip Gage, A New Algorithm for Data Compression (1994);Rico Sennrich et al., Neural Machine Translation of Rare Words with Subword Units (2015)
- tiktoken:OpenAI 开源的 tokenizer 库 · 词表规模与 cl100k / o200k;另参 David Haslett, Tokenization Changes Meaning in Large Language Models, Computational Linguistics (2025)
- 中文输入的早期探索:林语堂 1947 年的「明快打字机」重见天日(IT之家) · 打字机史实;另参墨磊宁《中文打字机:一个世纪的汉字突围史》