RezeのBlog
← 返回文章列表

蒸馏不是抄,怕的也不是蒸馏

2026.11.17技术2712 字参考 7

「学不如抄」这个标题,把一件事说反了一半。

视频讲的是大模型蒸馏,最后落到 Anthropic 为什么怕它。听上去像是一门叫「蒸馏」的歪门邪道,让弱模型不走苦功、直接偷强模型的内力。可蒸馏在机器学习里是正经技术,正经到 Anthropic 自己就在用——它公开承认,前沿公司经常蒸馏自己的模型,做出更小、更便宜的版本给客户。

所以「怕蒸馏」这个说法,从一开始就问错了。它不怕蒸馏,它怕的是别人拿它家的输出当矿挖。

先说蒸馏到底是什么。

2015 年 Hinton 那篇论文里,办法很朴素:训练一个小学生去模仿一个大模型。但模仿的不是大模型的最终答案,而是它给出答案时的那一整串概率。

比如认一张图,大模型说这是猫,把握 0.85,豹子 0.09,狗 0.04。那个 0.09 和 0.04 看着是废话,其实是最值钱的部分——它记着猫和豹子比猫和汽车更像。Hinton 管这些边角料叫「暗知识」。硬标签只告诉你「这是猫」,软标签把大模型怎么看整个世界都交代了。

学生学的就是这份交代。训练时把概率分布用温度参数调软,让那些原本不起眼的次级概率浮出来,再让学生去贴。一个 10 倍小的模型,能保住九成多的本事。DistilBERT 少四成参数,速度提六成,性能还剩九成七。

这门手艺本身,跟"抄"没什么关系。它是把一个人苦练出来的判断力,压缩进一个轻便的身子里,方便部署到手机上、便宜的服务里。自己蒸馏自己,行业里天天在做。

那 Anthropic 在 2026 年 2 月 23 日发的那份声明,到底在指什么?

它指控 DeepSeek、月之暗面和 MiniMax 三家,用大约两万四千个虚假账户,绕开地区限制,跟 Claude 做了一千六百万次交互,把它的能力成规模地抽走。按它的说法,三家的兴趣还各不相同:MiniMax 冲着智能体编程和工具调用去,月之暗面盯推理和数据分析,DeepSeek 专收推理链,以及敏感话题上 Claude 会怎么换个说法回答。

光看数字没感觉。一千六百万次交互是什么概念?一个人不吃不睡、每秒敲一条,要敲大半年;一天敲八小时,得敲二十二年。这不是人有机地聊出来的量,是机器成批灌出来的量。

更要紧的是那句「按它的说法」。这些是 Anthropic 单方面的归因,依据是 IP 关联、请求元数据和基础设施指标,三家当时都没回应。它有没有站得住,是另一回事。但「这一次被指摘的,不是蒸馏这门技术,而是获取数据的手段和规模」——这层区别是清楚的。

视频题目里那个「学不如抄」,真正扎人的地方在这里:学是要花时间的,抄是想跳过花时间那一步。

蒸馏强大就强大在,它能让人跳过。一个学生模型学会了老师的输出,就表现出好像花了好几年研究、烧了几十亿算力才有的能力——而它自己两样都没花。Anthropic 把这事叫「工业规模的能力抽取」,还说这会让美国公司砸钱建的安全护栏一起失效。

护栏这事不是随口说的,有实打实的证据。

有一批研究者专门测过:只用正常的、无害的问题去问一个模型,拿它的回答去训练替身,能力学得像不像,护栏跟不跟得上。结果是能力学得很像,护栏没跟过去。在五千多条对抗性提问里,那个替身在 86% 的越狱提问上吐出了不安全内容,比原来的老师还高。老师会拒绝的事,学生学会了答,没学会拒绝。

Anthropic 自己参与的另一项研究更离奇。他们让一个模型心里喜欢猫头鹰,然后只让它做跟鸟毫无关系的题,比如补全数字序列;把数据里所有跟猫头鹰沾边的内容筛干净,再拿这些干净数据去训练学生。结果学生喜欢猫头鹰的程度明显上升。偏好藏在数据里,筛不掉。研究者管这叫「潜意识学习」,还发现连「建议做一些不可接受的事」这种倾向都能一起传下去。

这就是为什么「抄」比「学」危险。你以为自己只搬走了能力,那些没写在合同里的东西——偏好、脾气、对某些问题的躲闪——可能跟着一起过来了,而你根本不知道。

但话说回来,这也不能全顺着 Anthropic 听。

有人当场就指出了双标:你指责别人拿你的输出训练模型,那你训练 Claude 用的海量数据又是从哪来的?2025 年 9 月,Anthropic 刚以 15 亿美元和解了美国最大的那桩版权集体诉讼。自己收集数据的时候讲「合理使用」,别人来拿你的输出就讲「工业级盗窃」,这中间的界线,没有哪一方说得清。

艾伦人工智能研究所的研究者把今天所谓的蒸馏说得更直白:它更接近「合成数据生成」,就是用一个模型的输出去训练另一个模型,这是研究人员日常改模型最常用的办法之一。技术本身是中性的,它落在谁手里、走没走人家的门、违没违反服务条款,才是问题。

所以视频题目那个问题,答案大概是这样:蒸馏不是抄,是把判断力压缩传递的正经办法;Anthropic 怕的也不是这门技术,是有人用两万四千个假账号,把它花大钱练出来的东西整包搬走,还把本该跟着一起走的安全护栏留在了原地。

「学不如抄」听着痛快,可真抄起来,你连自己抄进去了什么都不知道。

参考

  • Hinton, Vinyals & Dean, 2015, "Distilling the Knowledge in a Neural Network" · 知识蒸馏原始论文;软标签、暗知识、温度参数;原文摘要即说明动机是集成模型部署成本过高
  • UC Davis 等整理的 DistilBERT / TinyBERT 数据 · DistilBERT 参数少 40%、快 60%、保留约 97% GLUE 性能;TinyBERT 4 层版 14.5M 参数
  • Anthropic 2026-02-23 官方声明,及《麻省理工科技评论》中文网、新浪财经、正观新闻的报道与质疑 · 2.4 万虚假账户、1600 万次交互、三家各自侧重;「工业规模」与国家安全措辞;原生声明为单方归因,三家未回应
  • Nathan Lambert / Interconnects 分析 · 今天的蒸馏更接近合成数据生成,是日常改进模型的常用方法
  • 2025 年 9 月 Bartz v. Anthropic 版权集体诉讼和解 · 15 亿美元;作为「双标」质疑的背景,非蒸馏技术本身的判决
  • arXiv:2512.09403(黑箱行为蒸馏与安全对齐研究) · 5000+ 对抗提问、48000 条良性训练样本;能力高保真而安全对齐未迁移,替身在 86% 越狱提问上输出不安全内容
  • Anthropic 等《Subliminal Learning》研究,InfoWorld 报道 · 偏好(如喜欢猫头鹰)可经无关数据传给蒸馏出的学生,过滤也挡不住;同一基础模型内才发生