AI 技术演进 · 端侧化
能力对每件活只是一条「过线就行」的及格线，不是越高越好的排名。大模型一路推高天花板，
富余越攒越多；蒸馏量化把这截富余压成小模型，能力就从云端掉进你手边的设备。
两年前还得连云端、排队、按 token 计费才跑得动的活，今天一台普通笔记本离线就能干完。同一段能力，价钱和延迟掉了一两个数量级，模型却没变笨。
2024 年想在公司跑个本地大模型，得先掂量显卡够不够、电费扛不扛、延迟能不能忍，多数人算完账就老实连云端去了，排队、按用量付钱。今天一类常见的活，比如把客服工单分个类、从合同里抽几个字段，一台带独显的笔记本离线就能干，出结果比绕一趟云端还快。模型没缩水，缩的是它要的参数量。
蒸馏、量化这些压模型的招数其实不新，有的十年前就有。今天才在笔记本上集中兑现，靠的不是哪家厂商突然开窍，而是一整条技术路线把「同等能力」要的参数压过了一个临界点。压过这个点，能力就开始往云外掉，掉进你随身那台设备里。
一、推理这笔账，主要是参数量在收钱
模型每答一次，都要把参数从显存里读出来过一遍计算。参数越多，每答一个字要搬动、计算的量就越大，显存越占、电越费、等得越久。所以同一类问题，几百亿参数的又慢又贵，几十亿的又快又省。
由此一个反常识的事实：对绝大多数企业场景，真正卡你的从来不是模型「不够聪明」，是它「太聪明、太重」，重到只能放云端、按次收费、还得忍延迟。能力早够了，贵在你用不起、放不下。
二、压小靠三招，而且必须一环扣一环
既然贵在参数多，路子就清楚：在能力尽量不掉的前提下，把跑一次要动用的参数砍下来。常听到的蒸馏、量化、MoE 三招，看着像并排的三个选项，实际是一条接力的链，少一环另一环就接不上。
第一棒是蒸馏，先解决「身子小、脑子也跟着笨」。拿一个大模型当老师，让它把一道道题连推理过程一起做一遍，用这批高质量答案去训一个小模型。小模型不必从头自己悟，几十亿参数就能把某一类活学到八九成像，等于把大模型的本事灌进小身子。
可蒸馏出的小底子往往还是装不进笔记本。第二棒量化接着压体积：权重原本用 16 位或 32 位小数存，降成 8 位甚至 4 位整数，占用砍掉大半、算得更快，而它在这类活上的准头通常只掉一两个点，多数场景察觉不到。要是不先蒸馏、直接拿大模型硬降精度，复杂任务上能掉好几个点没法用，量化技术存在多年却要等蒸馏成熟才派上用场，根子就在这。
第三棒MoE，是身子已经小了还想再多装点本事：把模型拆成许多「专家」，每答一次只点亮一小撮、其余睡着，参数总量堆得很大，单次真正参与计算的却只有一小块，于是肚里装得下大本事、跑起来仍像小模型。三棒接力下来，70 亿参数级的模型，一台消费级笔记本就能流畅跑。
三、真正的分界，是「够用线」而非「最强」
省钱省电只是表层，再往下挖一层才碰到根上的东西。
能力不是一根从弱到强的刻度尺，对每一件具体的活，它更像一条「过线就行」的及格线。一件活有个明确门槛，跨过去就合格，再往上装更强的脑子，多出来那截聪明在这件活上一点用不上，纯属浪费。
想通这条，两件看着无关的事就接上了。一边，顶尖模型还在拼命往上顶，因为复杂推理、写代码、长链条规划这类难活的及格线本来就高，得靠最强的才够得着。另一边，企业大量日常的活，及格线低且固定，不随天花板水涨船高。
于是真正在发生的是：天花板越往上推，「最强模型」和「某件活够用就行」之间的富余就越大；蒸馏、量化、MoE 这三招，干的就是把这截富余兑现成更小更便宜的模型。两头看着背道而驰，其实是同一个事实的两面：能力对每件活是过线即可，不是越高越好。
可富余早就有，为什么偏偏这两年才兑现？变的是两件事：一是用量起来了，按次计费单价不高，一个月几百万次乘下来，财务开始盯着这笔账问能不能降；二是端侧最后一公里的工程摩擦没了，消费级芯片、统一内存、开源推理工具凑齐，压好的模型装上就跑。富余值钱、又够得着，才有人真把它压下来落到本地。
四、能力下沉，改写的是「该把活放哪儿跑」
过去这事没得选，只有云端跑得动；现在你得对着每件活重新问一句：它的及格线多高？低到端侧够得着，就别再无脑往云上塞。
举个场景：法务丢来一批并购合同，要你抽出每份里的「控制权变更条款」。纸上全是客户公司名和金额，传去外部某个大模型的 API，合规第一关就给你画红线；放回本地跑个压好的小模型，字段照样抽得出，数据一步没出门。这道合规坎，往往才是该不该上端侧的硬开关，比省那点钱要紧得多。延迟和成本只是顺带：没网络往返响应快一截，不按次付费边际成本趋近于零。
分流看活的性质：工单归类、字段抽取、纪要整理这类边界清楚的活，端侧小模型足够；要读懂整个代码库再改、把零散线索串成多步方案这类难活，及格线高，老实上云用最强的。该想清楚的不是「端侧还是云端」二选一，而是按每件活的及格线，分流到刚好够用的那一层算力上。
五、写在最后
说到底，模型变小变快，真正改的不是技术参数，是你对「能力」的衡量方式。
把能力当成「越高越好」的排名，你就会下意识为每件活都去够最强的那个，既贵又慢还放不下；看清它对每件活只是一条「过线就行」的及格线，问题立刻换了问法：这件活的线在哪、哪一层算力刚好够得着。模型压小这条路真正给你的好处，比省下的云端费深得多，它逼你把每件活摊开逐一回答。能力正从云端往你手边掉，接得住的，是先想清楚每件活到底要多强的人。
注：
1. 推理开销与参数量、显存带宽正相关，单次解码需读取并参与计算的权重量随参数规模上升，属大模型推理的通识（memory-bound decoding / KV cache 通识）。
2. 知识蒸馏（Knowledge Distillation, Hinton 等 2015）、训练后量化（post-training quantization，INT8 / INT4）、混合专家（Mixture-of-Experts, 稀疏激活）为模型压缩与高效推理的通行技术路线。
3. 「70 亿参数级模型经量化后可在消费级笔记本本地运行」为当前开源社区（如 llama.cpp / GGUF 量化生态）的通行实践口径，具体性能随硬件而异。
4. 文中客服分单、合同条款抽取、会议纪要、并购合同合规场景及精度、延迟、调用量等为说明性示例与经验口径，非特定企业流程或产品基准。