Laya 札记

正如第 3 期写过的，Jev 是一个 $0.042 / 百万输入词元的 API。Laya 没有这笔账单，代价是 GPU、运维，以及训练这件事本身要自己扛。同样叫「判定模型」，接手的东西完全不同。

Laya 的开发方 ConvAI Innovations 的 CEO，Nandakishor M，主张「这件事我一年半前就在做了」。先把事实摆出来。

确实，「返回概率而不是文章」和「按置信度分流」这两件事，同一个人在 Jev 发布一年多以前就写成了论文。第 3 期介绍的「聪明的 if 语句」，它的零件更早就摆在那里了。

再说，System 1／System 2 的分法本来就来自认知科学，不是哪一方的发明。同一时期不同的人想到同一件事，在这个领域并不稀奇。「先行研究确实存在」与「确实发生了抄袭」是两回事：后者是主张，不是已被证实的事实。TypeSafe 方面至今没有公开回应。

这段经过里有意思的一点是：开源那一方把论文、权重、训练数据都放出来了。正因为拿得出可验证的东西，下面几章才有办法核对它的底细。

Laya 的训练要抓住三点：底座、机关、奖励。

① 底座 ── 并不是从零开始

Laya 是从现成的公开编码器（ModernBERT-large 等）出发的。而且不是第 1 期讲的 GPT 那一系——从左往右写的模型，而是 BERT 那一系——同时看前后的双向编码器。既然不需要写文章，也就不需要为写而准备的结构。

② 机关 ── 有几个选项就挖几个洞

把 state 和问题排在一起，选项有几个就放几个 [MASK]。双向编码器会在每个洞的位置收集「填这个有多合理」，于是一次前向计算就能同时回答多个问题。这就是快的来源：第 1 期・一章里「一个词一个词」的那层循环，这里根本不存在。

③ 奖励 ── 给诚实的概率打分

训练用的是 RLCD（面向校准判断的强化学习）。它不只看答没答对，还要看概率诚不诚实。用的是对数得分、球面得分、排序概率得分的组合，这些评分法都有同一个性质：吹高或压低都会吃亏。

公开的训练量是7,313 次更新、1 个 epoch、约 1.96 小时。看着像少写了几个零，其实没有——因为底座本来就有了。

裸模型比「一直答多数派」还弱

模型卡里写的裸检查点准确率是 0.362，而同一评测的多数派基线（全部答最常见的那个标签）是 0.461。也就是说，什么都不想、一律返回最常见标签反而更准。开发方自己也写明：「Laya 是用来特化的快速底座，不是零样本判定引擎。」

置信度同理。出厂时的期望校准误差（ECE）是 0.466，作为概率基本不能用。重新拟合温度之后能降到 0.081，但这道工序属于使用方。

使用方要接手的活儿

• 准备数千条带标签的数据 ── 这一步最重
• 用开发方的 notebook 续训 ── 两张免费 GPU、约 4 小时
• 重新拟合温度 ── 按「问题类型 × 选项个数」逐组拟合
• 设计上把选项控制在 20 个以内（再多会明显掉点）
• 前面放一个 Router，按语言与字符体系挑选检查点

换句话说，「三天出来的」是底座，不是判定器。造模型这一段确实变轻了，但重量并没有消失，而是挪到了数据与校准那一侧。

这件事里最长见识的一点是：同一个模型的数字，换个出处就变成了另一回事。

ECE 在不同出处之间优劣直接反了过来。准确率也是：一旦题目有 77 个选项，位置就互换。上一期写过 Jev 的「快 193.6 倍」是厂商自测，开源这一方的数字同样是自报的。

很容易想成「因为小所以放本地」，但判断依据要更具体一些。先看钱。

有一份试算：按每次判定 800 词元、东京区域一张 T4、运维 0.2 人月来算，盈亏平衡点是每月 5,260 万次。低于这个量，API 更便宜。仅仅是工单分流那种量级，基本够不着。

本地更合适的情形

• 数据不能出去 ── 医疗、金融、政务。这一条与量无关
• 希望离线完成 ── 权重下载一次之后，断网也能跑
• 想压低延迟下限 ── 少了一趟网络往返
• 同一种判断要重复海量次 ── 全量交易反欺诈、UGC 常态审核等
• 手里已经有带标签的数据 ── 续训的材料现成，自持才有意义

在本地能跑多快

面向 Apple Silicon 的 Core ML 版，在 M3 Max 的 Neural Engine 上 P50 为 4.98ms，每次判定 0.154 焦耳。与同一台机器上的 MLX 版相比，速度是 1.39 倍，但能耗要好 2.78 倍。如果要在电池设备上常态判定，后面这个差距更关键。

不过 Neural Engine 版总量上限是 96 个词元，state 必须设计成塞得进去。也有从 Node.js 经 ONNX Runtime 跑的实现，落地的选择本身是在变多的。

那到底怎么办

我觉得 ④ 最现实。先用 API 跑起来，那些日志本身就是续训用的标签。顺序上也自然。