向量札记

字符编码不等于意思

「狗」「犬」「dog」指的是同一种动物，编号却各不相干。反过来，两个编号即使挨着，意思也未必相近。字符编码只是用来排队的号码，不是意思的刻度。

于是就想用数把意思本身表示出来：让「意思相近的词，数也相近」。为每个词准备这样一组数，就是向量化（嵌入，embedding）。

最贴切的比喻是地图。我们先试着用两个轴，把动物和交通工具排一排。

横轴是大小，纵轴是「像不像生物」。于是狗和猫落在一起，公交车落在远处。这个坐标本身就是向量。二维就是两个数，三维就是三个数，仅此而已。

「国王」旁边会聚集「女王」「王国」「即位」，「狗」旁边会聚集「猫」「散步」「叫」。词在文章里交往的亲疏，直接变成了坐标上的远近。

地图可以用尺子量，但在意思的空间里，通常量的是方向：从原点画出箭头，看它们之间的夹角。

为什么不量长度？文章越长数值就越大，同一个词反复出现，箭头也会变长。长度会随「量」变化，方向却由「写的是什么」决定。我们想知道的是后者。

取值落在 −1 到 1 之间。接近 1 就是方向几乎一致，0 是毫不相干，负数则是相反方向。检索和查重里用的，基本都是这个数。

一旦意思能用位置表示，就会出现一件奇妙的事：意思可以加减。

四个词排成了一个漂亮的平行四边形：国王 − 男人 ＋ 女人 ≒ 女王。「东京 − 日本 ＋ 法国 ≒ 巴黎」也是同一个形状。

这里同样没有人教过它「国王和女王只差性别」。仅仅是从海量文本中的用法里，意思的差被呈现成了方向。第 1 期说过「聪明是把预测做到极致的副产品」，这个平行四边形也是同一类副产品。

前面都是用二维的图来画，实物其实是几百到几千个数排成的一串。

很多人卡在这里：每一个数字都没有名字。并不存在「第 3 个是大小、第 7 个是生物程度」这样一张表。它不是给人读的东西。

维数（768、1536 等）可以理解成地图的精细程度。二维只能区分「大小」和「像不像生物」，上千维就能同时容纳颜色、软硬、年代、语气、专业领域……要多少轴有多少轴。

地图不是钉死的

第二章画的地图，相当于一本词典。可是在真实的句子里，同一个词的意思会变。

做这件改写的正是 Attention（第 1 期・二章）。词典意义上的向量是起点，进入句子后，坐标会随周围的词移动。把它理解成两段式，就比较清楚了。

能用来做什么

离实务最近的是检索：字面不一致，只要意思相近也能查到。

搜「年假怎么申请」能命中「休假单的提交方式」，靠的就是这套机制。第 1 期・四章说的「别让它掏记忆，把材料交给它」，落地形态正是这里。

• 咨询的自动分类 ── 往最近的类别中心靠
• 查重与相似检测 ── 找出说法不同、内容相同的东西
• 推荐 ── 把相近的排在一起
• 图像和语音也能放进同一个空间（第 2 期・二章）

另外，向量虽然不能直接还原成原文，意思却保留了相当多。把公司文档的向量发往外部服务时，建议按「等同于发送正文」来对待。