ベクトル覚書

文字コードは「意味」ではない

「犬」「いぬ」「dog」は同じものを指しますが、番号はばらばらです。逆に、番号がたまたま隣どうしでも、意味が近いとは限りません。文字コードは並べるための背番号であって、意味の目盛りではないからです。

そこで、意味そのものを数で表したい。「近い意味の語には近い数を」という条件を満たす数の組を、語ごとに用意する。これがベクトル化（埋め込み、embedding）です。

いちばん近いたとえは地図です。試しに、動物と乗り物を二本の軸で並べてみます。

横軸は大きさ、縦軸は生きものらしさ。すると犬と猫は近くに、バスは遠くに置かれます。この座標そのものがベクトルです。二次元なら数字が二つ、三次元なら三つ。それだけの話です。

「王」の近くには「女王」「王国」「即位」が来て、「犬」の近くには「猫」「散歩」「吠える」が来る。文章の中での付き合いの近さが、そのまま座標の近さになります。

地図なら定規で測れますが、意味の空間では向きで測るのが普通です。原点から矢印を引いて、その角度を見ます。

なぜ長さではなく向きなのか。文章が長ければ数値は大きくなりますし、同じ語がくり返されれば矢印は伸びます。長さは量で変わるが、向きは「何について書かれているか」で決まる。知りたいのは後者です。

値は −1 から 1 のあいだに収まります。1 に近ければほぼ同じ方向、0 なら無関係、マイナスなら反対向き。検索や重複チェックで使われるのは、たいていこの数字です。

位置として表せると、意味を引いたり足したりできるという不思議なことが起きます。

四つの語が、きれいな平行四辺形に並びます。王 − 男 ＋ 女 ≒ 女王。「東京 − 日本 ＋ フランス ≒ パリ」も同じ形です。

ここでも、誰かが「王と女王は性別だけ違う」と教えたわけではありません。膨大な文章の中での使われ方から、意味の差が方向として現れた。第1回で「賢さは予測を突き詰めた副産物」と書きましたが、この平行四辺形も同じ性質の副産物です。

ここまでは二次元の絵で描いてきましたが、実物は数百から数千の数字が一列に並んだものです。

ここで多くの人がつまずくのですが、一つ一つの数字に名前は付いていません。3番目が大きさで、7番目が生きものらしさ、という表はどこにもない。人が読んで意味の分かるものではないのです。

次元の数（768、1536 など）は、地図の細かさだと思ってください。二次元では「大きさ」と「生きものらしさ」しか区別できませんが、千次元あれば、色、硬さ、時代、丁寧さ、専門分野……と、いくらでも軸を持てます。

地図は固定ではない

二章で描いた地図は、いわば辞書です。ところが実際の文では、同じ語でも意味が変わります。

この書き換えを行うのが Attention です（第1回・二章）。辞書としてのベクトルが出発点で、文の中では、まわりの語に応じて座標が動く。二段構えになっている、と捉えると分かりやすいと思います。

何に使えるのか

いちばん実務に近いのは検索です。言葉が一致していなくても、意味が近ければ引ける。

「有給の申請方法」で検索して「休暇届の出し方」の文書が出てくるのは、この仕組みです。第1回・四章で書いた「記憶から取り出させず、材料を渡す」を実現しているのが、まさにここです。

• 問い合わせの自動分類 ── 近いカテゴリの中心に寄せる
• 重複・類似の検出 ── 言い回しが違う同じ内容を見つける
• おすすめ ── 近いものを並べる
• 画像や音声も同じ空間に置ける（第2回・二章）

なお、ベクトルは元の文章に戻せる形ではありませんが、意味はかなり残ります。社外のサービスへ社内文書のベクトルを送るときは、本文を送るのと同じ感覚で扱うのが安全です。