Transformer 注意力

自注意力把序列中每个 token 的表示更新为其他 token 表示的加权和。

Transformer 注意力

自注意力把序列中每个 token 的表示更新为其他 token 表示的加权和。

Scaled Dot-Product Attention

$sequence( op(text: [Attention]), lr( body: sequence([(], [Q], [,], [ ], [K], [,], [ ], [V], [)]), ), [ ], [=], [ ], op(text: [softmax]), lr( body: sequence( [(], frac( num: sequence([Q], [ ], attach(base: [K], t: [→]), [p]), denom: sequence( raw(text: "sqrt", block: false, lang: "typc"), lr( body: sequence([{], attach(base: [d], b: [k]), [}]), ), ), ), [)], ), ), [V], )$

缩放因子 $sequence( raw(text: "sqrt", block: false, lang: "typc"), lr( body: sequence([{], attach(base: [d], b: [k]), [}]), ), )$ 用来控制 logits 的方差，避免 softmax 过早饱和。

多头注意力

多头注意力把表示投影到多个子空间：

$sequence( attach(base: op(text: [head]), b: [i]), [ ], [=], [ ], op(text: [Attention]), lr( body: sequence( [(], [Q], [ ], attach(base: [W], t: [Q], b: [i]), [,], [ ], [K], [ ], attach(base: [W], t: [K], b: [i]), [,], [ ], [V], [ ], attach(base: [W], t: [V], b: [i]), [)], ), ), )$

然后拼接所有 “head”。更多线性映射背景见线性代数。