Attention Mechanism

1. Attention Mechanism

注意力机制把查询与键的相关性转换为对值的加权组合。它与 线性代数 中的矩阵乘法密切相关。

1.1. Scaled Dot-Product Attention

最常用的形式是：

缩放因子 用于控制点积幅度。

1.2. Minimal implementation

def attention(query, key, value):
    scores = query @ key.transpose(-2, -1)
    weights = scores.softmax(dim=-1)
    return weights @ value

1.3. Cross reference

本节定义一个可引用位置。

后续可在同一篇笔记中使用 Cross reference 1.3 引用这个位置。