Transformer自注意力机制可视化

交互式探索注意力权重矩阵的生成过程

Attention(Q,K,V) = softmax(QKᵀ/√dₖ)·V

当前模式: 自注意力 | 序列: 我爱人工智能

步骤: QKᵀ → 缩放 → Softmax → 加权求和

点击任意词查看其注意力分布