注意力权重热力图

可视化注意力权重如何让解码器聚焦于不同输入位置

α_t(i) = softmax(score(s_t, h_i))
加性注意力: score = v^T·tanh(W1·s + W2·h)
点击模式按钮查看不同注意力模式
注意力权重α归一化为概率分布: Σα=1