Transformer解码器
观察解码器的掩码自注意力和交叉注意力机制
Decoder: Masked-MHA → AddNorm → Cross-MHA → AddNorm → FFN → AddNorm
掩码自注意力(看已生成) + 交叉注意力(看编码器输出)
点击模式按钮查看解码器结构
解码器比编码器多一个交叉注意力子层
解码器结构
编码器-解码器对比
交叉注意力
↻ 重置