GAT多头注意力——多专家打分机制
展示多个注意力头如何协同工作
h_i' = ||_{k=1}^K σ(Σ_j α_ij^k W^k h_j)
不同头用不同颜色表示注意力权重
3个注意力头并行计算
中间层用拼接(||), 最后一层用平均
单头
多头拼接
多头平均
头对比
↻ 重置