正弦位置编码

可视化正弦/余弦位置编码的波形与热力图

PE(pos,2i)=sin(pos/10000^(2i/d)), PE(pos,2i+1)=cos(pos/10000^(2i/d))
不同维度i对应不同频率, 低频慢变化, 高频快变化
点击模式按钮查看正弦编码
关键性质: PE(pos+k)-PE(pos)可由PE(k)线性表示