RoPE旋转位置编码

观察RoPE如何通过旋转向量来编码相对位置

q_m = R(m)·q, k_n = R(n)·k → q_m·k_n = q·R(n-m)·k
R(θ): 旋转矩阵, θ=m·10000^(-2i/d)
点击模式按钮查看RoPE机制
RoPE: 内积只依赖相对位置m-n, 不依赖绝对位置