重参数化技巧——让采样可微

图解重参数化的数学原理

z = μ + σ ⊙ ε, ε ~ N(0,I), ∂z/∂μ=1, ∂z/∂σ=ε
直接采样不可微, 重参数化后梯度可流过μ和σ
当前: 直接采样
随机性隔离在ε中, μ和σ通过确定性路径接收梯度