GPT自回归生成

观察GPT如何逐token自回归地生成文本

P(x_t|x_1,...,x_{t-1}) = softmax(Decoder(x_{<t}))
因果掩码: 只能看到左侧已生成的token
点击模式按钮查看生成过程
自回归: 每步生成一个token, 拼接到输入继续