贝叶斯定理与贝叶斯推断

一句话概述

贝叶斯定理是概率论中最优雅的公式之一，它描述如何用新证据更新信念。贝叶斯推断将这一思想系统化——参数不再是固定值而是随机变量，通过先验分布和后验分布来量化不确定性。在 AI 中，朴素贝叶斯分类器是经典算法，贝叶斯优化是超参数调优的利器，而贝叶斯神经网络则将整个网络的权重都视为概率分布，实现不确定性量化。

💡 核心要点：①贝叶斯定理 P(A|B) = P(B|A)P(A)/P(B) 描述了如何用新证据 B 更新对 A 的信念——从先验 P(A) 到后验 P(A|B) ②贝叶斯推断将参数 θ 视为随机变量，用先验分布 P(θ) 表达初始知识，用后验分布 P(θ|data) 表达更新后的知识 ③朴素贝叶斯分类器基于"特征条件独立"假设，计算简单但效果惊人，尤其在文本分类中 ④贝叶斯方法在 AI 中的作用日益重要——贝叶斯优化、贝叶斯神经网络、概率编程、变分推断

教学与演示

一、贝叶斯定理——用新信息更新认知

是什么（定义）：贝叶斯定理（Bayes' Theorem）是条件概率的逆运算公式：P(A|B) = P(B|A)·P(A) / P(B)。其中 P(A) 是先验概率（prior），P(A|B) 是后验概率（posterior），P(B|A) 是似然（likelihood），P(B) 是证据（evidence）或边际似然。

大白话 贝叶斯定理就是"反过来算概率"。你知道"有病的人中 95% 检测出阳性"（P(阳性|有病)），但你想知道的是"检测出阳性的人中真正有病的概率"（P(有病|阳性)）。贝叶斯定理帮你完成这个翻转。它本质上是在说：新信念 = 旧信念 × 新证据的力度 / 归一化常数。

为什么（原理）：贝叶斯定理的推导非常简单：P(A∩B) = P(A|B)P(B) = P(B|A)P(A)，两边同除 P(B) 即得。但它的哲学意义深远——它提供了一种"根据数据更新信念"的数学框架。先验 P(A) 代表你在看到数据之前的信念，似然 P(B|A) 衡量数据支持 A 的程度，后验 P(A|B) 是你在看到数据之后应该持有的信念。

怎么做（实现）：

import numpy as np

# 经典场景：疾病筛查中的贝叶斯定理
# 先验：患病率 1%
p_disease = 0.01  # 先验概率 P(有病)
p_healthy = 1 - p_disease  # P(没病)

# 检测方法的性能
p_pos_given_disease = 0.95  # 灵敏度 P(阳性|有病)
p_pos_given_healthy = 0.05  # 假阳性率 P(阳性|没病)

# 贝叶斯定理：P(有病|阳性) = P(阳性|有病)×P(有病) / P(阳性)
# 先计算 P(阳性) = P(阳性|有病)×P(有病) + P(阳性|没病)×P(没病)
p_positive = p_pos_given_disease * p_disease + p_pos_given_healthy * p_healthy  # 全概率

# 后验概率
p_disease_given_positive = p_pos_given_disease * p_disease / p_positive  # 贝叶斯公式

print(f"先验概率 P(有病) = {p_disease:.2f}")  # 1%
print(f"P(阳性) = {p_positive:.4f}")  # 全概率
print(f"P(阳性|有病) = {p_pos_given_disease:.2f}")  # 灵敏度
print(f"\n后验概率 P(有病|阳性) = {p_disease_given_positive:.4f}")  # 约16.7%
print(f"结论：即使检测出阳性，实际有病的概率也只有约{p_disease_given_positive*100:.1f}%")
print("这是因为疾病本身非常罕见（先验只有1%），假阳性虽然少但绝对数量远超真阳性")

# 多次检测：第二次检测也阳性，更新信念
# 将第一次的后验作为第二次的先验
p_disease_prior_2 = p_disease_given_positive  # 更新后的先验
p_healthy_prior_2 = 1 - p_disease_prior_2  # 更新后的P(没病)
p_positive_2 = p_pos_given_disease * p_disease_prior_2 + p_pos_given_healthy * p_healthy_prior_2  # 全概率
p_disease_given_positive_2 = p_pos_given_disease * p_disease_prior_2 / p_positive_2  # 第二次后验
print(f"\n如果第二次检测也是阳性：")
print(f"P(有病|两次阳性) = {p_disease_given_positive_2:.4f}")  # 约78.2%
print("两次阳性后，有病概率大幅提升到约78%——贝叶斯更新是累积的！")

什么用（应用）：贝叶斯定理的直接应用：垃圾邮件过滤（P(垃圾|包含"免费")）、医疗诊断、信用评估、法律证据评估。在机器学习中，贝叶斯定理是朴素贝叶斯分类器、贝叶斯网络、贝叶斯优化的数学基础。在 AB 测试中，贝叶斯方法可以持续更新而非固定样本量。

哪些坑（缺点）：先验概率的选择往往主观——不同的先验导致不同的后验。当数据量很小时，先验对结果影响很大。另外，计算 P(B)（证据）在高维空间中非常困难，这是贝叶斯推断计算复杂度的主要来源。

二、先验概率与后验概率

是什么（定义）：先验概率（Prior Probability）是在观测数据之前对参数或假设的概率估计。后验概率（Posterior Probability）是在观测数据之后，通过贝叶斯定理更新得到的概率。贝叶斯推断的核心就是"先验 + 数据 → 后验"。

大白话 先验就是"你最初觉得有多可能"，后验就是"看了数据之后你觉得有多可能"。比如你最初觉得朋友迟到是因为堵车的概率是 70%（先验），然后你收到他发来的"我在高架上"的消息（数据），这个数据更支持"堵车"假设，所以你更新后的信念（后验）变成了 95%。

为什么（原理）：贝叶斯推断的完整框架：P(θ|data) = P(data|θ)P(θ) / P(data) ∝ Likelihood × Prior。后验分布正比于似然函数乘以先验分布。当数据量很大时，似然主导后验（先验的影响被"淹没"）；当数据量很小时，先验影响显著。共轭先验（Conjugate Prior）让后验与先验属于同一分布族，计算方便。

怎么做（实现）：

import numpy as np

# 演示贝叶斯更新：估计硬币的正面概率 p
np.random.seed(42)  # 固定种子

# 真实 p = 0.7（硬币偏正面）
true_p = 0.7  # 真实正面概率
n_tosses_total = 100  # 总共抛100次
tosses = np.random.binomial(1, true_p, n_tosses_total)  # 模拟抛硬币

# 贝叶斯更新：Beta分布作为p的共轭先验
# Beta(α, β) 的均值 = α/(α+β)
# 先验：Beta(1, 1) = 均匀分布（无信息先验）
alpha_prior, beta_prior = 1, 1  # 无信息先验

print("贝叶斯更新过程（每10次抛硬币更新一次）：")
alpha, beta = alpha_prior, beta_prior  # 当前后验参数
for i in range(0, n_tosses_total, 10):
    batch = tosses[i:i+10]  # 取10次结果
    n_heads = np.sum(batch)  # 正面次数
    n_tails = len(batch) - n_heads  # 反面次数

    # Beta分布更新：后验参数 = 先验参数 + 观测计数
    alpha += n_heads  # 更新α参数
    beta += n_tails  # 更新β参数

    posterior_mean = alpha / (alpha + beta)  # 后验均值
    total_tosses = i + 10  # 累计抛掷次数
    print(f"抛{total_tosses:3d}次（+{n_heads}正{len(batch)-n_heads}反）: "
          f"后验均值={posterior_mean:.4f}, 95%区间≈[{alpha/(alpha+beta)-2*np.sqrt(alpha*beta/((alpha+beta)**2*(alpha+beta+1))):.3f}, "
          f"{alpha/(alpha+beta)+2*np.sqrt(alpha*beta/((alpha+beta)**2*(alpha+beta+1))):.3f}]")  # 后验更新

# 先验敏感度分析：不同先验的影响
print(f"\n先验敏感度分析（少量数据时）：")
few_tosses = tosses[:10]  # 只取前10次
n_heads_few = np.sum(few_tosses)  # 前10次正面次数
n_tails_few = 10 - n_heads_few  # 前10次反面次数

priors = [  # 不同先验
    ("无信息 Beta(1,1)", 1, 1),
    ("乐观 Beta(2,1)", 2, 1),  # 偏向正面的先验
    ("悲观 Beta(1,2)", 1, 2),  # 偏向反面的先验
    ("强先验 Beta(10,10)", 10, 10),  # 强先验（认为p≈0.5）
]
for name, a_prior, b_prior in priors:
    a_post = a_prior + n_heads_few  # 后验α
    b_post = b_prior + n_tails_few  # 后验β
    post_mean = a_post / (a_post + b_post)  # 后验均值
    print(f"{name}: 后验均值={post_mean:.4f}（前10次: {n_heads_few}正{n_tails_few}反）")  # 先验影响
print("注意：数据少时先验影响大，数据多时先验影响被'淹没'")

什么用（应用）：贝叶斯 A/B 测试可以持续更新后验概率，不需要固定样本量。贝叶斯优化中，高斯过程作为目标函数的先验，每次评估后更新后验，指导下一轮采样。在推荐系统中，Thompson Sampling 用贝叶斯更新来选择最优臂。在贝叶斯神经网络中，权重从固定值变为分布，后验用于量化预测不确定性。

哪些坑（缺点）：先验的选择是贝叶斯方法最受争议的点——主观先验可能引入偏见。在大数据时代，先验的影响通常很小，但小数据场景下先验至关重要。另外，高维参数空间的后验计算非常困难（需要 MCMC 或变分推断），限制了贝叶斯方法在大规模深度学习中的直接应用。

三、贝叶斯推断——迭代更新

是什么（定义）：贝叶斯推断（Bayesian Inference）是一套完整的统计推断框架，将未知参数 θ 视为随机变量，用概率分布而非点估计来描述不确定性。核心步骤：①指定先验分布 P(θ)；②计算似然 P(data|θ)；③通过贝叶斯定理得到后验分布 P(θ|data)；④基于后验做预测和决策。

大白话 频率学派说"参数是一个固定值，我们通过数据去估计它"。贝叶斯学派说"参数本身是不确定的，我对它的认识是一个概率分布"。频率学派给你一个点估计（如"硬币正面概率是 0.7"），贝叶斯学派给你一个分布（如"硬币正面概率最可能是 0.7，但 0.6-0.8 之间都有可能"）——后者天然包含了不确定性。

为什么（原理）：贝叶斯推断的预测分布（Posterior Predictive）：P(x_new|data) = ∫ P(x_new|θ) P(θ|data) dθ。这自动对参数的不确定性进行积分（平均），而非仅用单个点估计——这是贝叶斯方法相对于频率方法的天然优势。贝叶斯推断天然支持"在线学习"——新数据到来时，只需将旧后验作为新先验继续更新。

怎么做（实现）：

import numpy as np

# 贝叶斯推断：在线学习——数据逐步到来，逐步更新
np.random.seed(42)  # 固定种子

# 模拟在线学习场景：用户点击率估计
true_ctr = 0.15  # 真实点击率15%
n_events = 500  # 总共500次展示

# 模拟点击数据（逐步到来）
clicks = np.random.binomial(1, true_ctr, n_events)  # 点击序列

# 贝叶斯在线更新：Beta-Binomial模型
alpha, beta = 1, 1  # 无信息先验 Beta(1,1)
milestones = [10, 50, 100, 200, 500]  # 观测里程碑

print("在线学习——贝叶斯CTR估计：")
current_obs = 0  # 当前观测数
for milestone in milestones:
    # 从上次里程碑到当前里程碑之间的数据
    new_data = clicks[current_obs:milestone]  # 新数据
    n_clicks = np.sum(new_data)  # 新点击数
    n_no_clicks = len(new_data) - n_clicks  # 新未点击数

    # 贝叶斯更新
    alpha += n_clicks  # 更新α
    beta += n_no_clicks  # 更新β
    current_obs = milestone  # 更新当前观测数

    # 后验统计
    posterior_mean = alpha / (alpha + beta)  # 后验均值
    posterior_std = np.sqrt(alpha * beta / ((alpha+beta)**2 * (alpha+beta+1)))  # 后验标准差
    # 95% 可信区间（用正态近似）
    ci_lower = posterior_mean - 1.96 * posterior_std  # 下界
    ci_upper = posterior_mean + 1.96 * posterior_std  # 上界

    print(f"观测{milestone:3d}次: CTR估计={posterior_mean:.4f}, "
          f"95%可信区间=[{max(0,ci_lower):.4f}, {min(1,ci_upper):.4f}]")  # 区间逐渐变窄

# 对比：频率学派的最大似然估计
print(f"\n对比——频率学派MLE估计：")
for milestone in milestones:
    data = clicks[:milestone]  # 取前milestone个数据
    mle = np.mean(data)  # 最大似然估计 = 样本均值
    print(f"观测{milestone:3d}次: MLE={mle:.4f}")  # MLE估计
print("注意：MLE只给出点估计，没有不确定性量化；贝叶斯给出完整分布")

什么用（应用）：贝叶斯在线学习适用于推荐系统（实时更新用户偏好）、广告竞价（实时更新 CTR 估计）、A/B 测试（持续监控而非固定停止时间）。贝叶斯变化点检测（Bayesian Changepoint Detection）用于监控模型性能退化。Thompson Sampling 是贝叶斯在线学习的经典算法，用于多臂老虎机问题。

哪些坑（缺点）：贝叶斯推断的计算成本高——后验分布通常没有解析解，需要 MCMC 或变分推断等近似方法。先验的误设可能导致有偏的推断，尤其是在小样本场景。贝叶斯方法在高维参数空间（如深度神经网络）中面临计算挑战，但变分推断和随机梯度 MCMC 正在逐步解决这些问题。

四、朴素贝叶斯分类器

是什么（定义）：朴素贝叶斯分类器（Naive Bayes Classifier）是最经典的贝叶斯机器学习算法。它基于贝叶斯定理和"特征条件独立"假设：P(y|x₁,...,x_n) ∝ P(y)·ΠP(x_i|y)。预测时选择后验概率最大的类别：ŷ = argmax_y P(y)·ΠP(x_i|y)。

大白话 朴素贝叶斯就是"看各个特征分别支持哪个类别，然后综合投票"。比如判断一封邮件是不是垃圾邮件——看"免费"这个词（垃圾邮件中常见），看"会议"这个词（正常邮件中常见），看发件人域……每个特征独立地给出一个"倾向"，然后乘在一起得到最终判断。"朴素"就朴素在它假设特征之间互不影响——这在现实中基本不成立，但神奇的是，这个"错误"的假设在大多数情况下不影响分类效果！

为什么（原理）：朴素贝叶斯的"朴素"假设（特征条件独立）大大简化了计算——P(x₁,...,x_n|y) = ΠP(x_i|y)，避免了联合分布的指数爆炸。虽然这个假设在现实中几乎不成立，但朴素贝叶斯在实践中表现惊人——因为即使概率估计有偏，只要各类别的概率排序正确，分类结果就是对的。对于文本分类，多项式朴素贝叶斯（Multinomial NB）和伯努利朴素贝叶斯（Bernoulli NB）是两种变体。

怎么做（实现）：

import numpy as np

# 朴素贝叶斯分类器：垃圾邮件过滤
np.random.seed(42)  # 固定种子

# 模拟训练数据：5个词，100封邮件（60正常，40垃圾）
n_emails = 100  # 邮件总数
n_words = 5  # 词汇量
words = ["免费", "优惠", "会议", "项目", "点击"]  # 词汇表

# 模拟词频数据（正常邮件和垃圾邮件）
# 正常邮件中词的出现概率
normal_probs = np.array([0.05, 0.10, 0.30, 0.25, 0.05])  # 正常邮件词频
# 垃圾邮件中词的出现概率
spam_probs = np.array([0.40, 0.35, 0.05, 0.05, 0.30])  # 垃圾邮件词频

# 生成训练数据
y_train = np.random.choice([0, 1], n_emails, p=[0.6, 0.4])  # 0=正常, 1=垃圾
X_train = np.zeros((n_emails, n_words), dtype=int)  # 词频矩阵
for i in range(n_emails):
    if y_train[i] == 0:  # 正常邮件
        X_train[i] = np.random.binomial(1, normal_probs)  # 按正常词频生成
    else:  # 垃圾邮件
        X_train[i] = np.random.binomial(1, spam_probs)  # 按垃圾词频生成

# 训练朴素贝叶斯：估计先验和条件概率
p_spam = np.mean(y_train == 1)  # P(垃圾)
p_normal = np.mean(y_train == 0)  # P(正常)

# 拉普拉斯平滑估计条件概率
alpha = 1  # 平滑参数
# P(词|垃圾)
spam_emails = X_train[y_train == 1]  # 垃圾邮件
p_word_given_spam = (np.sum(spam_emails, axis=0) + alpha) / (len(spam_emails) + alpha * 2)  # 平滑后概率
# P(词|正常)
normal_emails = X_train[y_train == 0]  # 正常邮件
p_word_given_normal = (np.sum(normal_emails, axis=0) + alpha) / (len(normal_emails) + alpha * 2)  # 平滑后概率

print("训练完成！条件概率估计：")
for i, word in enumerate(words):
    print(f"P({word}|正常)={p_word_given_normal[i]:.3f}, "
          f"P({word}|垃圾)={p_word_given_spam[i]:.3f}")  # 条件概率对比

# 测试一封新邮件：包含"免费"和"点击"
test_email = np.array([1, 0, 0, 0, 1])  # 测试邮件：包含"免费"和"点击"
print(f"\n测试邮件包含: {[words[i] for i in range(n_words) if test_email[i]==1]}")  # 查看测试邮件

# 计算后验概率（对数空间避免下溢）
log_p_spam = np.log(p_spam)  # log P(垃圾)
log_p_normal = np.log(p_normal)  # log P(正常)

for i in range(n_words):
    if test_email[i] == 1:  # 词出现
        log_p_spam += np.log(p_word_given_spam[i])  # 垃圾得分
        log_p_normal += np.log(p_word_given_normal[i])  # 正常得分
    else:  # 词未出现
        log_p_spam += np.log(1 - p_word_given_spam[i])  # 垃圾得分（未出现）
        log_p_normal += np.log(1 - p_word_given_normal[i])  # 正常得分（未出现）

# 转回概率空间
p_spam_given_email = np.exp(log_p_spam) / (np.exp(log_p_spam) + np.exp(log_p_normal))  # 后验概率
print(f"\nP(垃圾|邮件) = {p_spam_given_email:.4f}")  # 垃圾邮件概率
print(f"P(正常|邮件) = {1-p_spam_given_email:.4f}")  # 正常邮件概率
print(f"预测: {'垃圾邮件' if p_spam_given_email > 0.5 else '正常邮件'}")  # 预测结果

什么用（应用）：文本分类（垃圾邮件过滤、情感分析、新闻分类）是朴素贝叶斯的经典应用。实时预测场景（如在线广告）中，朴素贝叶斯因其简单快速而受欢迎。作为基线模型——在开始复杂深度学习之前，先用朴素贝叶斯建立性能基线。多标签分类中，朴素贝叶斯可以自然地扩展到多标签场景。

哪些坑（缺点）：特征条件独立假设在高度相关的特征上会失效（如"机器学习"和"深度学习"几乎同时出现）。朴素贝叶斯对稀有特征敏感——如果测试集中出现训练集中未见过的特征-类别组合，概率会为 0（需要平滑处理）。朴素贝叶斯输出的概率通常不校准（不是真实的概率），但排序通常是正确的。

五、AI中的贝叶斯——贝叶斯神经网络、概率编程

是什么（定义）：贝叶斯方法在 AI 中的前沿应用包括：①贝叶斯神经网络（BNN）——将网络权重视为概率分布，实现不确定性量化；②贝叶斯优化——用高斯过程代理模型高效搜索超参数空间；③概率编程——用编程语言直接定义概率模型并自动推断；④变分自编码器（VAE）——用变分推断学习潜在变量模型。

大白话 传统神经网络给你一个确定的预测（"这是猫，概率 0.9"），贝叶斯神经网络给你一个"带误差条的预测"（"这是猫，概率 0.9 ± 0.05"）。这在自动驾驶、医疗诊断等高风险场景中至关重要——模型不仅要知道"是什么"，还要知道"有多确定"。如果模型说"我不确定"（概率分布在 0.5 附近），系统可以触发人工介入。

为什么（原理）：贝叶斯神经网络将权重 w 视为随机变量，先验 p(w) 通常选 N(0, σ²I)，后验 p(w|D) 通过贝叶斯定理计算。预测时：p(y|x,D) = ∫ p(y|x,w) p(w|D) dw。这个积分在深度网络中无法解析计算，常用近似方法：①变分推断（VI）——用一个简单分布 q(w) 近似后验；②蒙特卡洛 Dropout——训练时 Dropout + 推理时多次前向传播取平均；③随机梯度 MCMC——用随机梯度做 MCMC 采样。

怎么做（实现）：

import numpy as np

# 演示贝叶斯优化的思想：高斯过程作为代理模型
np.random.seed(42)  # 固定种子

# 模拟一个未知的目标函数（我们想找它的最大值）
def true_objective(x):
    return np.sin(3*x) + 0.3*x**2 - 0.5*x  # 真实目标函数

# 模拟高斯过程（简化版：用核函数计算相关性）
def rbf_kernel(x1, x2, length_scale=0.5):
    # RBF（径向基函数）核
    dist = np.abs(x1[:, None] - x2[None, :])  # 距离矩阵
    return np.exp(-0.5 * (dist / length_scale) ** 2)  # RBF核函数

# 初始观测点
x_observed = np.array([-2.0, 0.0, 3.0])  # 已观测的三个点
y_observed = true_objective(x_observed)  # 对应的目标函数值

# 构建高斯过程后验（简化计算）
x_test = np.linspace(-3, 4, 200)  # 测试点
K = rbf_kernel(x_observed, x_observed) + 1e-6 * np.eye(len(x_observed))  # 核矩阵
K_inv = np.linalg.inv(K)  # 核矩阵的逆
K_star = rbf_kernel(x_observed, x_test)  # 训练-测试核矩阵
K_star_star = rbf_kernel(x_test, x_test)  # 测试-测试核矩阵

# GP后验均值和方差
gp_mean = K_star.T @ K_inv @ y_observed  # 后验均值
gp_var = np.diag(K_star_star - K_star.T @ K_inv @ K_star)  # 后验方差
gp_std = np.sqrt(np.maximum(gp_var, 0))  # 后验标准差

print("贝叶斯优化——高斯过程代理模型：")
print(f"已观测 {len(x_observed)} 个点")
for x_obs, y_obs in zip(x_observed, y_observed):
    print(f"  f({x_obs:.1f}) = {y_obs:.4f}")  # 观测值

# 采集函数：Expected Improvement（简化版）
# 找当前最优值
current_best = np.max(y_observed)  # 当前最优观测值
# 计算各测试点的Expected Improvement
improvement = np.maximum(gp_mean - current_best, 0)  # 改进量
# 选择下一个采样点
next_idx = np.argmax(gp_mean + 1.96 * gp_std)  # 用UCB（置信上界）策略
next_x = x_test[next_idx]  # 下一个采样点
print(f"\n采集函数建议下一个采样点: x ≈ {next_x:.2f}")  # 建议采样点
print(f"在该点：GP均值={gp_mean[next_idx]:.4f}, GP标准差={gp_std[next_idx]:.4f}")  # 不确定性

# 贝叶斯优化与网格搜索的对比
print(f"\n贝叶斯优化 vs 网格搜索：")
print(f"贝叶斯优化：4次评估（3次初始+1次建议）就能找到较好区域")
print(f"网格搜索：需要均匀采样很多点，高维空间代价巨大")
print("这就是贝叶斯优化在超参数调优中如此高效的原因！")

什么用（应用）：贝叶斯优化是超参数调优的 SOTA 方法（如 Optuna、Hyperopt 使用 TPE 或 GP）。贝叶斯神经网络用于自动驾驶（不确定性感知）、医疗诊断（不确定时拒绝预测）、主动学习（选择最不确定的样本标注）。概率编程（Pyro、Stan、TensorFlow Probability）使贝叶斯建模民主化。VAE 是生成模型的基础，用变分推断学习潜在表示。

哪些坑（缺点）：贝叶斯神经网络的计算开销远大于标准神经网络——变分推断需要双倍参数（均值和方差），MC Dropout 需要多次前向传播。高维空间中高斯过程的后验计算是 O(n³)，需要稀疏近似。贝叶斯方法对先验敏感——错误的先验可能导致错误的不确定性估计。在大型数据集上，贝叶斯方法的优势往往被频率方法的简单高效所超越。

概念关系图谱

重点答疑

Q1: 频率学派和贝叶斯学派的根本区别是什么？

频率学派认为参数是固定但未知的常数，概率是"长期频率"；贝叶斯学派认为参数本身是随机变量，概率是"信念程度"。举例：频率学派说"硬币正面概率是 0.5"意味着"抛无限次有 50% 是正面"；贝叶斯学派说"硬币正面概率是 0.5"意味着"我认为正面和反面的可能性一样大"。在 AI 中，频率方法（如 MLE、交叉熵训练）占主导，但贝叶斯方法在不确定性量化方面有独特优势。

Q2: 朴素贝叶斯的"朴素"假设明显错误，为什么还能工作？

因为分类只需要 P(y|x) 的排序正确，而不需要精确的概率值。即使特征条件独立假设不成立，各类别的概率估计可能有偏，但只要偏的方向一致，排序就不会改变。此外，朴素贝叶斯是"生成-判别"的混合体——它建模 P(x,y)，但只使用 P(y|x) 做决策。有理论证明，即使独立性假设不成立，朴素贝叶斯在多种条件下仍是最优分类器。

Q3: 贝叶斯神经网络（BNN）和普通神经网络 + Dropout 在推理时有什么不同？

普通网络 + Dropout 在推理时就关闭 Dropout，给出一个确定性的预测。BNN（或 MC Dropout）在推理时保持 Dropout 开启，多次前向传播（如 100 次），对预测取平均和方差：平均是预测值，方差是不确定性。这让你能区分"我知道这是猫"（高置信度）和"我猜这是猫但其实不确定"（低置信度）。在高风险应用中，后者可以触发人工审核。

章节单词汇总