1. 似然函数与最大似然估计的核心概念第一次接触似然函数(Likelihood Function)时很多人会把它和概率密度函数混淆。我在研究生阶段做参数估计时就犯过这个错误直到导师指出才明白二者的本质区别。简单来说概率密度函数描述的是在已知参数θ的情况下随机变量X取某个值x的可能性而似然函数则是观测到数据x后对不同参数θ的可能性评估。举个例子假设我们有一枚硬币抛10次出现7次正面。概率问题问的是给定硬币公平(θ0.5)出现7次正面的概率是多少而似然问题则是观察到7次正面硬币参数θ为多少时最可能产生这个结果。2. 似然函数的数学表达与性质2.1 定义形式对于独立同分布(i.i.d)的样本X₁,...,Xₙ似然函数定义为 L(θ|x) ∏ᵢ f(xᵢ|θ) 其中f(x|θ)是概率密度或质量函数。实际操作中我们常使用对数似然函数 ℓ(θ|x) log L(θ|x) ∑ᵢ log f(xᵢ|θ)注意使用对数转换不仅能将连乘变为求和还能避免计算机处理极小值时出现下溢问题。我在处理高维数据时对数似然的数值稳定性优势尤为明显。2.2 典型分布的似然函数以正态分布N(μ,σ²)为例 ℓ(μ,σ²|x) -n/2 log(2π) - n logσ - 1/(2σ²) ∑(xᵢ-μ)²对于泊松分布(λ) ℓ(λ|x) -nλ logλ ∑xᵢ - ∑log(xᵢ!)3. 最大似然估计的求解方法3.1 解析解法对ℓ(θ)求导并令导数为零是最直接的方法。例如伯努利分布的参数p的MLE ∂ℓ/∂p ∑xᵢ/p - ∑(1-xᵢ)/(1-p) 0 解得p̂ (∑xᵢ)/n3.2 数值优化方法当解析解不可得时如混合模型常用梯度下降法ℓ(θ)的梯度方向更新参数EM算法处理含隐变量的情况牛顿法利用二阶导数信息加速收敛我在估计GARCH模型参数时发现结合BFGS拟牛顿法和多次随机初始值能有效避免局部最优。4. 最大似然估计的统计性质4.1 大样本性质在正则条件下MLE具有相合性θ̂ → θ₀ (概率收敛)渐近正态性√n(θ̂-θ₀) → N(0,I⁻¹(θ₀))有效性达到Cramer-Rao下界4.2 小样本表现实际应用中我发现这些性质在有限样本下可能不理想对于重尾分布收敛速度较慢在维度较高时需要np才能保证估计质量边界参数可能产生有偏估计如方差成分接近零时5. 实际应用中的注意事项5.1 模型误设的影响当真实模型不属于假设的分布族时参数估计可能严重偏离标准误计算失效预测性能下降解决方案使用稳健标准误Huber-White进行分布检验如Jarque-Bera检验正态性考虑半参数方法5.2 计算实践技巧对参数进行缩放如将方差参数取对数可以改善优化稳定性在R中使用optim()时设置controllist(fnscale-1)将最小化转为最大化Python的scipy.optimize中对约束问题可用SLSQP方法6. 进阶话题与扩展6.1 剖面似然函数当关注部分参数时可将其他参数剖出 ℓ_p(θ₁) max_{θ₂} ℓ(θ₁,θ₂) 这在构建置信区间时特别有用。6.2 拟似然方法当方差-均值关系已知但完整分布不明时可构造 Q(β) ∑ (yᵢ-μᵢ)²/V(μᵢ) 适用于广义线性模型的扩展。6.3 贝叶斯视角下的联系后验分布 ∝ 似然函数 × 先验分布 当先验为均匀分布时MAP估计与MLE一致。但在小样本下选择合适的先验能显著改善估计效果。
1. 似然函数与最大似然估计的核心概念第一次接触似然函数(Likelihood Function)时很多人会把它和概率密度函数混淆。我在研究生阶段做参数估计时就犯过这个错误直到导师指出才明白二者的本质区别。简单来说概率密度函数描述的是在已知参数θ的情况下随机变量X取某个值x的可能性而似然函数则是观测到数据x后对不同参数θ的可能性评估。举个例子假设我们有一枚硬币抛10次出现7次正面。概率问题问的是给定硬币公平(θ0.5)出现7次正面的概率是多少而似然问题则是观察到7次正面硬币参数θ为多少时最可能产生这个结果。2. 似然函数的数学表达与性质2.1 定义形式对于独立同分布(i.i.d)的样本X₁,...,Xₙ似然函数定义为 L(θ|x) ∏ᵢ f(xᵢ|θ) 其中f(x|θ)是概率密度或质量函数。实际操作中我们常使用对数似然函数 ℓ(θ|x) log L(θ|x) ∑ᵢ log f(xᵢ|θ)注意使用对数转换不仅能将连乘变为求和还能避免计算机处理极小值时出现下溢问题。我在处理高维数据时对数似然的数值稳定性优势尤为明显。2.2 典型分布的似然函数以正态分布N(μ,σ²)为例 ℓ(μ,σ²|x) -n/2 log(2π) - n logσ - 1/(2σ²) ∑(xᵢ-μ)²对于泊松分布(λ) ℓ(λ|x) -nλ logλ ∑xᵢ - ∑log(xᵢ!)3. 最大似然估计的求解方法3.1 解析解法对ℓ(θ)求导并令导数为零是最直接的方法。例如伯努利分布的参数p的MLE ∂ℓ/∂p ∑xᵢ/p - ∑(1-xᵢ)/(1-p) 0 解得p̂ (∑xᵢ)/n3.2 数值优化方法当解析解不可得时如混合模型常用梯度下降法ℓ(θ)的梯度方向更新参数EM算法处理含隐变量的情况牛顿法利用二阶导数信息加速收敛我在估计GARCH模型参数时发现结合BFGS拟牛顿法和多次随机初始值能有效避免局部最优。4. 最大似然估计的统计性质4.1 大样本性质在正则条件下MLE具有相合性θ̂ → θ₀ (概率收敛)渐近正态性√n(θ̂-θ₀) → N(0,I⁻¹(θ₀))有效性达到Cramer-Rao下界4.2 小样本表现实际应用中我发现这些性质在有限样本下可能不理想对于重尾分布收敛速度较慢在维度较高时需要np才能保证估计质量边界参数可能产生有偏估计如方差成分接近零时5. 实际应用中的注意事项5.1 模型误设的影响当真实模型不属于假设的分布族时参数估计可能严重偏离标准误计算失效预测性能下降解决方案使用稳健标准误Huber-White进行分布检验如Jarque-Bera检验正态性考虑半参数方法5.2 计算实践技巧对参数进行缩放如将方差参数取对数可以改善优化稳定性在R中使用optim()时设置controllist(fnscale-1)将最小化转为最大化Python的scipy.optimize中对约束问题可用SLSQP方法6. 进阶话题与扩展6.1 剖面似然函数当关注部分参数时可将其他参数剖出 ℓ_p(θ₁) max_{θ₂} ℓ(θ₁,θ₂) 这在构建置信区间时特别有用。6.2 拟似然方法当方差-均值关系已知但完整分布不明时可构造 Q(β) ∑ (yᵢ-μᵢ)²/V(μᵢ) 适用于广义线性模型的扩展。6.3 贝叶斯视角下的联系后验分布 ∝ 似然函数 × 先验分布 当先验为均匀分布时MAP估计与MLE一致。但在小样本下选择合适的先验能显著改善估计效果。
