线性回归中的Bayes估计+文献综述(2)
的飞速发展，以及马尔可夫链、蒙特卡罗方法(MCMC方法)的引入，为Bayes统计在这
个领域的应用开辟了广阔的前景，使得Bayes统计的研究得到了再度复兴，以往被认
为不可能实施计算的一些统计方法变得比较容易[3]
。
Bayes 统计作为一个新的学派，正逐渐受到越来越广泛的关注。特别是在小样本
的情况下，由于先验分布的引入，能够综合现在的试验结果和以往的经验知识，使点
估计和区间估计可以有比经典统计更加精确的结果；另外，在处理多余参数的问题上，
Bayes统计可以直接在后验密度中将多余的参数积分掉，这又比经典统计方法方便得
多[4]
。这一理论几乎在所有的学科领域都展现了力量，如：判断、决策、科学、医药、
工程技术和制造工艺、经济、管理、政治和军事战略等，几乎所有用到预测和决策的
地方都离不开Bayes 分析[5]。
1.1 线性回归模型的概述
考虑如下正态线性回归模型
其中Y 为观测向量，X为非零设计矩阵且
rank X m n
，β为未知参数
β~N(μ,σ2V) （1.2）
V>0（表示V正定阵）,V,
均已知[6]。
对于模型（1.1）,参数β 的最小二乘（LS）估计是 本科毕业设计说明书（论文） 第 2 页 共 22 页
β =(X’X)-1X’Y （1.3）
我们设损失函数为二次损失函数： L(θ,θ ( =( θ-θ ( ’( θ-θ ( ),其中θ为参数， θ ( 为
样本的函数，所以 L(θ,θ ( )为样本
的函数，则由其通过求 Bayes解而导出
的 Bayes 估计为条件期望 E{θ| },即后验分布的期望。风险函数为 EL(θ,θ ( ),它代表
了使用θ ( 评估θ 时的平均损失。当采用共轭分布法确定先验分布时，由于β 的先验
分布为正态分布，则其后验分布也是正态分布[7]
。 在先验分布（1.2）下得到β 的Bayes
估计为
β =(X’X+V-1)-1(X’Y+V-1 ) （1.4）
由（1.3）得到的 LS 估计有一些良好的性质，比如β 是 β 的一致最小方差无偏估
计（UMVUE） .但是在处理包含大量自变量的回归问题时， 设计矩阵X 常常接近病态（即
自变量之间存在线性关系），性质较差[8]
。改进 LS估计的一种方法是引入 Bayes估计，
即将参数的先验信息添加到估计问题中来，进而提高估计的效果。获得线性模型中参
数Bayes 估计的方法大致有两种。一种是在 Guass—Markov模型下假定先验分布满足
一定的矩条件，在二次损失下最小化 Bayes 风险，获得Bayes线性估计（BLE），它适
用于回归系数的 Bayes 估计[9]。这一方法有 Rao[10]首先提出，Gruber[11]考虑了
的可
估函数的BLE,并获得一些替代形式。另一种是在正态线性模型下求解，就是引言开始
所叙述的方法[12]
上一篇：环上的线性方程组研究+文献综述
下一篇：整函数的阶型与零点+文献综述