贝叶斯估计方法学习感想及看法

关于贝叶斯估计方法学习感想及看法

经过半学期的课程学习，终于在参数估计这部分内容的学习上有了个终结。参数估计方面的学习主要分了经典学派的理论和贝叶斯学派的理论。在参数估计上经典学派运用的是矩法和极大似然估计，贝叶斯学派用的当然就是Bayes估计。经典学派的学习在本科学习比较多，而Bayes方法对我来说算是个新知识，在此只对Bayes统计方法做个小结，然而由于知识有限性，只能粗略地从讲义中对Bayes估计总结点观点出来。

贝叶斯统计中除了运用经典学派的总体信息和样本信息外，还用到了先验信息，其中的两个基本概念是先验分布和后验分布。

1，先验分布，总体分布参数θ的一个概率分布。贝叶斯学派的根本观点，是认为在关于总体分布参数总体分布参数θ的任何统计推断问题中，除了使用样本所提供的信息外，还必须规定一个先验分布，它是在进行统计推断时不可缺少的一个要素。他们认为先验分布不必有客观的依据，可以部分地或完全地基于主观信念。

2，后验分布。根据样本分布和未知参数的先验分布，可以用概率论中求条件概率分布的方法，求出的在样本已知下，未知参数的条件分布。因为这个分布是在抽样以后才得到的，故称为后验分布。贝叶斯推断方法的关键是任何推断都必须且只须根据后验分布，而不能再涉及本分布。可以看出Bayes统计模型的特点是将参数θ视为随机变量，并具有先验分布H(θ)。Bayes统计学派与经典学派的分歧主要是在关于参数的 认识上的分歧，经典学派视经典学派视θ为未知常数；而Bayes学派视θ为随机变量且具有先验分布为随机变量且具有先验分布。两个学派分歧的根源在于对于概率的理解。经典学派视概率为事件大量重复实验频率的稳定值；而Bayes学派赞成主观概率，将事件的概率理解为认识主体对事件发生的相信程度。个人认为将θ视为随机变量且具有先验分布具有实际意义，这也算Bayes学派在二百年时间不断发展的一个前提。

然后用数学计算的观点来看看Bayes估计：

一切估计的目的是要对未知参数作统计推断。在没有样本信息时，我们只能依据先验分布对作出推断。在有了样本观察值X(x1,,xn)之后，我们应依据h(X,)对作出推断。若把h(X,)作如下分解：

h(X,)|Xm(X)

其中m(X)是X的边际概率函数：

m(X)h(X,)dp(X|)()d,

它与无关，或者说m(X)中不含的任何信息因此能用来对作出推断的仅是条件分布

(|X)，它的计算公式是：(|X)=h(X,)/m(X)。

贝叶斯统计学关键是首先要想方设法先去寻求θ的先验分布h（θ），先验分布的确定方法有客观法，主观概率法，同等无知原则，共轭分布方法，Jeffreys

(ab)()(a)(b)原则，最大熵原则等。

通过比较和大量成功的案例发现采用β分布族作为先验分布族时候往往很实用，而且在数学处理方面处理很方便： a1b1

其次，根据先验信息在先验分布族中选一个分布作为先验分布，使它与先验信息符合较好。利用θ的先验信息去确定β分布中的两个参数a与b。假如的信息较为丰富，譬如对此产品经常进行抽样检查，每次都对废品率作出一个估计，把这些估计值看作的一些观察值，再经过整理，可用一个分布去拟合它。假如信息较少，甚至没有先验信息时候，也可以用用区间（0，1）上的均匀分布即a=b=1，也既是所谓的贝叶斯假设。

以上就是贝叶斯估计相关的知识的理解和其中最基本的方法。谈到贝叶斯统计方法的应用除了简单的估计、推断外，应该还有贝叶斯决策问题，即把损失函数加入贝叶斯推断中形成的。根据决策者的分析和偏好可以用不同形式的损失函数。在贝叶斯决策论中，将损失函数视为贝叶斯统计中的第四种信息。在老师课上也主要提到了MINMAX方法和可容许性两种方法，这里就不简单重复了。

(1),01,a0,b0