如何评估统计显著性

部分 1设计实验

评估统计显著性的第一步是确定你想回答的问题，并提出你的假设。这个假设涉及到你的实验数据和人群中可能出现的差异。对于任何实验而言，必须既有零假设，又有备择假设。一般来说，你会比较两个组，看它们是否相同。

显著性水平也被称为α，它是你为了确定显著性而设置的阈值。如果你的p值小于等于设定的显著性水平，数据就被认为具有统计显著性。

一般来说，显著性水平α通常被设置成0.05，换而言之，在你的数据中偶尔观察到差异的概率仅为5%。
置信水平越高时，p值越小，结果也越显著。
如果你想让自己的数据具有较高的置信水平，可以把p值设到0.01以下。在制造业中，检查产品缺陷通常会用到较小的p值。因为每个零部件都必须达到很高的置信水平，使之能够按照预期发挥作用。
对于假设驱动型实验，0.05的显著性水平是可以接受的。

t检验的适用条件之一是你的数据呈正态分布。正态分布的数据会形成钟形曲线，大部分样本位于中间。t检验是一种数学检验，可以确定你的数据在曲线“尾部”是否落在正态分部以外，是在曲线以上还是以下。

检验功效指的是在特定的样本量下，观察到预期结果的概率。功效或β的常见阈值是80%。缺乏一些初步数据时，功效分析可能有点棘手，因为你需要一些关于每组之间平均值及其标准方差的信息。你可以使用网上的功效分析计算器，来确定自己数据的最佳样本量。

标准方差是衡量数据分布情况的指标。它向你提供了样本中各数据点的相似性信息，有助于确定数据是否显著。乍一看，你可能觉得公式有点复杂，但是以下步骤会引导你完成计算过程。其公式是s = √∑((xi – µ)2/(N – 1))。

要想计算标准方差，你必须先计算每组样本的平均值。平均值用希腊字母µ表示。它的计算方法很简单，只需将每个值相加，再除以样本总数即可。

计算的下一步涉及到公式的(xi – µ)部分。你需要用每个样本减去刚刚计算得出的平均值。在我们的例子中，你必须做五次减法。

这时，你需要计算刚刚得出的每个数字的平方。这一步还会处理掉所有负号。如果在此步骤之后或计算结束时有负号，说明你可能忘了算这一步。

公式除以N-1，是因为你没有计算所有人的成绩，要进行修正，你只是在所有学生中取了一个样本，来进行估算。

除以样本数减一后，取最终数字的平方根。这是计算标准方差的最后一步。有一些统计学应用程序可以在你输入原始数据后，帮你计算标准方差。

至此为止，例题只处理了一个样本组。如果想比较两个样本组，你显然需要两组的数据。计算第二组样本的标准方差，并使用该数值来计算2个实验组之间的差额。差额公式为sd = √((s1/N1) + (s2/N2))。

sd是两组之间的差额。
s1是第1组的标准方差，而N1是第1组的样本量。
s2是第2组的标准方差，而N2是第2组的样本量。
例如，假设第2组数据，即课前没有预习的学生的数据样本量是5，而标准方差是5.81。差额为：
- sd = √((s1)2/N1) + ((s2)2/N2))
- sd = √(((4.51)2/5) + ((5.81)2/5)) = √((20.34/5) + (33.76/5)) = √(4.07 + 6.75) = √10.82 = 3.29。

t分数可以将数据转化为能够与其他数据进行比较的形式。你可以使用t分数来做t检验，计算两组之间存在显著差异的可能性。t分数的公式是t = (µ1 – µ2)/sd。