【译】小样本的统计分析问题

1. 【译】小样本的统计分析问题

有人认为，对于小样本，你就无法使用统计的。但，这是一个误解，一个 常见的误解 。
  
  
 对于小样本，我们也有适当的统计方法。
  
 一个研究者的“小样本”，在另一个研究者看来则可能意味着“大样本”。本文中，小样本主要是指样本量在5-30个用户（可用性研究中常见的样本量，进一步阅读:http://www.measuringusability.com/blog/actual-users.php）。
  
 值得注意的是，用户研究并不是出现小样本的唯一领域。其他具有较高操作成本的研究也会出现这个现象，比如fMRis和动物实验等。
  
 尽管我们有相应的方式来处理小样本研究数据，但我们应该清晰地知道小样本的局限性：你很难看到很大的差异，很明显的效果。 这就像使用双筒望远镜进行天文观测一样：使用双筒望远镜，你可能无法看到行星、恒星、月亮和偶尔出现的彗星。但这并不以为着你就不能进行天文观测了。事实上，伽利略就是使用望远镜（  与今天相当的双筒望远镜相当  ）发现了木星的卫星。 
  
 统计也是一样。仅仅因为你的样本不够大，并不能判断你能不能使用统计。再次强调， 小样本的关键限制是，你难以发现设计或措施的效果是否有差异。 
  
 幸运的是，在用户体验研究中，我们往往关心的是不同用户可能发现的不同问题：比如：导航的结构变化，搜索结果页面的改进等等。
  
 下面是我们在小样本用户研究中的常见统计分析方法。
  
  比较compare 
  
   
  
 如果您需要对比两个独立组别的完成率、完成时间，问卷评分等。有两种大样本或者小样的方法可以采用。具体适用与哪种方法，取决于数据的特征：连续的还是离散的。
  
   
  
  比较均值： 如果你的数据是连续的（不是二进制），比如任务完成时间、问卷评分等，你可以采用独立样本t检验。实践证明，它对于小样本也是适用的。
  
  二分变量比较： 如果你的数据是二进制的（成功/失败，是/否），你可以采用N-1的卡方检验。当期望数目小于1时，使用Fisher精确检验往往有更好的表现。
  
 置信区间Confidence Intervals  
  
   
  
 当你想从样本数据来推测整个用户群，你会想到生成一个置信区间（译者注：关于置信区间，可参阅： http://baike.baidu.com/view/409226.htm ）。
  
 尽管小样本的置信区会相当宽（通常为20-30个百分点），但是建立这样的区间总是有益的。例如：你想知道，用户在安装打印机前是否会去阅读“Read this first”文档。而测试中，8名用户中有6名用户没有去阅读。这时候我们可以推知：至少40%的用户很可能会这么做——这是一个相当大的比例。
  
 置信区间的计算方法有三种，这取决于你数据是否是二进制、时间或者连续的。
  
   
  
  基于平均值的置信区间Confidence interval around a mean :如果你的数据是连续的（非二进制），如评定量表、以美元计算的订单金额，页面访问数等。那么，置信区间的计算可以基于t分布进行计算（当然，这需要考虑到样本量）。
  
  基于任务时间的置信区间Confidence interval around task-time :任务时间的理论最小值为0秒（不多见），一些用户的任务时间可能是其他用户的10-20倍。对于这种不对称性，我们需要进行数据转换（ log-transformed ），然后基于转换后的数据进行计算。待报告时再转换回来。
  
  基于二进制的置信区间  Confidence interval around a binary measure :二进制的数据比如完成率或yes/no。这类置信区间的计算，可以采用校正后沃尔德检验法（ Adjusted Wald interval ）计算（这种方法对于所有样本规模均适用）。
  
 点估计（均值）Point Estimates (The Best Averages ) 
  
 任何研究报告中，何为"最好"的平均时间或平均完成率的估计，应当取决于研究的目标。
  
  请记住：即使是“最好”的均值估计，也依然不代表实际的平均值。 所以对于未知总体均值的估计而言，置信区间是更好的展示方法。
  
 在可用性研究中，小样本的均值计算，比较适宜的有两个：任务时间和完成率。不同样本规模中更常见的则是量表评分（SUS评分等）。
  
  完成率： 小样本的完成率，通常可能只有几个数值（译者注：可用性测试中，这一数字可能为5）。例如：有五个用户进行任务操作，其任务完成率只可能是：0％，20％，40％，60％，80％和100％几个数字中的某一个（100%也并不罕见）。基于小样本得出一个完美的成功率，可能并不恰当——因为它可能并不能揭示真实情况（测试结果优于真实情况）。
  
 我们（指作者）对自己的小样本可用性测试数据，利用拉普拉斯估计（theLaPlace estimator）和简单比例（一般称为，最大似然估计，the Maximum Likelihood Estimator）进行了均值估计（参见：http://www.upassoc.org/upa_publications/jus/2006_may/lewis_small_sample_estimates.pdf ）。
  
  评定量表的均值问题： 量表是一个有趣的度量类型，它们大多是有限的区间（如：1-5,1-10等）除非你是 Spinal Tap （译者注：因翻译期间，该链接视频未能打开。故未译成中文）。我们发现，在小型或大型的样本中，均值最好是在中位数上（参阅：http://drjim.0catch.com/1993_MultipointScales_MeanAndMedianDifferencesAndObservedSignificanceLevels.pdf）。当然，我们有许多方式来报道评定量表的分数，比如 top-two boxes （直观理解，可参照NPS的计算规则）。
  
 具体如何报告取决于你的灵敏度需要和组织要求。
  
   
  
  任务时间均值 ：一个较长的任务时间可能让算术平均值产生扭曲，这时候中位数则是用来描述平均水平的更恰当的指标。样本数在25以上的，中位数对均值具有良好的代表性（进一步阅读：http://www.measuringusability.com/average-times.php）。
  
 不幸的是，中位数往往不够准确，在样本数小于25的情况下，比平均值更加不准确。这时候，几何平均值往往具有更好的衡量意义（译者注：几何平均值受极端值的影响更小）。
  
 【工具箱】
  
 小样本计算器：http://www.measuringusability.com/wald.htm
  
 任务时间置信区间计算： http://www.measuringusability.com/time_intervals.php 
  
 二分变量差异检验： http://www.measuringusability.com/ab-calc.php 
  
 top-two boxes：https://www.measuringusability.com/blog/top-box.php
  
 几何平均数计算器： http://www.ab126.com/goju/1710.html 
  
 数字帝国-统计计算器： http://zh.numberempire.com/statisticscalculator.php 
  
 ——————————————————————————————
    
 【译后记】译罢此文，深深感触：对于结果直接提供算术平均数就是耍流氓！而多数报告也确实只提供了算术平均数一种。 本文对于更严谨科学地分析和解读研究发现，具有重要的启发意义。
  
 因时间和精力限制，译文难免存在谬误，欢迎批评指正。

2. 样本与数据分析初步 请你用发现的结论来解决以下的问题

1. X+3; Y
2. X-3; Y
3. 3X; 9Y
4. 2X-3; 4Y

3. 怎么评估样本量?求统计学高手指导！

实验法一般都用小样本，即n小于30.
如果非要用公式算，可以用下面的公式：
n= (双边检验的Z值的平方*某变量的方差) / (允许的变量抽样误差的平方)  
其中，某变量可以根据研究的问题或需要自行选取，要求数值已知。
 
例如：用抽样调查了解学生平均每周上网时间，置信度为0.9，误差要求在1小时以内，求所需样本规模。（已知标准差为5.） 。
根据上述公式计算得到n=68

4. 12、统计：样本和总体

 总体是指全部，而样本是在总体中随机抽出一部分数据。
   μ=Σxn除以N
   x上面一横 = Σxn除以n
    μ  micro-中文读谬，表示总体平均数    x上面一横（x拨）   表示样本平均数    Σ   sigma中文读克西，表示求所有元素之和    N   计算总体平均数时表示总体个数    n   计算样本平均数时表示样本个数；    x后面下标i   表示全部的数据。例如1用x1表示，2用x2表示等等，所以xi表示这个数据全部。用xi就是表示全部数据，比如Σxi就是求表示用x1.x2.x3...xn（如果是总体平均数则是大写N）的所有数据的和。