统计思维-程序员数学之概率统计

经验之谈无法提供有说服力的证据和可靠的结论:

为了解决经验之谈的种种不足,运用下面的统计学手段:

横断面研究(cross-sectional study):研究的是在同一时间内的样本数据 纵贯研究(longitudinal study):在一段时间内反复观察圈定的样本 被调查者(respondent),一组被调查者被称为队列(cohort)

连续模型也是一种数据压缩。如果模型能很好地拟合数据集合,那么少量参数就可以描述大量数据。

频率论在哲学上是没有错误的,但是它却限制了概率的使用范围,只限于随机的物理系统(例如原子衰变)或因无法预测而被视做随机的系统(例如意外死亡)。任何涉及人为因素的情况都不使用。还有一种观点是贝叶斯认识论(bayesianism),这种观点将概率定义为时间发生的可信度。根据这个定义,概率几乎能用于所有情况。贝叶斯概率的一个问题是它会受个体认知的影响。 统计学家在各种体育运用中测试了这些假设,但所有的结果都是一致的:不存在诸如连胜,连败这一类的东西。假设每次比赛都是独立事件,看到多次连胜或者连败的情况也很正常。这并不能说明这次获胜和下次获胜之间有什么联系。另一个类似现象是聚类错觉(clustering illusion),指看上去好像有某种特点的聚类实际上是随机的。

计算模型的确定系数(Coefficient of Determination)也就是常说的R2,来评价模型的预测能力。 R2 = 1 - Var(e) / Var(y). 其中Var(e)是y_true和y_pred的MSE,Var(y)是y_true_avg和y_pred的MSE.

统计显著检验:

整个思路可以这么理解:为了说明某个统计效应是显著的,先假设这个效应不存在。然后在这个假设下计算出,出现该效应的概率p值,如果这个p值很小的话,那么就认为具有统计显著性。

comments powered by Disqus