大数据时代，统计学被更多的人知道

　　为什么统计学现在这么火 ?

　　为什么直到现在，统计学才在各个领域得到重视呢?

　　通过数据之间的关联性、利用因果关系进行推论的现代统计学的基本思考方法，早在20世纪初期就已经确立，主要的统计分析方法则在20世纪60年代全部出现。如今，距离被称为现代统计学之父的罗纳德·艾尔默·费希尔去世已经过了半个世纪。如果统计学真的如前文所说具有如此强大的力量，那为什么在之前的社会中没有被大规模应用呢?实际上这个问题并不在于统计学本身，而是在于能够活用统计学的外部环境发生了变化。

　　为了使大家能够更好地理解这一变化，让我对第二节中提到过的将弗明汉居民全部卷入其中的大规模流行病学研究作进一步的详细介绍。

　　这项流行病学研究一般被称为弗明汉研究，是在第二次世界大战结束之后不久的1948年，为了查明当时持续增加的心脏病患者的病因而成立的调查。科霍的研究证明了包括霍乱细菌在内的各种细菌是造成传染病的原因，由此产生了利用疫苗和抗生素来进行治疗的方法。但是，在因为细菌感染而死亡的人数减少之后，与细菌没有关系的病症，比如心脏病和癌症以及脑中风等疾病却成了以美国为首的发达国家中死亡率最高的疾病，这也成为当时医学界的一大难题。

　　在这样的背景下，以施行新政而闻名的富兰克林·罗斯福总统对此非常重视(顺便说一句，罗斯福总统本人也是死于心脏病)，并且由此展开了可以称为人类史上第一次的大规模流行病学研究项目。不管是心脏病还是霍乱，只要是不明原因的病症，要想查明其发病原因，只有进行慎重且大规模的数据采集，并且对采集的数据进行仔细分析。除此之外别无他法。

　　弗明汉当时有大约2.8万名居民，其中29~69岁的居民中有5 127人响应了研究小组的号召参加了这项研究，占这部分人数的2/3。因为当时对心脏病的成因几乎没有任何线索，所以除了性别、年龄等基本信息之外，还记录了每个人的过往病史与生活习惯、血压、心电图、血液成分、社会经济学指标等各种各样的项目。当时采集的血液，随着后来检查方法的不断进步又追加了很多检查项目，因此一直冷冻保存至今。

　　弗明汉研究一直到今天仍在继续，每当有其他研究出现新进展的时候都会对其进行追加的项目调查，如今参加最初研究的那些人的后代还参加了对遗传因子的调查研究。

　　弗明汉研究针对5 000余名对象定期进行检查与询问，调查频率是每两年1次。

　　如此大规模而且彻底的调查研究，为什么不每年进行呢?实际上当时的研究者也非常渴望能够做到1年1次。但是，由于当时的技术能力所限，每两年进行一次就已经是调查频率的极限了。

　　至于限制调查频率的原因，则是数据输入、管理以及采集所花费的时间和精力。

　　弗明汉研究小组在最初进行数据采集时所使用的设备，据说只有一台大型穿孔卡片机。

　　说起穿孔卡片，可能很多人连实物都没有见过吧。简单来说就是在一个厚纸片上利用物理手段打孔，根据打孔的位置记录数据。

　　首先，人工记录5 000人的生活习惯和血液检查的结果，再将数值转换为穿孔卡片进行保存，检查是否有错误，然后对各个调查项目的平均值和比例进行综合统计。进行这样的工作，每两年一次的频率已经是极限了。

　　至于弗明汉研究的目标“找到心脏病的成因”，需要对各个变量和多样的调查项目之间的关联性进行分析，这就需要用到逻辑回归的分析方法(实际上，逻辑回归分析本身就是因弗明汉研究而诞生的方法)。但是，对5 000名研究对象的数据进行分析，就相当于使用5 000个质数的矢量，进行包括对数变换在内的非常繁杂的矩阵计算，只有这样才能够得出最终答案。

　　一直到20世纪60年代国际商业机器公司(IBM)发明了大型通用计算机，并且将其应用到研究中之后，弗明汉研究才能够对10年间的调查数据进行分析。

　　无聊的“纸和笔的统计学”已经过时了

　　另外，以前的统计学教育只能依靠黑板和粉笔，或者纸和笔，主要以理解算式，对几十个数据进行手工计算和分析为主。但是，现在的统计分析只需要写一个简单的程序，或者使用现成的统计分析工具，对大规模的数据进行实际分析也成为可能。

　　虽然我们现在主要使用的统计学思考方法和分析方法，早在几十年前就已经基本完成，但是像现在这样让每个人都能够随时随地地简单使用，还是在20世纪末计算机技术发生革命性进步之后，才得以实现的。

　　以前的纸和笔的统计学与现代的计算机统计学之间存在着巨大的差距，现代的统计学家必须在精通数理知识的同时，还掌握计算机技术的应用。

　　如果本书的读者朋友们在大学时代对统计学课程留下了一种无聊的印象，那么可能是因为只接受过“纸和笔的统计学”教育，所以对于一直在时代最前沿给出最佳解答的计算机统计学的力量没有切身感受，这也是情有可原的。

　　“大数据”时代浓浓的统计学气息

　　统计学在近几年的变化，可以说受计算机的影响最为强烈。

　　计算机使商业模式发生了翻天覆地的变化。商品的采购、库存、销售等记录基本上全都已经数据化，成本和销量的把控与用纸笔进行管理的时代相比也变得更加简单。顾客资料与消费记录、工作人员的工作时间与评定、健康状态、支付的报酬与成本核算等信息，都可以存储在公司内部系统和Excel电子表格中。为了生产而进行的机械操作、到自己公司网站的链接，基本上所有的登录情况都会被记录下来，必要时可以综合统计作为经营的参考。就算说那些大型公司几乎所有的业务流程已经全部实现电子化，也不为过。