|
大数据来源、体量、类型、速度和量化的方式所带来的变化，给统计思维也带来新的挑战。 从传统数据分析到大数据分析，统计思维需要发生三方面的改变。①认识数据思维的变化。需要将数据对象从结构型数据扩展到一切数据，重新思考数据的定义和分类方法，并以此为基础发展和创新统计分析方法。②收集数据。需要对数据进行分类、筛选，有针对性地删除垃圾数据、不重要或次重要的数据。此外，大数据库还需要将不同的信息分散在不同的硬盘或计算机上，促使识别、整理、提炼、汲取、分配和存储元数据，便于后期实现数据的选取、调用、更新和匹配，成为重要的统计思考问题。③分析数据思维的变化。数据分析思维需要在统计分析过程、统计模型选择、实证分析思路、推断分析逻辑等方面发生变化，同时统计分析评价的标准也要有所调整。 关于大数据统计模型和方法的选取，应避免越复杂越好的认识。①一个正确的统计模型应当在形式上是简单的。②一个正确的统计模型开始时可能不如一个精雕细琢过的错误模型更准准确，但是，如果认定大方向是对的，就应坚持下去。③大量准确的数据对研发统计模型很重要。④正确的统计模型也可能受噪声干扰，指标选取也许不够准确，但不应该用一种凑合的修正方法加以弥补，而要找到噪声的根源。 |
|
|
