1、大 时 代中的 统计 学浅 谈-科研的挑战和机遇1房祥忠2013年 08月 10日小 时代 小时代 , 郭敬明 的系列小说2? 时代 大时代还是小时代?在我们每个人的心里 角度不同,感受不同,所谓 大 时代,就是快速变革的时代 经常和数据打交道, 我们的统计学者更加敏感 更加能够感受到这种大时代的冲击3大 时代 数据爆炸的 数据大时代 ; 快速变革的中国和世界的 社会大时代 ; 中国经济统计和数理统计融合成的统计大时代; 从这三个方面的大时代谈起,谈谈在这激动人心的大时代中统计学家面临的机遇和挑战。41. 数据大时代 大数据,大数据时代,已经是我们非常熟悉的词了 因为科学技术,特别是电子技术的
2、发展,数据的获取和存储变得更加容易,产生了所谓大数据。5大 数据 举例 互联网上每个用户每时每刻的阅读访问行为记录。 电子商务网站中每个客户的购买时间,购买的商品记录。 交通一卡通用户每天的乘坐公共交通工具的种类,时间和地点记录。6大数据举例 即时聊天工具(微信, QQ等)用户的联系人,通信时间和方式记录 新一代测序技术产生 eQTL数据等 这些数据在过去时代不可能产生,或者不可能被记录,但这在现在的时代中却都可以实现。 通话记录7大 数据 定义 大数据通常用来形容大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱 大数据分析常和 云计算 联系到一起,因为实时的大型数据集分析向数十、数百或甚至数千的电脑分配工作。8大数据定义 大数据分析相比于传统的数据,具有数据量大、查询分析复杂等特点 即使是算一遍相关系数都很困难。 大数据除了数据量大之外,所要解决的问题也非常不一样。 传统的统计往往要计算样本的均值和方差等统计量。9大数据下问题研究 如果大数据记录的是客户的购买和访问行为 现在要解决的问题可能是发现不同的客户群 (社区) 以及建立客户群网络; 区别不同客户群的共性和个性;发现商品的风格; 商品和客户的联系等等;10