1、基于大数据平台的数据挖掘的研究与应用曹水根1 大数据平台生态系统2 应用与研究3 软件著作权目录大数据是什么？大数据（ big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。1)Volume(大体量 )：即可从数百 TB到数十数百 PB、甚至 EB的规模。2)Variety(多样性 )：即大数据包括各种格式和形态的数据。3)Velocity(时效性 )：即很多大数据需要在一定的时间限度下得到及时处理。4)Veracity(准确性 )：即处理的结果要保证一定的准确性
2、。5)Value(大价值 )：即大数据包含很多深度的价值，大数据分析挖掘和利用将带来巨大的商业价值。数据挖掘（英语： Data mining），又译为资料探勘、数据采矿。它是数据库知识发现（英语： Knowledge-Discovery in Databases，简称： KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘是什么？大数据生态系统1、数据采集层2、数据存储层3、数据计算分析层4、数据可视化层hdfsHadoop分布式文件系统 (HDFS)被设计成适合运行在通用硬件 (commodity hardware)上的分布式文件系统。HDFS有着高
3、容错性（ fault-tolerant）的特点，并且设计用来部署在低廉的（ low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（ large data set）的应用程序。hdfs总体结构图mapreduceMapReduce是一种编程模型，用于大规模数据集（大于 1TB）的并行运算。概念“Map（映射） “和 “Reduce（归约） “，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定
4、一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的 Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。hivehive是 Hadoop上用于大数据中数据仓库的工具，它能把具有结构化的的数据形式文件投影到数据库的表格中，在其中提供结构化查询语言的数据查询， sql语句编译解释是运行在 Hadoop上 MapReduce的任务。Hive的优势在于较低的学习成本，我们只需要编写基本的类 SQL语句就能很快的完成具有规模较大数据模块的 MapReduce数据的查询、检索、统计任务，不需要另外的开发专门用于 MapReduce的应用，非常适用于统计分析数据
5、仓库。优化研究与应用! 赛题背景：阿里巴巴旗下电商拥有海量的买家和卖家交易场景下的数据。利用数据挖掘技术，我们能对未来的商品需求量进行准确地预测，从而帮助商家自动化很多供应链过程中的决策。这些以大数据驱动的供应链能够帮助商家大幅降低运营成本，提升用户的体验，对整个电商行业的效率提升起到重要作用。! 赛题介绍：本赛题以历史一年海量买家和卖家的数据为依据，要求参赛者预测某商品在未来二周全国和区域性需求量。选手们需要用数据挖掘技术和方法精准刻画商品需求的变动规律，对未来的全国和区域性需求量进行预测，同时考虑到未来的不确定性对物流成本的影响，做到全局的最优化。更精确的需求预测，能够大大地优化运营成本，降低收货时效，提升整个社会的供应链物流效率。解决方案 -比赛任务! 评测成本：在本赛题中，参赛者需要提供对于每个商品在未来两周的全国最优目标库存和分仓区域最优目标库存的预测。我们会提供每一个商品的补少成本 (A)和补多成本 (B)，然后根据用户预测的目标库存值跟实际的需求的差异来计算总的成本。参赛者的目标是让总的成本最低。全国范围内的成本计算如下：分仓区域内的成本计算如下：总的衡量指标：
