1、Copyright 2014 TalkingData Ltd., All Rights ReservedCopyright 2014 TalkingData Ltd., All Rights ReservedTalkingData基于 Spark的数据挖掘工作 张 夏天 腾 云天下科技有限公司 张夏天 _机器学习Copyright 2014 TalkingData Ltd., All Rights ReservedCopyright 2014 TalkingData Ltd., All Rights Reserved内容 TalkingData简介 我们的数据挖掘工作 应用广告优化 随机决策
2、树算法及其 Spark实现Copyright 2014 TalkingData Ltd., All Rights ReservedCopyright 2014 TalkingData Ltd., All Rights ReservedTalking Data简介TalkingData移动大数据生态圈行业透视DMP数据管理平台数据交易与交换数据监测与预警基础数据服务数据能力开放企业服务Copyright 2014 TalkingData Ltd., All Rights ReservedCopyright 2014 TalkingData Ltd., All Rights Reserved内容
3、TalkingData简介 我们的数据挖掘工作 应用广告优化 随机决策 树算法及其 Spark实现Copyright 2014 TalkingData Ltd., All Rights ReservedCopyright 2014 TalkingData Ltd., All Rights Reserved数据挖掘在 TalkingData的应用移动应用推荐 广告优化用户画像 游戏数据挖掘外包咨询通用推荐同步推机锋开放:移动应用通用服务接口CTR: 提升 20%-50%转化率 : 提升 50%-100%转化成本 : 降低 50%人口属性移动应用兴趣标签行业兴趣标签位置信息付费预测流失预测Copy
4、right 2014 TalkingData Ltd., All Rights ReservedCopyright 2014 TalkingData Ltd., All Rights Reserved为什么选择 Spark硬件资源有限人力资源有限任务繁重Copyright 2014 TalkingData Ltd., All Rights ReservedCopyright 2014 TalkingData Ltd., All Rights Reserved为什么没有广泛使用 MLLib内存资源有限,很多情况下无法把数据放入内存处理,因此迭代算法效率还是很低迭代依然是阿格硫斯之蹱我们只能尽可能
5、使用需要迭代次数少,甚至不迭代的算法和算法实现RDT One Iteration LR SimHashCopyright 2014 TalkingData Ltd., All Rights ReservedCopyright 2014 TalkingData Ltd., All Rights Reserved内容 TalkingData简介 我们的数据挖掘工作 应用广告优化 随机决策 树算法及其 Spark实现Copyright 2014 TalkingData Ltd., All Rights ReservedCopyright 2014 TalkingData Ltd., All Rights Reserved应用广告优化针对某一应用,筛选推广目标人群Copyright 2014 TalkingData Ltd., All Rights ReservedCopyright 2014 TalkingData Ltd., All Rights Reserved如何做广告优化分类问题预测每个设备对目标应用的感兴趣程度算法随机决策树一次迭代 LR