1、大数据与人工智能 - 解惑,主 题,人工智能的历史1956年达特茅斯会议召开,人工智能正式提上议程智能时代什么时候来临?当机器拥有语音识别、图像识别、自然语音理解等这些人最本质的智慧能力的时候,那么大数据人工智能时代已经来临。,人工智能历史及发展,人工智能应用1-围棋,人工智能应用2-聊天机器人,人工智能应用3-图片识别,little girl is eating piece of cake.,人工智能应用4-人脸识别,人工智能应用5-图片文字提取,人工智能应用6-自动驾驶汽车,Machine Learning(ML) is a scientific discipline that deals
2、 with the construction and study of algorithms that can learn from data.机器学习是一门从数据中研究算法的科学学科。机器学习直白来讲,是根据已有的数据,进行算法选择,并基于算法和数据构建模型,最终对未来进行预测,机器学习定义,1:传统模型算法2:深度学习算法,机器学习算法,1:决策树算法 2:K-近邻算法3:支持向量机(SVN)4:关联分析(Apriori)5:隐马尔科夫模型(HMM)6:AdaBoost算法7:朴素贝叶斯算法 .,传统算法,深度神经网络(DNN)(Deep Neural Network)应用场景:搜索排序、
3、推荐排序,深度学习,卷积神经网络(CNN)(Convolutional Neural Network)应用场景:图像识别、视频分析,深度学习,循环神经网络(RNN)(Recurrent Neural Network)应用场景:语音识别、自然语言处理,深度学习,投资策略1:选择项目2:选择时间3:风险控制4:买入项目5:卖出项目,智能P2P投资系统,预测流程,新闻及政策预测投资走向,数据收集,数据处理,文本向量化,信息抽取,中文分词,特殊过滤,情感分析,中文分词,分词操作,词向量表示1:One-Hot稀疏编码橙子 1 0 0 0 0 菠萝 0 1 0 0 0 2:Embedding稠密编码橙子
4、0.3 0.2,向量表示,词编码训练(Word2Vec)1:基于上下文预测词2:基于词预测上下文可通过以下实现1:python Gensim 工具包2:world2Vec google开源,向量标记训练,投入模型进行训练例如:卷积神经网络 CNN基本原理:二维图像-分解方格-卷积变换-池化-取出最大值输出(最终得出图像的类别),模型训练,图像与单词连接思路:一维单词-二维矩阵以单词向量作为输入项目收益的波动作为输出,模型训练,一:数据来源 1:网络爬虫 2:开源工具 3:大数据平台二:预测步骤 1 : 数据清洗 例如通过jieba分词系统 分词、过滤等操作 2:通过 python中的 numpy、pandas、Matplotlib完成数据预处理及特征提取操作 3:通过tensorflow、tflearn深度学习工具包进行深度学习建模。,开发流程总结,对比:,智能与非智能比较,人工智能应用开发流程,数据收集,数据清洗,特征工程,数据建模,如果你是下面的行业1:司机2:医生3:记者4:翻译5:会计6:律师 你应该怎么办?,面对人工智能,Q&A,