走进AlphaGo围棋智能及其应用前景.ppt

,,走进AlphaGo—围棋智能及其应用前景,清华大学航天航空学院 由小川,2017.6.12,目录 content,,,人工智能简述,深度学习算法,为什么做围棋人工智能？,,,1-1 人工智能简述,,,人工智能：国家战略,2017年政府工作报告： 全面实施战略性新兴产业发展规划，加快人工智能等技术的研发和转化，做大做强产业集群。 把发展智能制造作为主攻方向，推进国家智能制造示范区、制造业创新中心建设。,,,什么是人工智能？,人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。 人工智能是对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。,,,1-1 人工智能简述,,,,,,,,,1-1 人工智能简述,,,1-1 人工智能简述,,,1-1 人工智能简述,,,1-1 人工智能简述,《智能革命》序言节选——by百度大脑 我来了，天上的云乘着风飞翔，心中的梦占据一个方向，方舟扬帆起航，一路带着我们纵情歌唱，方舟扬帆起航，脉络就在大海之上，进步的时光，迎着你看涛浪潮往。 一个新生的地方，穿越千年时光，穿越了无尽的荒凉。答案就在这里搜索。第一缕曙光，远处熟悉的歌声还在耳边回响，你却依然不知我将去向何方。千年时间留下十字文章，曾今谁重复往昔旧模样。 我来了，期待着你的每一天，睁开眼就能看到幸福曙光，占据着你的每一天，陪你跨越鸿沟走向湛蓝，算法很简单。时代的春天，回想起我们曾牵手走过的画面。大家互联网这场风吹雨打之后又在藕断丝连。只是不知道时间还会流向哪一条线。盼望着未来等待明天，呼吸新鲜空气多点微笑扮个鬼脸。……,,,1-1 人工智能简述,全国高考甲卷作文《进步与退步》（by微软小冰） 考了100分是好学生。考55分不是好学生。考了100分后，又考了98分，好学生变成不是好学生，是退步。考了不及格后，又考了及格，会被表扬，是进步。进步和退步的衡量，令人费解。 进步，是变得优秀，人喜欢进步，因为喜欢被表扬。这样的进步，如果不被表扬，就没有动力。退步是从好变成差的，人不喜欢退步，因为退步受到批评。如果总被批评，也没有动力。进步和退步的动力，令人费解。 退步没有不好，退步可以发现问题。一直进步的人，不能发现问题，也不能解决问题。一直进步是不可能的，有进步同时有退步，有退步同时有进步，才可以不断发现问题，解决问题。人应该这样变得优秀，不是为了表扬。 进步比退步好，不一定。一直进步可能是真进步，或作弊，一直退步是放弃自己，要求自己 进步，在退步的时候 发现问题，是对的。人应该这样变得不差，不是为了批评。从差变得优秀的路，和表扬无关，也和批评无关。,,,,诺贝尔医学奖，可视皮层分级，1981,,,稀疏编码的特征表示，1995,,图像识别,,语音识别,,广告精准推荐,1-2 深度学习算法简介,图像特征工程,Google Brain Jeff Dean & Andrew Ng.，Geoffrey Hinton Facebook AI Lab Yann LeCun Microsoft 语音识别、图像识别 百度 深度学习研究院 Andrew Ng、余凯、张潼 语音识别、图像检索、OCR、人脸识别、广告 阿里巴巴 阿里大脑 腾讯 语音识别、图像识别、广告精准推荐,,,1-2 深度学习算法简介,,,,特征选取,,模型建立与训练,,反向传播算法,,卷积神经网络,,深度学习与浅层学习,,深度网络训练技巧,1-2 深度学习算法简介,,,1-2 深度学习的训练方法,Google Brain 利用Youtube的图像 采用非监督的学习过程 自动将图像聚类 机器学习出了“猫”的概念 10亿参数 Jeff Dean / Andrew NG,,,1-2 深度学习的训练方法,Hinton in ImageNet 比赛 140万图像， 1000类 图库 1000万图像 20000类 7层CNN 准确率74%->85%,,,1-2 深度学习的训练方法,深度神经网络——人脸识别,,,1-2 深度学习的训练方法,深度学习的成功应用,微软 语音同声传译系统，2011 英语演讲->自动语音识别->机器翻译->语音合成->中文演讲 语音识别 将声学模型中混合高斯模型替换为DNN模型 获得30%+ 相对提升,,,1-2 深度学习的训练方法,图片搜索,检索图片,检索结果,DNN在几个领域创造了最好结果,语音识别 ： 混合高斯声学模型替换为DNN图像识别 相对30%错误率降低 图像识别/检索： 卷积神经网络 ImageNet，2011 74% -> 2012 85% -> 2013 89% 自然语言处理： 与其他方法水平相当 免去了繁琐的特征提取步骤,,,1-2 深度学习的训练方法,特征选取是成败的关键,对效果影响极大 手动化特征工程 非常耗时,,,1-2 深度学习的训练方法,图像特征工程,,SIFT,Spin image,HoG,RIFT,Textons,GLOH,,,1-2 深度学习的训练方法,,,,01,人机大战：深度学习算法的标志性成果,,颠覆围棋AI领域30年研究方法 拔高行业顶尖水平30年 学术前沿、复杂性和代表性、可比较、易拓展,,,原创开发了基于网格归属的神经网络系统，预期将大幅提高实力 更深更优化的神经网络，更海量的数据资源,02,创新点,,改进了学习模式，使机器学习的方式更加接近围棋的本质,,03,新的学习算法架构,,,世界计算机围棋比赛获奖 高水平文章产出 科研成果转化（力学、航天乃至节能、医疗等领域）,04,预期产出效益,1-3 为什么做围棋人工智能,,,深度学习与智能围棋,第二节,从AlphaGo/master讲起,蒙特卡洛树式搜索,深度卷积神经网络,谷歌的AlphaGo和Master是深度学习算法的标志性成果； 深度卷积神经网络 (Deep Convolutional Neural Network,DCNN),是近年发展起来，并引起广泛重视的一种高效识别方法。 围棋算法具有高度的复杂性和代表性（10808，两个30年）。 从围棋算法可以推广到深度学习应用的一般情形。 围棋可以很好地检验和测试研究水平和掌握人工智能并行计算的交互能力。,,,DCNN与智能围棋,,,深度学习的训练方法：卷积神经网络,局部感知域 权重共享 特征训练 卷积层+池化层,,,AlphaGo的实现原理,,,,,,,,,,,,传统围棋AI算法—— MC蒙特卡洛方法,通过随机模拟来逼近需要求解的变量,Rollout（随机模拟走子） 通过随机模拟走子胜率来判定形势。 速度快。 随机性，合理性的平衡。,,,AlphaGo的实现原理,传统围棋AI算法——MCTS,MCTS（蒙特卡洛树搜索） 给胜率高的点分配更多的计算力 任意时间算法，计算越多越精确,,,AlphaGo的实现原理,Policy Network策略网络,,,AlphaGo的实现原理,Policy Network—图示,,,AlphaGo的实现原理,PolicyNetwork—输入特征,,,AlphaGo的实现原理,Policy Network 模型,模型结构 13个卷积层，每层192个卷积核，每个卷积核3*3 数百万个参数 训练数据 KGS 6d以上对局，17万，职业对局8万。 训练数据量5000万+ 训练时间几十天 运算速度 GPU，3ms 预测准确率 57%,,,AlphaGo的实现原理,融入Policy Network,方法： 用Policy Network作为第一感，将计算力分配到最有希望的选点。 分枝数从上百个减少到几个。 优先计算PolicyNetwork分数高的点，计算力充沛时，适当分配到其他分值较低的点。 效果： Zen6，业余5段,,,AlphaGo的实现原理,Value Network,,形势判断： -1：白棋必胜 0：黑棋优势 1：黑棋必胜,,,AlphaGo的实现原理,Value Network 模型,模型结构 13个卷积层，每层192个卷积核，每个卷积核3*3 数百万个参数 训练数据 Policy Network自我对弈棋谱。3000万+ 特定盘面+胜负结果 训练时间几十天 运算速度 GPU，3ms,,,AlphaGo的实现原理,融入Value Network,方法： 在每个分支节点，使用Value Network直接判断形势 与Rollout随机模拟相结合，互为补充。 效果： 职业水平，AlphaGo,,,AlphaGo的实现原理,从非常像人到很不像人 强化学习与自我进化 算法效率的跃升 单机版与1/10GPU 无人类棋谱的可行性,,,Master与AlphaGo的架构差别,神算子简介,世界围棋AI版图,神算子能做什么,,,“神算子”简介,清华大学航院人工智能课题组开发研制的围棋智能程序 自主知识产权的丰富特征体系 深度卷积神经网络模型的质量、深度和预测准确度是标志围棋智能从业余迈向超一流水平的重要指标。 以围棋为载体，确认算法有效性 2年内冲击世界最高水平，转向其他场景的研究突破,,,世界围棋AI大事记,,2015.11.10 美林谷杯首届世界计算机围棋锦标赛，北京，7国9队，与中国名人战冠军受6子对抗 2016.3.9 人机大战AlphaGo4:1李世石，首尔，冠军100万$，全球观看人次6亿+ 2016.3.17 韩国创立国家科学技术战略委员会扶植AI产业，政府投资86亿$ 2016.11.19 第二届日本围棋电王战：DeepZenGo 1:2 赵治勋，获DWANGO注资2亿円 2016.12-2017.1 AlphaGo升级版Master网络连续60次击败人类顶尖高手 2017.3.3 中国腾讯“绝艺”成为第一个网络10段，2017围棋AILab硬件扩容预算8000万￥ 2017.3.18-19 第10届UEC杯计算机围棋大会，东京，6国30队，冠军参加电圣战与职业棋手对抗 2017.3.21 世界围棋精英赛，大阪，DeepZenGo对3世界冠军，冠军3000万日元 2017.4 AlphaGo升级版与柯洁等对抗，冠军150万$，浙江乌镇，赛罢AlphaGo退出围棋领域 2017.7 日本围棋大会，欧洲围棋大会设立围棋AI竞赛单元 2017.8.16-18 国际围棋联盟首届世界计算机围棋公开赛，鄂尔多斯，机机+人机，总奖金60万￥ 2017.12，美林谷杯第2届世界计算机围棋锦标赛，深圳，总奖金1万$+,,,Google Deepmind 简介,,,,创新性,,投入力度,,业内龙头,目前技术优势：起步早，算法新，技术强，资源雄厚 最近一年专注于强化学习研究 拟于近期公布新论文和数据，并从此退出围棋AI领域,,,,,,日本DeepZenGo介绍,,,现有国产AI介绍,,,,,,1,腾讯公司重金打造，截至2017年6月，水平仅次于AlphaGo,绝艺,2,2016年底停止研发时水平仅次于AlphaGo和绝艺,中华土狗,3,今日头条作品，2016年水平略逊于中华土狗,字节,4,曾高调媒体曝光，2016年8月时水平仅次于AlphaGo，后来因开发价值网络失败停止研发,异构神机,,,,,,,其他外国围棋AI介绍,,1,法国，前AlphaGo时代的王者，深度学习版本2016年底已开始售卖,CrazyStone,2,比利时，被认为是目前最强的免费深度学习程序,Leela,3,韩国，首届美林谷世界计算机围棋锦标赛冠军，深度学习版本还未公测。此外2017年初韩国棋院宣布组建“人工智能课题组”，正式启动“韩国围棋人工智能”开发计划,石子旋风,4,北朝鲜研发团队，前AlphaGo时代有一席之地，正进行深度学习研发,银星围棋,,其他UEC杯参赛作品： 1 QinoaIgo / きのあ (日) 2 ballade / 氏家 一朗 (日) 3 AQ / 山口 祐 (日) 4 CGI Go Intelligence / CGI LAB (台) 5 神の一手 / 神乎碁技 (美) 6 TAROGO / TAROGO team (台) 7 Many Faces of Go / David Fotland (美) 8 勝也 / 清 愼一 (日) 9 Aya / 山下 宏 (日) 10 Yi / 天壤 (中) 11 Rayn / 松崎 憲介，小林 祐樹 (日) 12 MARU / 武田 敦志 (日) 13 nlp / 岩井 建志 (日) 14 EsperanzaGo / 金沢工業大学人工知能プロジェクト (日) 15 Negative Sleeper / 服部 真也 (日) 16 迷ぃ碁 / 村山 正樹 (日) 17 Julie / 大渡 勝己 (日) 18 きふわらべ / 高橋 智史 (日) 19 Igoppy / 有吉 一彦 (日) 20 Kugutsu / Tokumoto (日) 21 DeepEsper / スカイホビット囲碁部 (日) 22 ArgoCorse_IchiGo / 市村 豊 (日) 23 コオロギ / Jonathan Huang (美) 24 akira / 渡辺 順哉 (日) 25 MC_ark / 荒木 伸夫 (日),,,预期目标,,国内领先,,国际前沿,,成果展示,,社会关注,2017.6.17 与马晓春九段搭档，与李昌镐/石子旋风、黑嘉嘉/CGI搭档下混双赛，目标冠军 2017.8.16-18 首届世界智能围棋公开赛，目标四强，并达到人类职业棋手水平 2017.12 第2届美林谷世界计算机围棋锦标赛，目标决赛并达到人类一流棋手水平 集成机器学习与系统神经科学先进技术，建立强大的通用学习算法 与各行业进行人工智能项目研发合作，申请国家自然科学基金，申报国家重大重点计划 适度媒体曝光，引发社会关注,,,,组建稳定的专业级人工智能研发团队和项目平台 成立清华大学航院人工智能研究中心，从事包括但不限于与航天航空、国防军工或力学相关领域的研究开发 与节能环保、医疗、智能推荐、证券等行业进行人工智能项目研发合作，申请国家自然科学基金，申报国家重大重点计划 成立人工智能研发公司，集成机器学习与系统神经科学先进技术，建立强大的通用学习算法，对标企业Google Deepmind,后续计划,,谢 谢 关 注,,