1、CMYCMMYCYCMYK深入浅出深度学习：原理剖析与Python实践3fy.pdf 1 2017/5/2 14:51:43 内 容 简 介 本书介绍了深度学习相关的原理与应用，全书共分为三大部分，第一部分主要回顾了深度学习的发展历史，以及 Theano 的使用；第二部分详细讲解了与深度学习相关的基础知识，包括线性代数、概率论、概率图模型、机器学习和最优化算法；在第三部分中，针对若干核心的深度学习模型，如自编码器、受限玻尔兹曼机、递归神经网络和卷积神经网络等进行详细的原理分析与讲解，并针对不同的模型给出相应的具体应用。本书适合有一定高等数学、机器学习和 Python 编程基础的在校学生、高校研
2、究者或在企业中从事深度学习的工程师使用，书中对模型的原理与难点进行了深入分析，在每一章的最后都提供了详细的参考文献，读者可以对相关的细节进行更深入的研究。最后，理论与实践相结合，本书针对常用的模型分别给出了相应的应用，读者也可以在 Github 中下载和查看本书的代码（https:/ 深入浅出深度学习：原理剖析与 Python 实践/黄安埠著.北京：电子工业出版社，2017.6 ISBN 978-7-121-31270-0.深.黄.软件工具程序设计.TP311.561 中国版本图书馆 CIP 数据核字(2017)第 070055 号 责任编辑：徐津平 印 刷：装 订：出版发行：电子工业出版社
3、北京市海淀区万寿路 173 信箱 邮编 100036 开 本：7201000 1/16 印张：22.25 字数：401 千字 版 次：2017 年 6 月第 1 版 印 次：2017 年 6 月第 1 次印刷 印 次：3000 册 定价：79.00 元 凡所购买电子工业出版社图书有缺损问题，请向购买书店调换。若书店售缺，请与本社发行部联系，联系及邮购电话：（010）88254888，88258888。质量投诉请发邮件至 ，盗版侵权举报请发邮件至 。本书咨询联系方式：010-51260888-819，。推荐序 1 介绍深度学习的书籍不少，但是 深入浅出深度学习：原理剖析与Python实践与其他同
4、类书相比，视角明显不同。如果要给本书写个宣传语，或许可以是“深度学习工程师速成培训教材”。本书对读者的知识结构有两点要求：一是学过高等数学，二是熟悉 Python 编程。换而言之，各个专业的理工科学生，尤其是学过 Python 编程的，都是此书的目标读者。本书内容全面，但是取舍明确，有重点地深入，尤其对于技术的重点难点解释得很详细，深入浅出。本书最大的特色就在于内容取舍的尺度非常明确着重于原理的解释和动手实践的路径，但是并不拘泥于细枝末节。胸中有经纬，就不会迷失在细节的汪洋大海。本书刚好侧重于对经纬的梳理。此处的经纬，一类是数学基础知识，另一类是深度学习技术。与深度学习相关的数学知识包括线性代
5、数、概率统计等。因为概率图与深度学习结合较多，本书把“概率图”作为单独的一章重点讲述。深度学习技术包括机器学习的传统技术、用于训练神经网络的梯度下降等算法。本书重点讲述了神经网络的基本算法以及几种常用的深度网络架构。工程师，重在实践。工欲善其事必先利其器，实践深度学习，离不开深度学习工具。本书介绍了 Theano 工具集的基本用法。其实深度学习工具，一通百通，各种工具的区别，类似于北京口音与东北口音的区别。认真读完此书，读者应该拥有三项能力：一是读得懂深度学习的论文；二是读得深入浅出深度学习：原理剖析与 Python 实践 IV 懂深度学习的代码；三是能够自行开发简单的深度学习应用。总结一下，
6、在深度学习技术异常火爆，深度学习工程师奇缺的当下，如何快速培养深度学习方向的工程师，是一个迫切的问题。此书是难得的好教材。邓侃博士 邓侃，美国卡内基梅隆大学（CMU）计算机学院博士，专攻人工智能和数据挖掘。历任美国甲骨文（Oracle）主任系统架构师，美国泰为手机导航公司（Telenav）北京分公司总经理，百度网页搜索高级总监。2015 年至今创建北京大数医达科技有限公司，专注于研发医疗大数据和人工智能医生，出任 CTO。推荐序 2 V 推荐序 2 在过去的这十年，深度学习已经席卷了整个科技界和工业界，2016 年谷歌阿尔法狗打败围棋世界冠军李世石，更是使其成为备受瞩目的技术焦点。记得 201
7、0 年 7 月我参与了 Facebook 人脸识别（Face Detection）工作，那时候深度学习还没有普及，这个系统是当时世界上最大的实时人脸识别系统，每天都有几千万张脸被找出来。随着硬件的成熟和数据的指数级增加，深度学习在很多问题上成为人工智能最火和最有效的方法。这几年，我身边越来越多的计算机从业者，甚至在校大学生向我咨询，有效了解和学习这个当前人工智能最热门的领域的方法。没错，一方面深度学习很热门，人人都对此充满了好奇和向往，但是同时，它对于初学者往往挑战也不小，因为需要一定的数学基础，同时各种专业术语，如果不用深入浅出的方式讲，很容易让人产生畏难情绪。所以我推荐黄安埠的这本深入浅出
8、深度学习：原理剖析与 Python 实践给所有对深度学习有兴趣的朋友们，本书涵盖了深度学习的理论以及各种常见的深度学习模型，你们会在这本书中找到关于深度学习最实用的知识和信息。对于初学者来说，这是一本非常通俗易懂的入门教材。同时我也推荐该书给深度学习领域的开发者和数据科学家，因为作者也分享和总结了许多深度学习的最佳实践法，并辅以相当多的实际应用案例加以诠释，是一本值得借鉴参考的好书。陈尔东 前 Twitter 总监，前 Facebook 经理和早期工程师 深入浅出深度学习：原理剖析与 Python 实践 VI 前言 What magical trick makes us intelligent
9、?The trick is that there is no trick.The power of intelligence stems from our vast diversity,not from any single,perfect principle.Marvin Minsky 智能（Intelligence）这个词的出现最早可以追溯到古希腊时期，当时人们已经开始梦想能创造出一种像人类一样，具有独立思考和推理能力的机器，但由于受到当时生产力水平的制约，古人对“智能”的研究更多的是停留在理论探索阶段。到了近代，尤其是具有划时代意义的达特茅斯会议的召开，标志着人工智能开始从理论探索进入到
10、理论与应用相结合的实践阶段。从20世纪50年代开始，人工智能的发展大致经历了三个阶段，分别从最初的逻辑推理，到统计机器学习，再到近年来逐渐占据主流地位的深度学习。虽然深度学习是一门以神经网络为核心的学科，但人们普遍认为深度学习始于2006年，当时Hinton等人提出基于深度置信网络（DBN）逐层预训练的方法来训练深层模型，并首次提出了深度学习的概念。此后，深度学习开始进入人们的视野，但那时候深度学习更多的是少数顶尖科学家研究的领域，并没有得到大规模的应用和推广。直到2012年，Hinton和他的两个学生Alex Krizhevsky、Illya Sutskever，将卷积神经网络应用到Imag
11、eNet竞赛中，并取得了分类错误率15%的成绩，这个成绩比第二名低了近11个百分点，这一历史性的突破，使得人们开始意识到深度学习所拥有的巨大潜力，在这之后，深度学习开始在工业界，尤其是计算机视觉、语音识别和自然语言处理等领域，大规模应用，并且取得了比以往更好的效果。到了2016年，随着AlphaGo的横空出世，它的惊人表现将深度学习的热度推向了顶峰，因此2016年也被很多学者认 前言 VII为是人工智能元年，事实上，当前人工智能已经影响到人们生活的各个方面，如语音助手、语音搜索、无人驾驶汽车、人脸识别等，为人们的生活带来了极大的方便，人工智能也必将在今后相当长的一段时间内，继续推动着人类的技术
12、发展。在本书编写的过程中，市面上有关深度学习方面的中文书籍较少，因此作者希望能从理论和应用相结合的角度，对深度学习的相关知识进行较为全面的梳理，本书既可以作为初级读者的入门书籍，也适合中级读者用来加深对理论知识的理解。本书覆盖了线性代数、概率论、数值计算与最优化等基础知识，以及深度学习的两大核心：概率图模型和深度神经网络。具体来说，本书由以下三大部分构成：第 1 部分是概要，共分为两章。第 1 章主要阐述了深度学习、人工智能相关的背景，深度学习的原理，以及当前流行的深度学习框架对比；第 2 章介绍了深度学习框架Theano的使用，着重对Theano的基础知识和编程范式进行了讲解。第 2 部分是
13、与深度学习相关的数学和机器学习方面的基础知识，共分为 5 章。第3 章介绍线性代数基础知识；第 4 章介绍了概率论和数理统计相关的知识；第 5 章介绍概率图模型，包括贝叶斯网络和马尔科夫网络的原理；第 6 章简要回顾机器学习的基础知识，并介绍机器学习模型与深度学习模型之间的联系；第 7 章，深入分析几种常用的机器学习最优化方法，包括具有一阶收敛速度的梯度下降法和共轭梯度法，以及具有二阶收敛速度的牛顿法和拟牛顿法。第 3 部分介绍了各种常见的深度学习模型，包括一系列的深度学习模型理论及其应用，本部分共分为 6 章。第 8 章介绍全连接前馈神经网络，包括网络结构和激活函数的相关知识；第 9 章将深
14、入分析反向传播算法，以及梯度消失问题。梯度消失也是深度神经网络训练的一大难点，我们将介绍当前有效解决深度网络训练中过拟合和欠拟合的常见技巧，包括Batch Normalization、残差网络、Dropout等；第 10 章介绍本书的第一种无监督网络模型：自编码器及其变种模型；第 11 章介绍一种深度概率图模型受限玻尔兹曼机，与自编码器一样，受限玻尔兹曼机也是一种常见的无监督网络模型，最后介绍如何将受限玻尔兹曼机应用于个性化推荐领域中；第 12 章，将介绍一种应用非常广泛的网络结构递归神经网络，深入分析递归网络的结构及其变形网络，如LSTM、GRU等，并以语言模型为例，介绍递归神经网络在自然语
15、言处理中的应用；第 13 章介绍另一种常见的模型结构：卷积神经网络，包括卷积网络的卷积层和池化层结构设计，以及其在文本分类中的应用。关于本书的源代码，读者也可以从Github上（https:/ VIIcat的精议科总并助感很入浅II t/De理论力所，读在技大监陈为我在，在谢其最大的轻页 浅出深epLe论和算所限，读者可在本书大学计陈尔东我写下在本书在此表其他各最后，的照顾轻松注 下载 提交文视 交流学习页面入深度学earni算法，书可以书的计算东先下推书的表示各位，非顾和注册载资源交勘误视点社流互动习交流入口学习：ingB正被中难通过撰写机系生，荐序撰写衷心关心常感鼓励册成为源：误：社区动：
16、流。：ht原理Book被不断难免有过邮箱写过程系主任感谢序。写过程心的感心我工感谢我励，也为博文本书您对区积分在页 ttp:/理剖析k）下断提有错箱 hu程中任杨谢他们程中感谢工作我的也是文视书如提对书中分（在页面下/www析与下载查提出，漏之uang，得强教们在，还；感的朋家人促使视点社提供示中内容在您购下方w.broPyth查看因此之处，ganbu得到了教授、在百忙还得到感谢我朋友和人对我使我能社区用示例容的购买读者oadvhon 实。深此本，承ug了很、原百忙之中到了我在和同我工能完用户例代码的修改买电子者评论view实践深度学书无蒙各gmail多行百度中抽电子腾讯事。作的成本（w码及资改意见子书时论 处学习近无法覆各位读行业专度网页时间子工业讯公司 的理解本书写www.资源文见可在时，积处留下 给专家页搜索间审阅业出版司的解和写作.broa文件在 提积分下您的/3127年来处所有不吝给我反家和好索高阅我版社上级支持作的最advie件，均提交勘分可用的疑70处于高有的模吝告知反馈。好友的高级总我的书社刘皎级李深持，他最大动ew.c均可在勘误用来抵问或高速模型知，。的支总监邓书稿，
