摘要

如今是人工智能高歌猛进的时代，机器学习的发展也如火如荼。然而，复杂的数学公式和难解的专业术语容易令刚接触这一领域的学习者望而生畏。有没有这样一本机器学习的书，能摒弃复杂的公式推导，带领读者通过实践来掌握机器学习的方法？
《机器学习与优化》正是这样一本书！它的写作脱胎于意大利特伦托大学机器学习与智能优化实验室（LION lab）的研究项目，语言轻松幽默，内容图文并茂，涵盖了机器学习中可能遇到的各方面知识。更重要的是，书中特别介绍了两个机器学习的应用，即信息检索和协同推荐，让读者在了解信息结构的同时，还能利用信息来预测相关的推荐项。
本书作者以及读者群发布的数据、指导说明和教学短片都可以在本书网站上找到。
本书内容要点：
● 监督学习——线性模型、决策森林、神经网络、深度和卷积网络、支持向量机等
● 无监督模型和聚类——K均值、自底而上聚类、自组织映射、谱图绘制、半监督学习等
● 优化是力量之源——自动改进的局部方法、局部搜索和反馈搜索优化、协作反馈搜索优化、多目标反馈搜索优化等
● 应用精选——文本和网页挖掘，电影的协同推荐系统

机器学习与优化 内容简介

本书是机器学习实战领域的一本佳作，从机器学习的基本概念讲起，旨在将初学者引入机器学习的大门，并走上实践的道路。本书通过讲解机器学习中的监督学习和无监督学习，并结合特征选择和排序、聚类方法、文本和网页挖掘等热点问题，论证了“优化是力量之源”这一观点，为机器学习在企业中的应用提供了切实可行的操作建议。

机器学习与优化 目录

第 1章 引言 1

1．1　学习与智能优化：燎原之火　1

1．2　寻找黄金和寻找伴侣　3

1．3　需要的只是数据　5

1．4　超越传统的商业智能　5

1．5　LION方法的实施　6

1．6　“动手”的方法　6

第　2章 懒惰学习：最近邻方法　9

第3章　学习需要方法　14

3．1　从已标记的案例中学习：最小化和泛化　16

3．2　学习、验证、测试　18

3．3　不同类型的误差　21

第　一部分 监督学习

第4章　线性模型　26

4．1　线性回归　27

4．2　处理非线性函数关系的技巧　28

4．3　用于分类的线性模型　29

4．4　大脑是如何工作的　30

4．5　线性模型为何普遍，为何成功　31

4．6　最小化平方误差和　32

4．7　数值不稳定性和岭回归　34

第5章　广义线性最小二乘法　37

5．1　拟合的优劣和卡方分布　38

5．2　最小二乘法与最大似然估计　42

5．2．1　假设检验　42

5．2．2　交叉验证　44

5．3　置信度的自助法　44

第6章　规则、决策树和森林　50

6．1　构造决策树　52

6．2　民主与决策森林　56

第7章　特征排序及选择　59

7．1　特征选择：情境　60

7．2　相关系数　62

7．3　相关比　63

7．4　卡方检验拒绝统计独立性　64

7．5　熵和互信息　64

第8章　特定非线性模型　67

8．1　logistic 回归　67

8．2　局部加权回归　69

8．3　用LASSO来缩小系数和选择输入值　72

第9章　神经网络：多层感知器　76

9．1　多层感知器　78

9．2　通过反向传播法学习　80

9．2．1　批量和bold driver反向传播法　81

9．2．2　在线或随机反向传播　82

9．2．3　训练多层感知器的高级优化　83

第　10章 深度和卷积网络　84

10．1　深度神经网络　85

10．1．1　自动编码器　86

10．1．2　随机噪声、屏蔽和课程　88

10．2　局部感受野和卷积网络　89

第　11章 统计学习理论和支持向量机　94

11．1　经验风险最小化　96

11．1．1　线性可分问题　98

11．1．2　不可分问题　100

11．1．3　非线性假设　100

11．1．4　用于回归的支持向量　101

第　12章 最小二乘法和健壮内核机器　103

12．1　最小二乘支持向量机分类器　104

12．2　健壮加权最小二乘支持向量机　106

12．3　通过修剪恢复稀疏　107

12．4　算法改进：调谐QP、原始版本、无补偿　108

第　13章 机器学习中的民主　110

13．1　堆叠和融合　111

13．2　实例操作带来的多样性：装袋法和提升法　113

13．3　特征操作带来的多样性　114

13．4　输出值操作带来的多样性：纠错码　115

13．5　训练阶段随机性带来的多样性　115

13．6　加性logistic回归　115

13．7　民主有助于准确率－拒绝的折中　118

第　14章 递归神经网络和储备池计算　121

14．1　递归神经网络　122

14．2　能量极小化霍普菲尔德网络　124

14．3　递归神经网络和时序反向传播　126

14．4　递归神经网络储备池学习　127

14．5　超限学习机　128

第二部分　无监督学习和聚类

第　15章 自顶向下的聚类：K均值　132

15．1　无监督学习的方法　134

15．2　聚类：表示与度量　135

15．3　硬聚类或软聚类的K均值方法　137

第　16章 自底向上（凝聚）聚类　142

16．1　合并标准以及树状图　142

16．2　适应点的分布距离：马氏距离　144

16．3　附录：聚类的可视化　146

第　17章 自组织映射　149

17．1　将实体映射到原型的人工皮层　150

17．2　使用成熟的自组织映射进行分类　153

第　18章 通过线性变换降维（投影）　155

18．1　线性投影　156

18．2　主成分分析　158

18．3　加权主成分分析：结合坐标和关系　160

18．4　通过比值优化进行线性判别　161

18．5　费希尔线性判别分析　163

第　19章 通过非线性映射可视化图与网络　165

19．1　最小应力可视化　166

19．2　一维情况：谱图绘制　168

19．3　复杂图形分布标准　170

第　20章 半监督学习　174

20．1　用部分无监督数据进行学习　175

20．1．1　低密度区域中的分离　177

20．1．2　基于图的算法　177

20．1．3　学习度量　179

20．1．4　集成约束和度量学习　179

第三部分　优化：力量之源

第　21章 自动改进的局部方法　184

21．1　优化和学习　185

21．2　基于导数技术的一维情况　186

21．2．1　导数可以由割线近似　190

21．2．2　一维最小化　191

21．3　求解高维模型（二次正定型）　191

21．3．1　梯度与最速下降法　194

21．3．2　共轭梯度法　196

21．4　高维中的非线性优化　196

21．4．1　通过线性查找的全局收敛　197

21．4．2　解决不定黑塞矩阵　198

21．4．3　与模型信赖域方法的关系　199

21．4．4　割线法　200

21．4．5　缩小差距：二阶方法与线性复杂度　201

21．5　不涉及导数的技术：反馈仿射振荡器　202

21．5．1　RAS：抽样区域的适应性　203

21．5．2　为健壮性和多样化所做的重复　205

第　22章 局部搜索和反馈搜索优化　211

22．1　基于扰动的局部搜索　212

22．2　反馈搜索优化：搜索时学习　215

22．3　基于禁忌的反馈搜索优化　217

第　23章 合作反馈搜索优化　222

23．1　局部搜索过程的智能协作　223

23．2　CoRSO：一个政治上的类比　224

23．3　CoRSO的例子：RSO与RAS合作　226

第　24章 多目标反馈搜索优化　232

24．1　多目标优化和帕累托最优　233

24．2　脑－计算机优化：循环中的用户　235

第四部分　应用精选

第　25章 文本和网页挖掘　240

25．1　网页信息检索与组织　241

25．1．1　爬虫　241

25．1．2　索引　242

25．2　信息检索与排名　244

25．2．1　从文档到向量：向量－空间模型　245

25．2．2　相关反馈　247

25．2．3　更复杂的相似性度量　248

25．3　使用超链接来进行网页排名　250

25．4　确定中心和权威：HITS　254

25．5　聚类　256

第　26章 协同过滤和推荐　257

26．1　通过相似用户结合评分　258

26．2　基于矩阵分解的模型　260

参考文献　263

索引　269

机器学习与优化 精彩文摘

1.1 学习与智能优化：燎原之火

优化是指为了找到更好的解决方案而进行的自动化搜寻过程。可以说，流程、方案、产品和服务之所以能持续改进，正是缘于优化为之提供的强大动力。优化不仅关乎方案的确定（从一些给定的可行方案中，选出最好的一个），它还能主动创造出新的解决方案。

优化催生了自动化的创造和革新。这看起来非常矛盾，因为自动化通常不会和创造与革新联系起来。因此，那些相信机器只能用来处理单调的重复性工作的人们在阅读本书时，会觉得书中的观点简直是胡言乱语，甚至会感受到如同被挑衅一般的愤怒。