前言
第1章机器学习概述1
1.1机器学习的发展：人工智能中的
机器学习1
1.1.1符号主义人工智能1
1.1.2基于机器学习的人工智能2
1.2机器学习的核心：数据和数据建模4
1.2.1机器学习的学习对象：数据集4
1.2.2机器学习的
任务：数据建模6
1.3机器学习的典型应用11
1.3.1机器学习的典型行业应用11
1.3.2机器学习在客户细分中的应用12
1.3.3机器学习在客户流失分析中的
应用13
1.3.4机器学习在营销响应分析中的
应用14
1.3.5机器学习在交叉销售中的应用15
1.3.6机器学习在欺诈甄别中的应用16
【本章总结】16
【本章习题】17
第2章Python机器学习基础18
2.1Python：机器学习的首选工具18
2.2Python的集成开发环境：
Anaconda19
2.2.1Anaconda的简介19
2.2.2AnacondaPrompt的使用20
2.2.3Spyder的使用22
2.2.4JupyterNotebook的使用23
2.3Python第三方包的引用24
2.4NumPy使用示例24
2.4.1NumPy数组的创建和访问25
2.4.2NumPy的计算功能26
2.5Pandas使用示例29
2.5.1Pandas的序列和索引29
2.5.2Pandas的数据框30
2.5.3Pandas的数据加工处理31
2.6NumPy和Pandas的综合应用：空气质量监测数据的预处理和基本分析32
2.6.1空气质量监测数据的预处理32
2.6.2空气质量监测数据的基本分析34
2.7Matplotlib的综合应用：空气质量监测数据的图形化展示36
2.7.1AQI的时序变化特点37
2.7.2AQI的分布特征及相关性分析38
2.7.3优化空气质量状况的统计图形40
【本章总结】41
【本章相关函数】41
【本章习题】47
第3章数据预测与预测建模49
3.1数据预测的基本概念49
3.2预测建模50
3.2.1什么是预测模型50
3.2.2预测模型的几何理解53
3.2.3预测模型参数估计的基本策略56
3.3预测模型的评价59
3.3.1模型误差的评价指标60
3.3.2模型的图形化评价工具62
3.3.3泛化误差的估计方法64
3.3.4数据集的划分策略67
3.4预测模型的选择问题69
3.4.1模型选择的基本原则69
3.4.2模型过拟合69
3.4.3预测模型的偏差和方差71
3.5Python建模实现73
3.5.1ROC和P-R曲线图的实现74
3.5.2模型复杂度与误差的模拟研究75
3.5.3数据集划分和测试误差估计的实现79
3.5.4模型过拟合以及偏差与方差的
模拟研究82
3.6Python实践案例86
3.6.1实践案例1：PM2.5浓度的
回归预测86
3.6.2实践案例2：空气污染的分类预测87
【本章总结】91
【本章相关函数】91
【本章习题】91
第4章数据预测建模：贝叶斯分类器93
4.1贝叶斯概率和贝叶斯法则93
4.1.1贝叶斯概率93
4.1.2贝叶斯法则94
4.2贝叶斯和朴素贝叶斯分类器94
4.2.1贝叶斯和朴素贝叶斯分类器的
一般内容94
4.2.2贝叶斯分类器的先验分布96
4.3贝叶斯分类器的分类边界99
4.4Python建模实现100
4.4.1不同参数下的贝塔分布101
4.4.2贝叶斯分类器和Logistic回归
分类边界的对比101
4.5Python实践案例103
4.5.1实践案例1：空气污染的分类
预测103
4.5.2实践案例2：法律裁判文书中的
案情要素分类105
【本章总结】110
【本章相关函数】111
【本章习题】111
第5章数据预测建模：近邻分析112
5.1近邻分析：K-近邻法112
5.1.1距离：K-近邻法的近邻度量113
5.1.2参数K：1-近邻法还是K-近邻法114
5.1.3与朴素贝叶斯分类器和Logistic
回归模型的对比117
5.2基于观测相似性的加权K-近邻法117
5.2.1加权K-近邻法的权重117
5.2.2加权K-近邻法的预测119
5.2.3加权K-近邻法的分类边界119
5.3K-近邻法的适用性120
5.4Python建模实现122
5.4.1不同参数K下的分类边界122
5.4.2不同核函数的特点123
5.4.3不同加权方式和K下的分类边界124
5.5Python实践案例125
5.5.1实践案例1：空气质量等级的
预测125
5.5.2实践案例2：国产电视剧的大众
评分预测127
【本章总结】129
【本章相关函数】129
【本章习题】130
第6章数据预测建模：决策树131
6.1决策树概述131
6.1.1什么是决策树131
6.1.2分类树的分类边界133
6.1.3回归树的回归平面134
6.1.4决策树的生长和剪枝135
6.2CART的生长139
6.2.1CART中分类树的异质性度量139
6.2.2CART中回归树的异质性度量140
6.3CART的后剪枝141
6.3.1代价复杂度和最小代价复杂度141
6.3.2CART的后剪枝过程142
6.4Python建模实现143
6.4.1回归树的非线性回归特点144
6.4.2树深度对分类边界的影响145
6.4.3基尼系数和熵的计算146
6.5Python实践案例147
6.5.1实践案例1：空气污染的预测
建模147
6.5.2实践案例2：医疗大数据应用—
药物适用性研究151
【本章总结】154
【本章相关函数】155
【本章习题】155
第7章数据预测建模：集成学习156
7.1集成学习概述157
7.1.1高方差问题的解决途径157
7.1.2从弱模型到强模型的构建157
7.2基于重抽样自举法的集成学习158
7.2.1重抽样自举法158
7.2.2袋装法158
7.2.3随机森林161
7.3从弱模型到强模型的构建163
7.3.1提升法164
7.3.2AdaBoost.M1算法165
7.3.3SAMME算法和SAMME.R
算法170
7.3.4回归预测中的提升法172
7.4梯度提升树174
7.4.1梯度提升算法174
7.4.2梯度提升回归树178
7.4.3梯度提升分类树179
7.5XGBoost算法181
7.5.1XGBoost的目标函数181
7.5.2目标函数的近似表达182
7.5.3决策树的求解183
7.6Python建模实现185
7.6.1单棵决策树、弱模型和提升法的
预测对比186
7.6.2提升法中高权重样本观测的特点187
7.6.3AdaBoost回归预测中损失函数的
选择问题189
7.6.4梯度提升算法和AdaBoost的
预测对比189
7.7Python实践案例191
7.7.1实践案例1：PM2.5浓度的
回归预测191
7.7.2实践案例2：空气质量等级的
分类预测195
【本章总结】197
【本章相关函数】197
【本章习题】198
第8章数据预测建模：人工神经网络200
8.1人工神经网络的基本概念201
8.1.1人工神经网络的基本构成201
8.1.2人工神经网络节点的功能202
8.2感知机网络203
8.2.1感知机网络中的节点203
8.2.2感知机节点中的加法器204
8.2.3感知机节点中的激活函数205
8.2.4感知机的权重训练208
8.3多层感知机及B-P反向传播算法213
8.3.1多层网络的结构213
8.3.2多层网络的隐藏节点214
8.3.3B-P反向传播算法216
8.3.4多层网络的其他问题218
8.4Python建模实现220
8.4.1不同激活函数的特点220
8.4.2隐藏节点的作用222
8.5Python实践案例223
8.5.1实践案例1：手写体邮政编码的
识别223
8.5.2实践案例2：PM2.5浓度的回归
预测225
【本章总结】227
【本章相关函数】227
【本章习题】227
第9章数据预测建模：支持向量机229
9.1支持向量分类概述229
9.1.1支持向量分类的基本思路229
9.1.2支持向量分类的几种情况232
9.2完全线性可分下的支持向量分类233
9.2.1如何求解超平面233
9.2.2参数求解的拉格朗日乘子法235
9.2.3支持向量分类的预测238
9.3广义线性可分下的支持向量分类238
9.3.1广义线性可分下的超平面239
9.3.2广义线性可分下的错误惩罚和
目标函数240
9.3.3广义线性可分下的超平面参数
求解241
9.4线性不可分下的支持向量分类242
9.4.1线性不可分问题的一般解决方式242
9.4.2支持向量分类克服维灾难的途径244
9.5支持向量回归247
9.5.1支持向量回归的基本思路247
9.5.2支持向量回归的目标函数和
约束条件249
9.6Python建模实现252
9.6.1支持向量机分类的意义252
9.6.2完全线性可分下的最大边界超
平面254
9.6.3不同惩罚参数C下的最大边界
超平面255
9.6.4非线性可分下的空间变化255
9.6.5不同惩罚参数C和核函数下的
分类曲面257
9.6.6不同惩罚参数C和?对支持
向量回归的影响257
9.7Python实践案例258
9.7.1实践案例1：物联网健康大数据
应用——老年人危险体位预警259
9.7.2实践案例2：汽车油耗的回归
预测263
【本章总结】266
【本章相关函数】266
【本章习题】266
第10章特征选择：过滤、包裹和
嵌入策略267
10.1特征选择概述267
10.2过滤式策略下的特征选择268
10.2.1低方差过滤法269
10.2.2高相关过滤法中的方差分析270
10.2.3高相关过滤法中的卡方检验274
10.2.4其他高相关过滤法276
10.3包裹式策略下的特征选择278
10.3.1包裹式策略的基本思路278
10.3.2递归式特征剔除法279
10.3.3基于交叉验证的递归式特征
剔除法280
10.4嵌入式策略下的特征选择281
10.4.1岭回归和Lasso回归281
10.4.2弹性网回归285
10.5Python建模实现288
10.5.1高相关过滤法中的F分布和卡方
分布289
10.5.2不同L2范数率下弹性网回归的
约束条件特征290
10.6Python实践案例290
10.6.1实践案例1：手写体邮政编码数据的
特征选择——基于过滤式策略291
10.6.2实践案例2：手写体邮政编码数据的
特征选择——基于包裹式策略293
10.6.3实践案例3：手写体邮政编码数据的
特征选择——基于嵌入式策略294
【本章总结】298
【本章相关函数】298
【本章习题】299
第11章特征提取：空间变换策略300
11.1特征提取概述300
11.2主成分分析301
11.2.1主成分分析的基本出发点302
11.2.2主成分分析的基本原理303
11.2.3确定主成分305
11.3矩阵的奇异值分解307
11.3.1奇异值分解的基本思路307
11.3.2基于奇异值分解的特征提取308
11.4核主成分分析309
11.4.1核主成分分析的出发点309
11.4.2核主成分分析的基本原理311
11.4.3核主成分分析中的核函数312
11.5因子分析315
11.5.1因子分析的基本出发点315
11.5.2因子分析的基本原理316
11.5.3因子载荷矩阵的求解318
11.5.4因子得分的计算319
11.5.5因子分析的其他问题320
11.6Python建模实现323
11.6.1主成分分析的空间变换323
11.6.2核主成分分析的空间变换324
11.6.3因子分析的计算过程328
11.7Python实践案例331
11.7.1实践案例1：采用奇异值分解
实现人脸特征提取331
11.7.2实践案例2：利用因子分析进行
空气质量的综合评价332
【本章总结】334
【本章相关函数】334
【本章习题】335
第12章揭示数据内在结构：聚类分析336
12.1聚类分析概述336
12.1.1聚类分析的目的336
12.1.2聚类算法概述338
12.1.3聚类解的评价339
12.1.4聚类解的可视化342
12.2基于质心的聚类模型：K-均值
聚类343
12.2.1K-均值聚类的基本过程343
12.2.2K-均值聚类中的聚类数目345
12.2.3基于K-均值聚类的预测346
12.3基于连通性的聚类模型：系统
聚类346
12.3.1系统聚类的基本过程347
12.3.2系统聚类中距离的连通性测度347
12.3.3系统聚类中的聚类数目348
12.3.4系统聚类中的其他问题350
12.4基于高斯分布的聚类模型：EM
聚类351
12.4.1基于高斯分布聚类的出发点：
有限混合分布351
12.4.2EM聚类算法353
12.5Python建模实现356
12.5.1K-均值聚类和聚类数目K357
12.5.2系统聚类和可视化工具360
12.5.3碎石图的应用和离群点探测361
12.5.4EM聚类的特点和适用性363
12.6Python实践案例：各地区环境
污染的特征的对比分析367
【本章总结】370
【本章相关函数】370
【本章习题】370
第13章揭示数据内在结构：特色聚类371
13.1基于密度的聚类：DBSCAN
聚类371
13.1.1DBSCAN聚类中的相关概念371
13.1.2DBSCAN聚类过程373
13.1.3DBSCAN的异形聚类特点373
13.2Mean-Shift聚类375
13.2.1什么是核密度估计375
13.2.2核密度估计在Mean-Shift聚类
中的意义377
13.2.3Mean-Shift聚类过程379
13.3BIRCH聚类380
13.3.1BIRCH聚类的特点380
13.3.2BIRCH算法中的聚类特征树381
13.3.3BIRCH聚类的核心步骤384
13.3.4BIRCH聚类的在线动态聚类386
13.3.5BIRCH聚类解的优化387
13.4Python建模实现387
13.4.1DBSCAN聚类的参数敏感性388
13.4.2单变量的核密度估计389
13.4.3Mean-Shift聚类的特点390
13.4.4BIRCH聚类与动态性特征391
13.5Python实践案例：商品批发商的
市场细分394
【本章总结】397
【本章相关函数】398
【本章习题】398