大数据建模方法
作者： 张平文，戴文渊，黄晶等
出版时间：2019-12
出版社：高等教育出版社
- 高等教育出版社
- 9787040530490
- 1版
- 296214
- 44258377-9
- 平装
- 16开
- 2019-12
- 280
- 276
- 理学
- 数学
- 数据科学与大数据技术、统计学类
- 本科
本书包含理论和案例两部分内容, 理论部分从基础知识、指导思想、工作步骤及评估体系等角度对大数据建模的方法论进行了总结归纳, 案例部分介绍了该大数据建模方法论在气象、能源、网络、银行以及企业管理等多个领域中的实践及应用。大数据建模的特点使其不但需要有理论上的指导, 还需要在实践中落地, 因此本书非常强调理论与实践的并重。本书的主要读者是各高等院校大数据、数学、计算机等相关学科的高年级本科生和研究生,以及企事业单位中从事大数据相关科研与应用工作的技术人员等, 希望读者在阅读本书后,提高对大数据建模的认识和利用大数据建模来解决实际问题的能力。
前辅文
I 理论
1 基础知识
1.1 模型与算法
1.1.1 现实世界和机理
1.1.2 模型
1.1.3 算法
1.1.4 模型与算法的区别及联系
1.2 建模
1.2.1 传统建模的步骤
1.2.2 可计算建模
1.2.3 建模思路的分类
1.2.4 几种建模思路的对比
1.3 大数据及其相关概念
1.3.1 大数据
1.3.2 计算能力
1.3.3 人工智能
1.3.4 几个概念之间的关系
1.3.5 大数据概念出现的原因
1.4 我国大数据建模的现状
1.4.1 现状
1.4.2 不同业界的态度
1.5 小结
参考文献
2 数据思维
2.1 什么是数据思维
2.1.1 数据思维的由来
2.1.2 数据思维的要素
2.2 机器学习概述
2.2.1 机器学习的分类
2.2.2 机器学习的数学描述
2.3 大数据建模的五个必要条件
2.4 思考题
参考文献
3 大数据建模步骤
3.1 从苹果和梨说起
3.2 明确目标
3.3 收集数据和样本定义
3.3.1 样本定义和挑选
3.3.2 样本定义案例
3.3.3 数据准备
3.4 提取特征
3.4.1 特征工程的定义
3.4.2 特征工程的重要性
3.4.3 特征获取
3.4.4 特征处理
3.4.5 特征选择
3.4.6 特征维度
3.4.7 特征共线性问题
3.5 模型训练
3.5.1 随机梯度下降方法
3.5.2 过拟合问题
3.6 模型预测
参考文献
4 大数据建模的评估体系
4.1 离线实验
4.1.1 离线实验方法
4.1.2 回归模型评估指标
4.1.3 分类模型评估指标
4.2 在线实验
4.2.1 在线实验方法
4.2.2 评估指标
参考文献
5 大数据平台
5.1 大数据平台简介
5.2 Python
5.2.1 Python 简介
5.2.2 Python 的安装
5.2.3 实验数据集
5.2.4 Python 的初步使用
5.3 TensorFlow
5.3.1 TensorFlow 简介
5.3.2 TensorFlow 的安装
5.3.3 TensorFlow 的初步使用
5.3.4 基于TensorFlow 的机器学习
5.4 第四范式先知平台
5.5 小结
参考文献
II 案例
6 天气预报
6.1 天气的现象与探测
6.1.1 大气的垂直结构
6.1.2 大气的探测
6.1.3 天气现象
6.2 影响天气预报的几个关键因素
6.2.1 云
6.2.2 大气边界层
6.2.3 辐射
6.3 大气运动方程组
6.3.1 大气运动的主要变量及其规律
6.3.2 大气运动方程组
6.3.3 其他坐标系下的运动方程组
6.4 大气运动方程组的约简
6.4.1 尺度分析法
6.4.2 次网格参数化
6.5 资料同化
6.5.1 逐步订正法
6.5.2 资料同化的改进方法
6.6 小结
参考文献
7 精准气象服务
7.1 背景介绍
7.1.1 天气预报
7.1.2 天气预报方法
7.1.3 天气会商
7.2 明确目标
7.2.1 站点预报
7.2.2 格点预报
7.2.3 区域预报
7.2.4 目标细化
7.3 数据与样本
7.3.1 实况数据
7.3.2 模式数据
7.3.3 模式初值
7.3.4 本章所需的数据
7.4 特征工程
7.4.1 数据预处理
7.4.2 站点预报的特征工程
7.4.3 格点预报的特征工程
7.4.4 区域预报的特征工程
7.4.5 问题解决思路
7.4.6 原始数据集
7.4.7 数据合集
7.5 模型构建与训练
7.5.1 模型的构建
7.5.2 模型的训练
7.6 模型预测与评估
7.6.1 评估标准
7.6.2 不同模型对结果的订正
7.6.3 四种模型的比较
7.6.4 结论
7.7 补充说明
7.8 思考题
参考文献
8 风电功率预测
8.1 背景介绍
8.2 明确目标
8.3 数据与样本
8.4 特征工程
8.4.1 风速计算数据的处理
8.4.2 风机实测数据的处理
8.4.3 特征可视化分析
8.4.4 衍生特征
8.5 模型构建与训练
8.5.1 风速预测模型的构建
8.5.2 功率预测模型的构建
8.5.3 模型的训练
8.6 模型预测与评估
8.6.1 风速预测模型的预测与评估
8.6.2 功率预测模型的预测与评估
8.7 补充说明
8.8 思考题
参考文献
9 广告点击率预估
9.1 背景介绍
9.2 明确目标
9.3 数据和样本
9.4 特征工程
9.4.1 离散化
9.4.2 特征组合
9.5 模型构建与训练
9.5.1 logistic 回归算法
9.5.2 模型训练
9.6 模型预测与评估
9.6.1 离线评估
9.6.2 在线评估
参考文献
10 银行理财推荐
10.1 背景介绍
10.2 明确目标
10.3 数据和样本
10.3.1 样本定义方式
10.3.2 数据需求
10.4 特征工程
10.5 模型构建与训练
10.5.1 logistic 算法
10.5.2 GBDT 算法
10.6 模型预测与评估
参考文献
11 企业经营管理
11.1 背景介绍
11.2 明确目标
11.3 数据与样本
11.4 特征工程
11.4.1 建立基础指标库
11.4.2 基础指标属性分析
11.4.3 历史数据提取
11.4.4 无量纲化处理
11.5 模型构建
11.5.1 建立指标体系
11.5.2 构建指数模型
11.6 模型预测与评估
11.6.1 非负矩阵分解法
11.6.2 模型效果评估
11.6.3 模型预测
11.7 补充说明
参考文献
