第1课进入数据文明新时代1

【导读案例】从乌镇看“数字文明”社会1

1.1数字劳动推动数字文明4

1.2大数据的定义4

1.2.1天文学——信息爆炸的起源4

1.2.2爆发式增长的数据量5

1.2.3量变导致质变6

1.2.4大数据的定义6

1.2.5大数据的3V特征7

1.2.6广义的大数据9

1.3大数据的结构类型10

1.4数字化与数字化转型11

1.4.1数字化的概念11

1.4.2数字化的意义12

1.4.3信息化与数字化12

1.4.4数字化企业解决方案13

1.5数字经济14

1.5.1数字经济的概念14

1.5.2数字经济的要素15

1.5.3数字经济的研究15

【作业】16

【实训与思考】熟悉大数据以及数字文明
的定义19

第2课思维转变之一：样本=总体21

【导读案例】美国百亿美元望远镜主镜
安装21

2.1从采样开始改变24

2.2小数据时代的随机采样24

2.2.1人口普查的“完整”记载24

2.2.2自动处理数据的开端25

2.2.3什么是随机性26

2.2.4样本随机性比数量更关键26

2.3大数据与医疗的基因排序27

2.4全数据模式：样本=总体28

2.5大数据分析基于抽样29

【作业】30

【实训与思考】搜索与分析，体会“样本=
总体”32

第3课思维转变之二：接受数据的
混杂性35

【导读案例】数据驱动≠大数据35

3.1不再热衷于追求精确度37

3.1.1允许不精确37

3.1.2葡萄园的温度测量38

3.1.3大数据用概率说话39

3.2大数据简单算法与小数据复杂
算法39

3.3纷繁的数据越多越好41

3.3.1重新审视数据精确性41

3.3.2混杂性是标准途径42

3.4新的数据库设计43

3.55%数字数据与95%非结构化
数据44

【作业】45

【实训与思考】搜索与分析，体验“接受
数据的混杂性”48

第4课思维转变之三：重视相关
关系49

【导读案例】亚马逊推荐系统49

4.1生活中的因果关系51

4.1.1因果关系的定义52

4.1.2不再热衷于因果关系52

4.2关联物，预测的关键53

4.2.1什么是相关关系53

4.2.2找到良好的关联物53

4.2.3相关关系分析54

4.3“是什么”而不是“为什么”55

4.4通过因果关系了解世界56

4.4.1快速思维模式56

4.4.2慢性思维模式57

4.5通过相关关系了解世界58

4.5.1避免因果关系屏蔽相关关系58

4.5.2相关关系之后的因果关系59

【作业】59

【实训与思考】搜索与分析，体验“重视
相关关系”61

第5课大数据促进医疗健康62

【导读案例】大数据变革公共卫生62

5.1大数据与循证医学64

5.2大数据带来的医疗新突破65

5.2.1量化自我，关注个人健康65

5.2.2可穿戴的个人健康设备66

5.2.3大数据时代的医疗信息68

5.2.4对抗癌症的新工具68

5.3医疗信息数字化70

5.4搜索：超级大数据的最佳伙伴72

5.5数据决策的崛起73

5.5.1数据辅助诊断73

5.5.2辅助诊断的决策支持系统74

5.5.3大数据分析使数据决策崛起75

【作业】75

【实训与思考】熟悉大数据在医疗健康
领域的应用77



第6课大数据激发创造力79

【导读案例】准确预测地震79

6.1大数据帮助改善设计80

6.1.1与玩家共同设计游戏81

6.1.2以人为本的汽车设计理念81

6.1.3寻找最佳音响效果82

6.1.4建筑，数据取代直觉83

6.2大数据操作回路84

6.2.1信号与噪声84

6.2.2大数据反馈回路85

6.2.3最小数据规模85

6.2.4大数据应用的优势86

6.3数字孪生86

6.3.1数字孪生的原理87

6.3.2数字孪生基本组成87

6.3.3数字孪生的研究88

6.3.4数字孪生与数字生产线89

6.4大数据资产的崛起91

6.4.1将原创数据变为增值数据91

6.4.2大数据催生崭新的应用程序92

6.4.3在大数据“空白”中提取最
大价值92

【作业】93

【实训与思考】熟悉大数据如何激发
创造力95

第7课大数据规划考虑97

【导读案例】谷歌的搜索算法97

7.1信息与通信技术98

7.1.1开源技术与商用硬件99

7.1.2社交媒体99

7.1.3超连通社区与设备99

7.2万物互联网100

7.3工业互联网101

7.3.1工业互联网的架构102

7.3.2工业互联网应用场景103

7.3.3工业互联网的前景104

7.3.4工业大数据与互联网大数据105

7.4数据获取与数据来源106

7.4.1让数据创造价值106

7.4.2不同性能的挑战108

7.5不同的管理需求108

【作业】109

【实训与思考】熟悉大数据的规划
与考虑111

第8课大数据商务智能113

【导读案例】微信支付广告，一个支付
之外的故事113

8.1传统商务智能115

8.1.1即席报表116

8.1.2仪表板116

8.1.3OLTP与OLAP117

8.1.4抽取、转换和加载技术117

8.1.5数据仓库与数据集市118

8.2大数据商务智能118

8.2.1传统商务分析118

8.2.2智能商务分析119

8.3大数据营销119

8.3.1愿景、价值以及执行120

8.3.2面对新的机遇与挑战120

8.3.3创建高容量和高价值内容121

8.3.4自动化营销122

8.3.5内容创作与众包122

8.3.6评价营销效果123

【作业】124

【实训与思考】“五力模型”影响商务
智能126

Ⅳ
Ⅲ

第9课大数据可视化129

【导读案例】南丁格尔“极区图”129

9.1数据与可视化131

9.1.1数据的可变性131

9.1.2数据的不确定性133

9.1.3数据的背景信息133

9.1.4打造最好的可视化效果134

9.2数据与图形135

9.2.1数据与走势136

9.2.2视觉信息的科学解释137

9.3视觉分析138

9.3.1热点图138

9.3.2时间序列图138

9.3.3网络图139

9.3.4空间数据制图139

9.4实时可视化140

9.5数据可视化的运用141

【作业】142

【实训与思考】绘制新的泰坦尼克事件
镶嵌图144

第10课大数据存储技术147

【导读案例】什么是低代码开发？147

10.1分布式系统149

10.2Hadoop分布式处理技术150

10.2.1Hadoop的发展150

10.2.2Hadoop的优势151

10.2.3Hadoop的发行版本151

10.3大数据存储基础152

10.3.1Hadoop与NoSQL152

10.3.2NoSQL的主要特征152

10.3.3NoSQL替代方案NewSQL153

10.4存储的技术路线154

10.4.1存储方式154

10.4.2MPP架构的数据库集群155

10.4.3基于Hadoop的技术扩展155

10.4.4云数据库155

10.4.5数据湖存储技术156

10.5数据库设计原理157

10.5.1ACID设计原则157

10.5.2CAP定理160

10.5.3BASE设计原理161

【作业】163

【实训与思考】熟悉大数据存储的概念165

第11课从SQL到NoSQL167

【导读案例】AI并非全能，大模型开出
错误治疗方案167

11.1内存存储方式169

11.1.1内存存储设备169

11.1.2内存数据网格170

11.1.3内存数据库171

11.2RDBMS172

11.3NoSQL数据库173

11.3.1主要特征174

11.3.2理论基础175

11.3.3NoSQL数据库的类型175

11.4键值存储176

11.5文档存储177

11.6列簇存储178

11.7图存储179

【作业】180

【实训与思考】熟悉NoSQL存储设备182

第12课大数据处理技术184

【导读案例】什么是开源184

12.1开源技术的商业支援186

12.2大数据的技术架构187

12.3处理工作量188

12.4SCV原则189

12.5批处理模式190

12.5.1MapReduce批处理190

12.5.2Map和Reduce任务190

12.5.3MapReduce简单实例193

12.5.4理解MapReduce算法194

12.6实时处理模式194

12.6.1事件流处理195

12.6.2复杂事件处理196

12.6.3大数据实时处理196

【作业】197

【实训与思考】理解和熟悉大数据处理
技术199

第13课大数据预测分析201

【导读案例】葡萄酒的品质201

13.1什么是预测分析206

13.1.1预测分析的作用206

13.1.2数据具有内在预测性208

13.1.3定量分析与定性分析208

13.2统计分析209

13.2.1A/B测试209

13.2.2相关性分析210

13.2.3回归性分析211

13.3数据挖掘212

13.4大数据分析生命周期212

13.4.1商业案例评估213

13.4.2数据标识214

13.4.3数据获取与过滤214

13.4.4数据提取215

13.4.5数据验证与清理216

13.4.6数据聚合与表示216

13.4.7数据分析217

13.4.8数据可视化218

13.4.9分析结果的使用218

【作业】218

【实训与思考】理解大数据的内在
预测性221

第14课大数据安全与法律222

【导读案例】《中华人民共和国个人信息
保护法》施行222

14.1大数据的管理维度224

14.2大数据的安全问题225

14.2.1采集汇聚安全225

14.2.2存储处理安全225

14.2.3共享使用安全227

14.3大数据的安全体系227

14.3.1安全技术体系228

14.3.2大数据安全治理228

14.3.3大数据安全测评229

14.3.4大数据安全运维229

14.3.5以数据为中心的安全要素229

14.4大数据伦理与法规230

14.4.1大数据的伦理问题230

14.4.2大数据的伦理规则231

14.4.3数据安全法施行232

14.4.4消费者隐私权法案233

【作业】235

【实训与思考】制定大数据伦理原则的
现实意义237

Ⅵ
Ⅴ

第15课大数据在云端238

【导读案例】数字经济时代云发展趋势238

15.1云计算概述241

15.1.1云计算定义241

15.1.2云基础设施242

15.2计算虚拟化243

15.3网络虚拟化244

15.3.1网卡虚拟化244

15.3.2虚拟交换机245

15.3.3接入层虚拟化246

15.3.4覆盖网络虚拟化246

15.3.5软件定义网络(SDN)246

15.3.6对大数据处理的意义248

15.4存储虚拟化249

15.5云计算服务形式249

15.5.1云计算的服务层次250

15.5.2大数据与云相辅相成251

【作业】251

【实训与思考】熟悉云端大数据的基础
设施253

第16课大数据的发展256

【导读案例】加快建立完善数据产权
制度256

16.1数据科学与数据工作者258

16.2连接开放数据261

16.2.1LOD运动261

16.2.2利用开放数据创业263

16.2.3大数据与人工智能263

16.3大数据发展趋势264

16.3.1传统IT过渡到大数据系统264

16.3.2信息领域突破性发展265
16.3.3未来发展的专家预测266

16.4大数据技术展望268

16.4.1数据管理仍然很难268

16.4.2数据孤岛继续激增268

16.4.3流媒体分析的突破269

16.4.4技术发展带来技能转变269

16.4.5“快速数据”和“可操作
数据”269

16.4.6将数据转化为预测分析270

【作业】270

【课程学习与实训总结】272

附录278

参考文献280