第1章大数据技术基本概念31.1数据3

1.1.1数据的单位4

1.1.2数据与信息的关系 4

1.1.3数据的分类 4

1.2信息6

1.2.1信息的定义6

1.2.2信息资源7

1.2.3信息的应用意义8

1.3大数据9

1.3.1大数据发展历史9

1.3.2大数据的定义和特点10

1.4大数据技术的基本概念15

1.4.1传统数据处理15

1.4.2大数据分析的方法理论16

1.4.3大数据技术17

1.5大数据的社会价值21

1.5.1大数据的社会价值体现21

1.5.2大数据在政府管理方面的应用22

1.5.3大数据在公共服务领域的应用23

1.6大数据的商业应用24

1.6.1商业大数据的类型和价值挖掘方法24

1.6.2全球大数据市场结构26

1.6.3中国大数据市场26

1.6.4大数据给中国带来的十大商业应用场景27

1.7大数据与商业模式创新32

1.7.1商业模式的创新特点32

1.7.2商业模式创新可以为企业带来什么32

1.7.3基于大数据分析的商业模式创新33

1.8如何成为“大数据企业”35

1.8.1驾驭企业外部大数据35

1.8.2成为“大数据企业”36

1.8.3如何挖掘企业大数据的价值37

1.8.4大数据实质上是一种管理思维38

1.9大数据应用案例之: 男女嘉宾《非诚勿扰》牵手数据分析39

习题与思考题42

大数据技术及应用教程目录第二部分大数据技术

第2章基础架构——云计算平台472.1大数据处理的基础架构47

2.2云计算网络47

2.2.1云计算简介48

2.2.2云计算系统的体系结构50

2.2.3云计算服务层次55

2.2.4云计算技术层次57

2.2.5云计算的核心技术58

2.2.6典型云计算平台59

2.2.7典型的云计算系统及应用64

2.2.8大数据平台的应用67

2.3大数据应用案例之: 在“北上广”打拼是怎样一种体验69

习题与思考题72第3章大数据采集与预处理74

3.1大数据采集概念74

3.2数据采集来源75

3.3大数据采集方法76

3.3.1大数据数据采集方面新方法76

3.3.2网页数据采集方法76

3.3.3Web信息数据自动采集79

3.4导入/预处理82

3.4.1大数据导入/预处理的过程 82

3.4.2数据清洗84

3.4.3数据采集(ETL)技术86

3.4.4基于大数据的数据预处理88

3.4.5数据处理的基本流程与关键技术90

3.5数据集成91

3.5.1数据集成的概念91

3.5.2数据集成面临问题92

3.6数据变换92

3.6.1异构数据交换综述93

3.6.2异构数据分析94

3.6.3异构数据交换方式97

3.6.4异构数据交换技术99

3.6.5异构数据交换与集成的研究方向103

3.7大数据应用案例之: 互联网行业哪个职位比较有前途103

习题与思考题107第4章大数据存储110

4.1传统数据存储110

4.1.1传统数据存储介质110

4.1.2存储的模式112

4.2海量数据存储的需求113

4.3分布式存储系统117

4.3.1分布式存储系统117

4.3.2典型系统118

4.4云存储120

4.5数据库123

4.5.1数据库分类123

4.5.2常规SQL结构化关系数据库124

4.5.3NoSQL非结构化数据库124

4.5.4NoSQL技术126

4.5.5大规模并行分析数据库129

4.6数据仓库131

4.6.1数据仓库的概念131

4.6.2数据仓库技术发展133

4.6.3数据仓库原理及构成133

4.6.4数据仓库的基本架构136

4.6.5数据仓库的数据存储136

4.6.6数据仓库的数据应用137

4.6.7元数据管理138

4.7大数据应用案例之: 一场雾霾将损失多少GDP 138

习题与思考题141

第5章大数据计算模式与处理系统143

5.1数据计算143

5.1.1离线批处理143

5.1.2实时交互计算145

5.1.3海量数据实时计算145

5.1.4流计算146

5.2聚类算法147

5.2.1聚类算法的分类147

5.2.2数据分类与聚类147

5.3数据集成148

5.3.1数据集成概述149

5.3.2数据集成方案155

5.3.3企业数据集成应用形式157

5.3.4企业整体解决方案160

5.4机器学习161

5.4.1机器学习的定义和例子162

5.4.2机器学习的范围164

5.4.3机器学习的方法165

5.4.4机器学习的应用——大数据170

5.4.5机器学习的子类——深度学习172

5.4.6机器学习的父类——人工智能174

5.5数据处理语言175

5.5.1数据分析语言R175

5.5.2大数据开发语言Python177

5.6大数据应用案例之: 北京的人流在哪儿？用大数据看城市179

习题与思考题183第6章大数据查询、显现与交互185

6.1数据的查询185

6.1.1常规数据库查询结构化数据185

6.1.2大数据时代的数据搜索186

6.1.3数据库与信息检索技术的比较188

6.1.4数据库技术面临的Web数据管理问题 189

6.2网络数据索引与查询技术192

6.2.1搜索引擎技术概述192

6.2.2Web搜索引擎工作原理192

6.3大数据索引与查询技术200

6.3.1大数据索引和查询200

6.3.2大数据处理案例: 登机牌、阅卷与MapReduce201

6.4相似性搜索工具206

6.5数据展现与交互209

6.6数据可视化210

6.6.1数据可视化概念210

6.6.2数据可视化定义与方法211

6.6.3数据可视化分析216

6.6.4个性化精准推荐217

6.6.5预测和预警217

6.6.6决策分析219

6.7知识图谱220

6.7.1知识图谱的概念221

6.7.2知识图谱的表示221

6.7.3知识图谱的存储222

6.7.4知识图谱的应用223

6.8大数据应用案例之: 数据告诉你，上海的房子都被

谁买走了229

习题与思考题233第7章大数据分析与数据挖掘235

7.1大数据的分析及应用235

7.1.1数据处理和分析的发展235

7.1.2大数据分析面对的数据类型236

7.1.3大数据分析与处理方法237

7.1.4数据分析的步骤237

7.1.5大数据分析应用240

7.2数据挖掘技术242

7.2.1数据挖掘的定义242

7.2.2数据挖掘的常用方法244

7.2.3数据挖掘的功能 245

7.2.4数据挖掘技术 246

7.2.5数据挖掘的流程248

7.2.6数据挖掘的应用250

7.2.7“大数据自动挖掘”才是大数据的真正意义251

7.3商业智能与数据分析252

7.3.1商业智能技术辅助决策的发展252

7.3.2商业智能系统架构253

7.3.3商业智能的技术体系253

7.3.4商务智能=数据+分析+决策+利益254

7.4电商大数据分析技术257

7.4.1移动互联网应用数据分析基础257

7.4.2用户规模和质量258

7.4.3参与度分析259

7.4.4渠道分析260

7.4.5功能分析261

7.4.6用户属性分析262

7.5大数据营销业务模型263

7.5.1大数据对业务模式的影响263

7.5.2大数据时代的网络化精确营销264

7.5.3移动互联和大数据时代的电子商务265

7.5.4大数据营销的定义与特点266

7.5.5网络营销大数据实际操作268

7.5.6数据营销方法论270

7.6基于社会媒体的分析预测技术273

7.6.1基于空间大数据的社会感知273

7.6.2基于社会媒体的预测技术278

7.6.3基于消费意图挖掘的预测279

7.6.4基于事件抽取的预测282

7.6.5基于因果分析的预测282

7.7大数据应用案例之: 如何用大数据看风水？以星巴克和海底捞的

选址为例286

习题与思考题287第8章大数据隐私与安全290

8.1大数据面临的问题290

8.1.1大数据面临的安全问题290

8.1.2使用大数据分析安全与隐私的问题295

8.2大数据安全与隐私保护关键技术296

8.2.1基于大数据的威胁发现技术296

8.2.2基于大数据的认证技术297

8.2.3基于大数据的数据真实性分析298

8.2.4大数据与“安全即服务”298

8.3大数据安全的防护策略298

8.4大数据应用案例之: 电影《爸爸去哪儿》大卖有前兆么？300

习题与思考题305

第三部分大数据分析案例

第9章行业案例研究——银行、保险、证券、金融行业309

9.1银行业应用309

9.1.1大数据时代: 银行如何玩转数据挖掘309

9.1.2工商银行客户关系管理案例311

9.1.3银行风险管理314

9.2保险业应用318

9.2.1保险产业拥抱“大数据时代” 或带来颠覆性变革318

9.2.2保险欺诈识别320

9.3证券期货应用322

9.3.1安徽使用大数据监管证券期货322

9.3.2“大数据”分析挖出基金“老鼠仓”的启示323

9.4金融行业应用324

9.4.1汽车金融公司怎么实现大数据管理324

9.4.2大数据决定互联网金融未来326

9.4.3移动大数据在互联网金融反欺诈领域的应用329

9.5大数据应用案例之: 大吃一惊！大数据下的中国原来是这样的331

第四部分大数据技术现状及发展展望

第10章大数据技术发展前景339

10.1大数据引发新一代信息技术变革浪潮339

10.2大数据采集与预处理技术发展前景341

10.3大数据存储与管理技术发展前景342

10.4大数据计算模式与系统技术发展前景347

10.5大数据分析与挖掘技术发展前景351

10.6大数据可视化分析技术发展前景353

10.7大数据隐私与安全技术发展前景357

10.8大数据应用案例之: 数据解读城市: 北京本地人VS外地人360参考文献366