Hive数据仓库实践
￥42.00定价
作者： 冯明卿，袁帅，王晓燕
出版时间：2024-04
出版社：中国电力出版社
- 中国电力出版社
- 9787519885649
- 1版
- 517857
- 48256706-2
- 16开
- 2024-04
- 电子信息
- 高职
内容简介
本书为全国电力行业“十四五”规划教材。
本书以项目任务式，培养学生的Hive数据仓库实践能力。本书共分为八个项目，主要内容包括探索Hive开发环境、探索Hive数据之林、Hive数据管理、Hive数据智能探索、员工信息管理系统、实现数据存储与压缩的融合、数据智能调优、综合实践———智慧电商数据分析平台等。本书由学校教师与企业专家共同编写，应用项目式、理实一体化教学、思政教学，引入企业真实项目，并包含丰富的学习资源。同时提供丰富的微课视频、PPT课件、教案、题库、项目案例数据和代码。各章力求原理叙述清晰，易于理解，突出理论联系实际，辅以代码实践与指导，引领读者更好地理解与应用Hive数据仓库技术，快速迈进数据仓库与数据挖掘领域。本书可作为高职高专、职教本科、应用型本科等院校的大数据技术、软件技术、计算机科学与技术、数据科学与大数据技术等相关专业的教材，也可作为科研人员、工程师和大数据爱好者的参考书。
本书以项目任务式，培养学生的Hive数据仓库实践能力。本书共分为八个项目，主要内容包括探索Hive开发环境、探索Hive数据之林、Hive数据管理、Hive数据智能探索、员工信息管理系统、实现数据存储与压缩的融合、数据智能调优、综合实践———智慧电商数据分析平台等。本书由学校教师与企业专家共同编写，应用项目式、理实一体化教学、思政教学，引入企业真实项目，并包含丰富的学习资源。同时提供丰富的微课视频、PPT课件、教案、题库、项目案例数据和代码。各章力求原理叙述清晰，易于理解，突出理论联系实际，辅以代码实践与指导，引领读者更好地理解与应用Hive数据仓库技术，快速迈进数据仓库与数据挖掘领域。本书可作为高职高专、职教本科、应用型本科等院校的大数据技术、软件技术、计算机科学与技术、数据科学与大数据技术等相关专业的教材，也可作为科研人员、工程师和大数据爱好者的参考书。
目录
前言
项目一 探索Hive开发环境
学习目标 ……………………………………………………………………………………… 1
项目描述 ……………………………………………………………………………………… 1
任务一 Hadoop认知及虚拟开发环境部署 …………………………………………………… 1
一、 任务说明…………………………………………………………………………… 1
二、 知识引入…………………………………………………………………………… 2
三、 任务实现…………………………………………………………………………… 4
四、 拓展知识 ………………………………………………………………………… 18
五、 练习测验 ………………………………………………………………………… 18
任务二 数据仓库Hive认知及部署…………………………………………………………… 18
一、 任务说明 ………………………………………………………………………… 18
二、 知识引入 ………………………………………………………………………… 19
三、 任务实现 ………………………………………………………………………… 24
四、 拓展知识 ………………………………………………………………………… 34
五、 练习测验 ………………………………………………………………………… 34
项目二 探索Hive数据之林
学习目标……………………………………………………………………………………… 36
项目描述……………………………………………………………………………………… 36
任务 Hive基本数据类型 ……………………………………………………………………… 36
一、 任务说明 ………………………………………………………………………… 36
二、 知识引入 ………………………………………………………………………… 37
三、 任务实现 ………………………………………………………………………… 39
四、 拓展知识 ………………………………………………………………………… 44
五、 练习测验 ………………………………………………………………………… 44
项目三 Hive数据管理
学习目标……………………………………………………………………………………… 46
项目描述……………………………………………………………………………………… 46
任务一 定义员工信息表 ……………………………………………………………………… 47
一、 任务说明 ………………………………………………………………………… 47
二、 知识引入 ………………………………………………………………………… 47
三、 任务实现 ………………………………………………………………………… 56
四、 拓展知识 ………………………………………………………………………… 58
五、 练习测验 ………………………………………………………………………… 59
任务二 员工信息数据操作 …………………………………………………………………… 59
一、 任务说明 ………………………………………………………………………… 59
二、 知识引入 ………………………………………………………………………… 60
三、 任务实现 ………………………………………………………………………… 63
四、 拓展知识 ………………………………………………………………………… 65
五、 练习测验 ………………………………………………………………………… 65
项目四 Hive数据智能探索
学习目标……………………………………………………………………………………… 67
项目描述……………………………………………………………………………………… 67
任务一 员工信息基本查询 …………………………………………………………………… 68
一、 任务说明 ………………………………………………………………………… 68
二、 知识引入 ………………………………………………………………………… 68
三、 任务实现 ………………………………………………………………………… 76
四、 练习测验 ………………………………………………………………………… 80
任务二 员工信息高级查询 …………………………………………………………………… 80
一、 任务说明 ………………………………………………………………………… 80
二、 知识引入 ………………………………………………………………………… 81
三、 任务实现 ………………………………………………………………………… 93
四、 拓展知识 …………………………………………………………………………93
五、 练习测验 ………………………………………………………………………… 94
项目五 员工信息管理系统
学习目标……………………………………………………………………………………… 95
项目描述……………………………………………………………………………………… 95
任务一 Hive内置函数 ………………………………………………………………………… 96
一、 任务说明 ………………………………………………………………………… 96
二、 知识引入 ………………………………………………………………………… 96
三、 任务实现………………………………………………………………………… 109
四、 练习测验………………………………………………………………………… 112
任务二 Hive自定义函数 …………………………………………………………………… 112
一、 任务说明………………………………………………………………………… 112
二、 知识引入………………………………………………………………………… 113
三、 任务实现………………………………………………………………………… 115
四、 练习测验………………………………………………………………………… 117
项目六 实现数据存储与压缩的融合
学习目标 …………………………………………………………………………………… 118
项目描述 …………………………………………………………………………………… 118
任务一 Hadoop压缩配置 …………………………………………………………………… 118
一、 任务说明………………………………………………………………………… 118
二、 知识引入………………………………………………………………………… 119
三、 任务实现………………………………………………………………………… 120
四、 练习测验………………………………………………………………………… 122
任务二 文件存储格式………………………………………………………………………… 122
一、 任务说明………………………………………………………………………… 122
二、 知识引入………………………………………………………………………… 122
三、 任务实现………………………………………………………………………… _______125
四、 练习测验………………………………………………………………………… 128
任务三 存储和压缩结合……………………………………………………………………… 129
一、 任务说明………………………………………………………………………… 129
二、 知识引入………………………………………………………………………… 129
三、 任务实现………………………………………………………………………… 130
四、 练习测验………………………………………………………………………… 132
项目七 数据智能调优
学习目标 …………………………………………………………………………………… 133
项目描述 …………………………………………………………………………………… 133
任务一 表的优化……………………………………………………………………………… 133
一、 任务说明………………………………………………………………………… 133
二、 知识引入………………………………………………………………………… 134
三、 任务实现………………………………………………………………………… 136
四、 练习测验………………………………………………………………………… 141
任务二 MR引擎调优………………………………………………………………………… 141
一、 任务说明………………………………………………………………………… 141
二、 知识引入………………………………………………………………………… 142
三、 任务实现………………………………………………………………………… 144
四、 练习测验………………………………………………………………………… 145
项目八 综合实践——智慧电商数据分析平台
学习目标 …………………………………………………………………………………… 147
项目描述 …………………………………………………………………………………… 147
一、 项目目标………………………………………………………………………… 147
二、 项目实施步骤…………………………………………………………………… 148
任务一 项目准备……………………………………………………………………………… 148
一、 需求分析………………………………………………………………………… 148
二、 数据结构………………………………………………………………………… 149
三、 平台环境数据准备……………………………………………………………… 151
任务二 项目实现……………………………………………………………………………… 153
一、 总体运营指标…………………………………………………………………… 153
二、 流量类指标……………………………………………………………………… 159
三、 网站销售类指标………………………………………………………………… 163
四、 商品类指标……………………………………………………………………… 166
五、 营销类指标……………………………………………………………………… 168
六、 物流类指标……………………………………………………………………… 170
任务三 数据展示……………………………………………………………………………… 172
一、 可视化软件介绍………………………………………………………………… 172
二、 可视化软件安装………………………………………………………………… 172
三、 数据展示………………………………………………………………………… 173
项目一 探索Hive开发环境
学习目标 ……………………………………………………………………………………… 1
项目描述 ……………………………………………………………………………………… 1
任务一 Hadoop认知及虚拟开发环境部署 …………………………………………………… 1
一、 任务说明…………………………………………………………………………… 1
二、 知识引入…………………………………………………………………………… 2
三、 任务实现…………………………………………………………………………… 4
四、 拓展知识 ………………………………………………………………………… 18
五、 练习测验 ………………………………………………………………………… 18
任务二 数据仓库Hive认知及部署…………………………………………………………… 18
一、 任务说明 ………………………………………………………………………… 18
二、 知识引入 ………………………………………………………………………… 19
三、 任务实现 ………………………………………………………………………… 24
四、 拓展知识 ………………………………………………………………………… 34
五、 练习测验 ………………………………………………………………………… 34
项目二 探索Hive数据之林
学习目标……………………………………………………………………………………… 36
项目描述……………………………………………………………………………………… 36
任务 Hive基本数据类型 ……………………………………………………………………… 36
一、 任务说明 ………………………………………………………………………… 36
二、 知识引入 ………………………………………………………………………… 37
三、 任务实现 ………………………………………………………………………… 39
四、 拓展知识 ………………………………………………………………………… 44
五、 练习测验 ………………………………………………………………………… 44
项目三 Hive数据管理
学习目标……………………………………………………………………………………… 46
项目描述……………………………………………………………………………………… 46
任务一 定义员工信息表 ……………………………………………………………………… 47
一、 任务说明 ………………………………………………………………………… 47
二、 知识引入 ………………………………………………………………………… 47
三、 任务实现 ………………………………………………………………………… 56
四、 拓展知识 ………………………………………………………………………… 58
五、 练习测验 ………………………………………………………………………… 59
任务二 员工信息数据操作 …………………………………………………………………… 59
一、 任务说明 ………………………………………………………………………… 59
二、 知识引入 ………………………………………………………………………… 60
三、 任务实现 ………………………………………………………………………… 63
四、 拓展知识 ………………………………………………………………………… 65
五、 练习测验 ………………………………………………………………………… 65
项目四 Hive数据智能探索
学习目标……………………………………………………………………………………… 67
项目描述……………………………………………………………………………………… 67
任务一 员工信息基本查询 …………………………………………………………………… 68
一、 任务说明 ………………………………………………………………………… 68
二、 知识引入 ………………………………………………………………………… 68
三、 任务实现 ………………………………………………………………………… 76
四、 练习测验 ………………………………………………………………………… 80
任务二 员工信息高级查询 …………………………………………………………………… 80
一、 任务说明 ………………………………………………………………………… 80
二、 知识引入 ………………………………………………………………………… 81
三、 任务实现 ………………………………………………………………………… 93
四、 拓展知识 …………………………………………………………………………93
五、 练习测验 ………………………………………………………………………… 94
项目五 员工信息管理系统
学习目标……………………………………………………………………………………… 95
项目描述……………………………………………………………………………………… 95
任务一 Hive内置函数 ………………………………………………………………………… 96
一、 任务说明 ………………………………………………………………………… 96
二、 知识引入 ………………………………………………………………………… 96
三、 任务实现………………………………………………………………………… 109
四、 练习测验………………………………………………………………………… 112
任务二 Hive自定义函数 …………………………………………………………………… 112
一、 任务说明………………………………………………………………………… 112
二、 知识引入………………………………………………………………………… 113
三、 任务实现………………………………………………………………………… 115
四、 练习测验………………………………………………………………………… 117
项目六 实现数据存储与压缩的融合
学习目标 …………………………………………………………………………………… 118
项目描述 …………………………………………………………………………………… 118
任务一 Hadoop压缩配置 …………………………………………………………………… 118
一、 任务说明………………………………………………………………………… 118
二、 知识引入………………………………………………………………………… 119
三、 任务实现………………………………………………………………………… 120
四、 练习测验………………………………………………………………………… 122
任务二 文件存储格式………………………………………………………………………… 122
一、 任务说明………………………………………………………………………… 122
二、 知识引入………………………………………………………………………… 122
三、 任务实现………………………………………………………………………… _______125
四、 练习测验………………………………………………………………………… 128
任务三 存储和压缩结合……………………………………………………………………… 129
一、 任务说明………………………………………………………………………… 129
二、 知识引入………………………………………………………………………… 129
三、 任务实现………………………………………………………………………… 130
四、 练习测验………………………………………………………………………… 132
项目七 数据智能调优
学习目标 …………………………………………………………………………………… 133
项目描述 …………………………………………………………………………………… 133
任务一 表的优化……………………………………………………………………………… 133
一、 任务说明………………………………………………………………………… 133
二、 知识引入………………………………………………………………………… 134
三、 任务实现………………………………………………………………………… 136
四、 练习测验………………………………………………………………………… 141
任务二 MR引擎调优………………………………………………………………………… 141
一、 任务说明………………………………………………………………………… 141
二、 知识引入………………………………………………………………………… 142
三、 任务实现………………………………………………………………………… 144
四、 练习测验………………………………………………………………………… 145
项目八 综合实践——智慧电商数据分析平台
学习目标 …………………………………………………………………………………… 147
项目描述 …………………………………………………………………………………… 147
一、 项目目标………………………………………………………………………… 147
二、 项目实施步骤…………………………………………………………………… 148
任务一 项目准备……………………………………………………………………………… 148
一、 需求分析………………………………………………………………………… 148
二、 数据结构………………………………………………………………………… 149
三、 平台环境数据准备……………………………………………………………… 151
任务二 项目实现……………………………………………………………………………… 153
一、 总体运营指标…………………………………………………………………… 153
二、 流量类指标……………………………………………………………………… 159
三、 网站销售类指标………………………………………………………………… 163
四、 商品类指标……………………………………………………………………… 166
五、 营销类指标……………………………………………………………………… 168
六、 物流类指标……………………………………………………………………… 170
任务三 数据展示……………………………………………………………………………… 172
一、 可视化软件介绍………………………………………………………………… 172
二、 可视化软件安装………………………………………………………………… 172
三、 数据展示………………………………………………………………………… 173
