本书从大数据基础原理、大数据分析方法和大数据行业应用三个部分介绍大数据技术。全书共12章，内容包含大数据的基本概念，分布式基础架构Hadoop，分布式文件系统HDFS，NoSQL数据库，分布式计算框架MapReduce，大数据基本分析方法（聚类、分类与预测），大数据在搜索引擎、推荐系统以及其他行业的应用。本书在前7章设置8个实验，帮助读者初步掌握大数据技术、大数据分析与大数据应用的相关知识与操作技能。
样章试读
目录
- 目录
前言
第1章 大数据概述 1
1.1 什么是大数据 1
1.1.1 关于大数据的预言 1
1.1.2 触发大数据产生的三种技术 2
1.1.3 大数据形成中遇到的问题及解决方案 3
1.1.4 各方对大数据的定义 4
1.2 大数据的类型与特征 4
1.2.1 按照数据结构分类 4
1.2.2 按照生产主体分类 6
1.2.3 按照作用方式分类 6
1.2.4 大数据的特征 7
1.3 大数据的思维方式 8
1.4 大数据的技术流程 9
1.4.1 总体处理流程 9
1.4.2 数据采集与数据预处理 10
1.4.3 数据存储 10
1.4.4 数据分析与数据挖掘 11
1.5 主流的大数据平台 11
1.5.1 Hadoop 12
1.5.2 Spark 12
1.5.3 Storm 13
1.5.4 Flink 13
1.5.5 主流的大数据平台比较 14
1.6 大数据集群的部署方式 14
1.6.1 分布式 14
1.6.2 云架构 15
1.7 实验1：熟悉虚拟环境、Linux、Java 17
1.7.1 安装VMware 17
1.7.2 Linux基本命令 21
1.7.3 在Linux中安装Java环境 22
1.8 习题与思考 23
第2章 分布式基础架构Hadoop 24
2.1 什么是Hadoop 24
2.2 Hadoop的发展历史 25
2.3 Hadoop的基本特性 27
2.4 深入了解Hadoop 28
2.4.1 Hadoop的体系结构 28
2.4.2 Hadoop的并行开发 30
2.4.3 Hadoop的生态系统 31
2.5 Hadoop与其他技术和框架 33
2.5.1 Hadoop与关系型数据库 33
2.5.2 Hadoop与云计算 34
2.6 实验2：快速搭建Hadoop集群环境 34
2.6.1 准备工作 34
2.6.2 安装配置虚拟机 35
2.6.3 配置固定IP并测试 35
2.6.4 克隆虚拟机 36
2.6.5 配置SSH无密码登录 36
2.6.6 配置时间同步服务 37
2.6.7 安装JDK 38
2.6.8 上传、解压Hadoop安装包 38
2.6.9 配置Hadoop 38
2.6.10 启动集群 41
2.6.11 查看集群监控 41
2.7 习题与思考 42
第3章 分布式文件系统HDFS 43
3.1 什么是HDFS 43
3.1.1 文件系统和计算机集群 43
3.1.2 分布式文件系统 43
3.1.3 HDFS 45
3.1.4 HDFS的优点和缺点 48
3.2 HDFS中的概念 48
3.2.1 块 49
3.2.2 三级寻址和元数据 49
3.2.3 命名空间 50
3.2.4 名称节点 51
3.2.5 第二名称节点 52
3.2.6 数据节点 53
3.2.7 客户端 54
3.2.8 心跳机制 54
3.2.9 块缓存 54
3.3 HDFS的存储原理 55
3.3.1 冗余存储机制 55
3.3.2 数据存取策略 55
3.3.3 数据的错误与恢复 56
3.4 HDFS的数据读写过程 57
3.4.1 RPC实现流程 57
3.4.2 文件的读流程 58
3.4.3 文件的写流程 59
3.5 HDFS的命令、界面及API 60
3.5.1 HDFS的主要命令 60
3.5.2 HDFS的Web界面 61
3.5.3 HDFS常用的Java API 61
3.6 实验3：HDFS编程实践 62
3.6.1 在Eclipse中创建项目 63
3.6.2 为项目添加需要用到的JAR包 63
3.6.3 编写Java应用程序 63
3.6.4 编译运行程序 65
3.6.5 应用程序的部署 65
3.7 习题与思考 67
第4章 NoSQL数据库 68
4.1 关系型数据库 68
4.1.1 关系模型 69
4.1.2 设计数据库 71
4.1.3 使用数据库 72
4.1.4 数据库恢复和数据保护 73
4.2 非关系型数据库NoSQL 74
4.2.1 关系型数据库和NoSQL的比较 75
4.2.2 NoSQL的基础理论 76
4.3 NoSQL数据库的分类 79
4.3.1 列族数据库 80
4.3.2 键值数据库 82
4.3.3 文档数据库 83
4.3.4 图数据库 84
4.3.5 四种NoSQL数据库的比较 85
4.4 列族数据库—HBase 85
4.4.1 HBase概述 85
4.4.2 HBase的数据模型 86
4.4.3 HBase的实现原理 88
4.4.4 HBase的系统架构 91
4.5 实验4：HBase的基本操作 92
4.5.1 HBase的安装 92
4.5.2 HBase的配置 93
4.5.3 使用Shell命令操作HBase 95
4.5.4 用程序操作HBase 96
4.6 文档数据库MongoDB 100
4.6.1 MongoDB概述 100
4.6.2 MongoDB的体系结构 101
4.6.3 MongoDB的数据类型 104
4.7 实验5：MongoDB的基本操作 107
4.7.1 MongoDB的安装 107
4.7.2 MongoDB的基本操作 108
4.7.3 MongoDB的索引操作 114
4.7.4 MongoDB的聚合操作 115
4.8 习题与思考 117
第5章 MapReduce原理 118
5.1 什么是MapReduce 118
5.1.1 MapReduce模型 118
5.1.2 MapReduce函数 120
5.2 MapReduce的体系架构 122
5.2.1 MapReduce的工作主体 122
5.2.2 MapReduce的工作流程 124
5.2.3 MapReduce的执行过程 125
5.2.4 Map任务和Reduce任务 127
5.3 Shuffle的具体过程 127
5.3.1 Shuffle过程简介 128
5.3.2 输入数据和执行Map任务 129
5.3.3 Partition操作 129
5.3.4 Sort操作 130
5.3.5 Combine操作 130
5.3.6 Merge操作 131
5.4 MapReduce的数学应用 132
5.4.1 在关系代数运算中的应用 132
5.4.2 分组与聚合运算 133
5.4.3 矩阵-向量乘法 133
5.4.4 矩阵乘法 134
5.5 习题与思考 135
第6章 MapReduce实践案例 136
6.1 实验6：WordCount 136
6.1.1 实验需求 136
6.1.2 实验设计 136
6.1.3 执行过程 137
6.1.4 实验分析 138
6.1.5 WordCount编程实践 139
6.2 实验7：MapReduce统计气象数据 142
6.2.1 实验需求 142
6.2.2 数据格式 142
6.2.3 实验分析 143
6.3 习题与思考 147
第7章 基于大数据的聚类分析 148
7.1 聚类分析概述 148
7.1.1 聚类分析的定义 148
7.1.2 聚类算法的分类 149
7.1.3 相似性的测度 150
7.2 基于划分的聚类算法k-means 153
7.2.1 k-means聚类算法 153
7.2.2 k-means聚类算法的拓展 155
7.3 层次聚类算法 157
7.3.1 AGNES算法 158
7.3.2 DIANA算法 160
7.4 实验8：k-means算法的MapReduce实现 161
7.4.1 实验内容与实验要求 161
7.4.2 实验数据与实验目标 162
7.4.3 实现思路 162
7.4.4 代码实现 163
7.4.5 实验结果 164
7.5 习题与思考 166
第8章 基于大数据的分类分析 167
8.1 分类问题概述 167
8.1.1 学习阶段 167
8.1.2 分类阶段 168
8.2 k-最近邻算法 169
8.2.1 KNN算法原理 169
8.2.2 KNN算法的特点及改进 172
8.3 决策树分类方法 173
8.3.1 决策树概述 173
8.3.2 信息论 177
8.3.3 ID3算法 179
8.3.4 算法改进：C4.5算法 183
8.4 贝叶斯分类方法 187
8.4.1 贝叶斯定理 188
8.4.2 朴素贝叶斯分类器 189
8.4.3 朴素贝叶斯分类方法的改进 192
8.5 习题与思考 195
第9章 基于大数据的预测分析 196
9.1 大数据预测方法概述 196
9.1.1 预测的定义 196
9.1.2 预测方法的划分 196
9.1.3 预测的基本步骤 199
9.2 回归分析预测 201
9.2.1 回归分析概述 201
9.2.2 线性回归 201
9.2.3 多项式回归 204
9.2.4 逻辑斯谛回归 205
9.3 时间序列预测 208
9.3.1 时间序列概述 208
9.3.2 时间序列平滑法 210
9.4 习题与思考 215
第10章 大数据在搜索引擎中的应用 216
10.1 应用现状概述 216
10.1.1 搜索引擎的概念 216
10.1.2 国内外搜索引擎的应用现状 216
10.1.3 大数据与搜索引擎优化 217
10.2 基本实现原理 217
10.3 搜索引擎的大数据时代 221
10.3.1 谷歌的大数据应用 221
10.3.2 百度的大数据应用 222
10.3.3 雅虎的大数据应用 224
10.4 习题与思考 224
第11章 大数据在推荐系统中的应用 226
11.1 应用现状概述 226
11.1.1 推荐系统的概念 226
11.1.2 推荐系统的应用 227
11.2 基本实现原理 227
11.2.1 推荐系统模型 227
11.2.2 推荐系统的主要算法 228
11.2.3 协同过滤实践 233
11.3 应用案例 236
11.3.1 智能推荐引擎 237
11.3.2 智能推荐引擎系统架构 237
11.3.3 用户画像 238
11.4 习题与思考 238
第12章 大数据在其他行业中的应用 239
12.1 大数据行业应用 239
12.1.1 大数据行业应用现状 239
12.1.2 大数据行业应用模式 239
12.1.3 大数据行业应用概览 240
12.1.4 大数据应用的时代划分 240
12.2 大数据在医疗卫生行业中的应用 242
12.2.1 应用现状概述 242
12.2.2 应用案例—Nference对COVID-19的研究 243
12.2.3 医疗大数据的发展趋势 244
12.3 大数据在智慧物流中的应用 244
12.3.1 应用现状概述 245
12.3.2 应用案例—京东无人车 245
12.3.3 智慧物流的发展趋势 246
12.4 大数据在智慧城市中的应用 246
12.4.1 智慧城市的概念 246
12.4.2 大数据在城市交通领域中的应用 247
12.4.3 大数据在市民生活领域中的应用 247
12.5 大数据在金融行业中的应用 248
12.5.1 大数据在银行中的应用 248
12.5.2 大数据在证券行业中的应用 248
12.5.3 大数据在保险行业中的应用 249
12.5.4 大数据在支付清算行业中的应用 249
12.6 大数据面临的挑战和发展前景 249
12.6.1 大数据面临的挑战 249
12.6.2 大数据的发展前景 250
12.7 习题与思考 251
参考文献 253
京公网安备 11010102004214号