图书介绍

Spark SQL入门与实践指南pdf电子书版本下载

Spark SQL入门与实践指南
  • 纪涵,靖晓文,赵政达著 著
  • 出版社: 北京:清华大学出版社
  • ISBN:9787302496700
  • 出版时间:2018
  • 标注页数:200页
  • 文件大小:37MB
  • 文件页数:212页
  • 主题词:数据处理软件-指南

PDF下载


点此进入-本书在线PDF格式电子书下载【推荐-云解压-方便快捷】直接下载PDF格式图书。移动端-PC端通用
种子下载[BT下载速度快] 温馨提示:(请使用BT下载软件FDM进行下载)软件下载地址页 直链下载[便捷但速度慢]   [在线试读本书]   [在线获取解压码]

下载说明

Spark SQL入门与实践指南PDF格式电子书版下载

下载的文件为RAR压缩包。需要使用解压软件进行解压得到PDF格式图书。

建议使用BT下载工具Free Download Manager进行下载,简称FDM(免费,没有广告,支持多平台)。本站资源全部打包为BT种子。所以需要使用专业的BT下载软件进行下载。如 BitComet qBittorrent uTorrent等BT下载工具。迅雷目前由于本站不是热门资源。不推荐使用!后期资源热门了。安装了迅雷也可以迅雷进行下载!

(文件页数 要大于 标注页数,上中下等多册电子书除外)

注意:本站所有压缩包均有解压码: 点击下载压缩包解压工具

图书目录

第一部分 入门篇 3

第1章 初识Spark SQL 3

1.1 Spark SQL的前世今生 3

1.2 Spark SQL能做什么 4

第2章 Spark安装、编程环境搭建以及打包提交 6

2.1 Spark的简易安装 6

2.2 准备编写Spark应用程序的IDEA环境 10

2.3 将编写好的Spark应用程序打包成jar提交到Spark上 18

第二部分 基础篇 23

第3章 Spark上的RDD编程 23

3.1 RDD基础 24

3.1.1 创建RDD 24

3.1.2 RDD转化操作、行动操作 24

3.1.3 惰性求值 25

3.1.4 RDD缓存概述 26

3.1.5 RDD基本编程步骤 26

3.2 RDD简单实例—wordcount 27

3.3 创建RDD 28

3.3.1 程序内部数据作为数据源 28

3.3.2 外部数据源 29

3.4 RDD操作 33

3.4.1 转化操作 34

3.4.2 行动操作 37

3.4.3 惰性求值 38

3.5 向Spark传递函数 39

3.5.1 传入匿名函数 39

3.5.2 传入静态方法和传入方法的引用 40

3.5.3 闭包的理解 41

3.5.4 关于向Spark传递函数与闭包的总结 42

3.6 常见的转化操作和行动操作 42

3.6.1 基本RDD转化操作 43

3.6.2 基本RDD行动操作 48

3.6.3 键值对RDD 52

3.6.4 不同类型RDD之间的转换 56

3.7 深入理解RDD 57

3.8 RDD缓存、持久化 59

3.8.1 RD D缓存 59

3.8.2 RD D持久化 61

3.8.3 持久化存储等级选取策略 63

3.9 RDD checkpoint容错机制 64

第4章 Spark SQL编程入门 66

4.1 Spark SQL概述 66

4.1.1 Spark SQL是什么 66

4.1.2 Spark SQL通过什么来实现 66

4.1.3 Spark SQL处理数据的优势 67

4.1.4 Spark SQL数据核心抽象——DataFrame 67

4.2 Spark SQL编程入门示例 69

4.2.1 程序主入口:SparkSession 69

4.2.2 创建DataFrame 70

4.2.3 DataFrame基本操作 70

4.2.4 执行SQL查询 72

4.2.5 全局临时表 73

4.2.6 Dataset 73

4.2.7 将RDDs转化为DataFrame 75

4.2.8 用户自定义函数 78

第5章 Spark SQL的DataFrame操作大全 82

5.1 由JSON文件生成所需的DataFrame对象 82

5.2 DataFrame上的行动操作 84

5.3 DataFrame上的转化操作 91

5.3.1 where条件相关 92

5.3.2 查询指定列 94

5.3.3 思维开拓:Column的巧妙应用 99

5.3.4 limit操作 102

5.3.5 排序操作:order by和sort 103

5.3.6 group by操作 106

5.3.7 distinct、 dropDuplicates去重操作 107

5.3.8 聚合操作 109

5.3.9 union合并操作 110

5.3.10 join操作 111

5.3.11 获取指定字段统计信息 114

5.3.12 获取两个DataFrame中共有的记录 116

5.3.13 获取一个DataFrame中有另一个DataFrame中没有的记录 116

5.3.14 操作字段名 117

5.3.15 处理空值列 118

第6章 Spark SQL支持的多种数据源 121

6.1 概述 121

6.1.1 通用load/save函数 121

6.1.2 手动指定选项 123

6.1.3 在文件上直接进行SQL查询 123

6.1.4 存储模式 123

6.1.5 持久化到表 124

6.1.6 bucket、排序、分区操作 124

6.2 典型结构化数据源 125

6.2.1 Parquet文件 125

6.2.2 JSON数据集 129

6.2.3 Hive表 130

6.2.4 其他数据库中的数据表 133

第三部分 实践篇 139

第7章 Spark SQL工程实战之基于WiFi探针的商业大数据分析技术 139

7.1 功能需求 139

7.1.1 数据收集 139

7.1.2 数据清洗 140

7.1.3 客流数据分析 141

7.1.4 数据导出 142

7.2 系统架构 142

7.3 功能设计 143

7.4 数据库结构 144

7.5 本章小结 144

第8章 第一个Spark SQL应用程序 145

8.1 完全分布式环境搭建 145

8.1.1 Java环境配置 145

8.1.2 Hadoop安装配置 146

8.1.3 Spark安装配置 149

8.2 数据清洗 150

8.3 数据处理流程 153

8.4 Spark程序远程调试 164

8.4.1 导出jar包 164

8.4.2 IDEA配置 168

8.4.3 服务端配置 170

8.5 Spark的Web界面 171

8.6 本章小结 172

第四部分 优化篇 175

第9章 让Spark程序再快一点 175

9.1 Spark执行流程 175

9.2 Spark内存简介 176

9.3 Spark的一些概念 177

9.4 Spark编程四大守则 178

9.5 Spark调优七式 183

9.6 解决数据倾斜问题 192

9.7 Spark执行引擎Tungsten简介 195

9.8 Spark SQL解析引擎Catalyst简介 197

9.9 本章小结 200

精品推荐