基本信息

• 商品名称：Spark核心源码分析与开发实战/大数据科学丛书
• 作者：编者:王家林//王雁军//王家虎
• 定价：75
• 出版社：机械工业
• ISBN号：9787111528609

其他参考信息（以实物为准）

• 出版时间：2016-04-01
• 印刷时间：2016-04-01
• 版次：1
• 印次：1
• 开本：16开
• 包装：平装
• 页数：432
• 字数：685千字

内容提要

王家林、王雁军、王家虎编著的《Spark核心源 码分析与开发实战》是一本全面介绍Spark以及Spark 生态系统相关技术的书籍。主要内容包括Spark系统 概述、Spark安装和集群的部署、RDD编程实践、 spark的运行模式、spark的运行机制以及Spark的四 大子框架(SparkSQL、spark streaming、Spark Graphx、MLlib)。本书通过理论和实践相结合的方式 对spark的核心框架和生态圈做了详细的解读，不仅 对Spark的原理进行详细阐述，还结合spark的源码和 案例操作介绍了Spark框架的优雅和丰富的表现力。
     本书适合大数据从业者、Spark技术爱好者阅读 。相信通过学习本书，读者能够熟悉和掌握Spark这 一当前流行的大数据计算框架，并将其投入到实践中 去。
    

目录

**章 Spark系统概述
1.1 Spark是什么
1.2 Spark生态系统BDAS
1.2.1 Spark Core
1.2.2 Spark SQL
1.2.3 Spark Streaming
1.2.4 Spark GraphX
1.2.5 MLlib
1.2.6 Tachyon
1.2.7 BlinkDB
思考题
第2章 Spark安装和集群部署
2.1 搭建Hadoop分布式集群
2.1.1 安装VMware虚拟机
2.1.2 安装Ubuntu的镜像文件
2.1.3 安装JDK
2.1.4 搭建另外两台Ubuntu系统并配置SSH免密码登录
2.1.5 安装Hadoop和搭建Hadoop分布式集群
2.2 Spark安装和集群部署
2.2.1 安装Scala
2.2.2 安装Spark和集群部署
2.3 测试Spark集群
2.3.1 通过Spark提供的示例LocalPi测试Spark集群
2.3.2 通过Spark Shell测试Spark集群
思考题
第3章 Spark RDD与Spark API编程实践
3.1 RDD介绍
3.1.1 RDD是Spark的核心抽象
3.1.2 RDD的特征
3.2 RDD的操作分类
3.2.1 输入操作
3.2.2 转换操作
3.2.3 行动操作
3.2.4 控制操作
3.3 Spark Shell下的Spark API编程实践
3.3.1 Local模式下实践map、filter和collect方法
3.3.2 集群模式下实践textFile、sortByKey和saveAstextFile方法
3.3.3 集群模式下实践union、join、reduce和lookup方法
3.3.4 搜狗日志数据分析实践
3.4 基于IntelliJ IDEA使用Spark API开发应用程序
3.4.1 搭建和设置IntelliJ IDEA开发环境
3.4.2 在IntelliJ IDEA下开发并部署Spark应用程序
3.4.3 使用SBT编译Spark应用程序
3.4.4 使用Maven构建Spark应用程序
3.4.5 Spark工具
思考题
第4章 Spark的运行模式
4.1 Spark的运行模式概览
4.1.1 Spark的基本工作流程
4.1.2 Spark应用程序部署
4.2 Local模式
4.2.1 Local模式实例部署及运行演示
4.2.2 Local模式内部实现原理
4.3 Standalone模式
4.3.1 Standalone模式实例部署及运行演示
4.3.2 Standalone模式内部实现原理
4.4 Yarn-Cluster模式
4.4.1 Yarn-Cluster模式实例部署及运行演示
4.4.2 Yarn-Cluster模式内部实现原理
4.5 Yarn-Client模式
4.5.1 Yarn-Client模式实例部署及运行演示
4.5.2 Yarn-Client模式内部实现原理
4.6 Mesos模式
4.6.1 Mesos模式实例部署及运行演示
4.6.2 Mesos模式内部实现原理
思考题
第5章 Spark的运行机制
5.1 Spark集群的架构
5.2 Spark的作业和任务调度
5.2.1 Spark Application提交
5.2.2 作业（Job）提交
5.2.3 DAGScheduler划分Stage并提交
5.2.4 TaskScheduler提交Task
5.2.5 Executor运行Task并返回结果
5.2.6 Driver的处理
5.3 容错机制
5.3.1 Lineage机制
5.3.2 Checkpoint机制
5.4 Storage存储模块
5.4.1 Storage模块整体架构
5.4.2 缓存实现原理
5.4.3 缓存策略
5.5 Spark的消息传递机制Akka
5.5.1 Akka架构解析
5.5.2 Akka驱动下的start-all.sh源码解析
5.6 Shuffle机制
5.6.1 Shuffle的原理
5.6.2 Shuffle的写操作
5.6.3 Shuffle的读操作
5.7 共享变量
5.7.1 广播变量
5.7.2 累加器
5.8 Spark性能调优
5.8.1 数据序列化
5.8.2 内存优化
5.8.3 其他优化方法
思考题
第6章 Spark SQL
6.1 Spark SQL原理和实现
6.1.1 Spark SQL简介
6.1.2 Spark SQL运行架构
6.1.3 Hive在Spark上的使用
6.1.4 源码解析SQL语句和HiveQL语句的执行过程
6.2 Spark SQL的操作实例
6.2.1 文本文件操作以及DSL操作
6.2.2 Parquet文件以及JSON文件操作
6.2.3 Hive数据操作演示（订单交易数据操作）
6.2.4 Spark SQL处理交通数据实战
思考题
第7章 Spark Streaming
7.1 Spark Streaming运行原理
7.1.1 Spark Streaming简介
7.1.2 编程模型DStream
7.1.3 容错和持久化
7.1.4 性能调优
7.1.5 监控应用
7.2 源码解析Spark Streaming的运行过程
7.2.1 StreamingContext初始化并启动
7.2.2 数据接收
7.2.3 数据处理
7.3 Spark Streaming操作实例演示
7.3.1 文本数据操作实例演示
7.3.2 网络数据操作实例——销售模拟器演示
7.3.3 有状态（Stateful）操作实例演示
7.3.4 Window操作实例演示
7.3.5 SparkStreaming处理多源数据实战
思考题
第8章 Spark GraphX
8.1 图的定义和应用
8.1.1 图的定义
8.1.2 图的应用
8.2 Spark GraphX简介
8.2.1 弹性分布式属性图
8.2.2 Spark GraphX图的切分和存储策略
8.2.3 Spark GraphX图的操作
8.3 Spark GraphX架构
8.3.1 Pregel图计算框架
8.3.2 Spark GraphX的实现
8.3.3 Spark GraphX图算法的实现方法
8.4 Spark GraphX图操作实例
8.4.1 基于Spark GraphX的属性图的操作实例
8.4.2 Spark GraphX图算法操作实例
思考题
第9章 MLlib
9.1 机器学习简介
9.1.1 机器学习的定义
9.1.2 机器学习的分类
9.1.3 机器学习的常用算法
9.2 MLlib的简介
9.2.1 什么是MLlib
9.2.2 MLlib的架构
9.2.3 MLlib的数据类型
9.2.4 MLlib的算法
9.3 MLlib常用算法操作实践
9.3.1 K-Means算法解析和实践
9.3.2 协同过滤算法分析和案例实践
思考题