多种网盘链接检测插件 购买前，请先检测网盘链接是否有效
《循序渐进学Spark》_1
《循序渐进学Spark》_2
《循序渐进学Spark》_3
内容简介：
技术丛书
Learning Spark Step By Ste
循序渐进学 Spark
小象学院杨磊著
P想甚
图书在版编目(CIP)数据
循序渐进学 Spark/杨品著,一北京:机械工业出版社,2017.3
ISBN978-7-111-56332-7
1.循…Ⅱ.杨…II.数据处理软件IV.TP274
中guo版本图书馆CIP数据核字(2017)第050735号
循序渐进学 Spark
出版发行:机械工业出版社(土東市西球区万王大22号破:1000
责任绵:何欣田
责任校对;Li秋荣
印刷:北京诚信伟业有限公司
版次:2017年4月第1版第1次印
开本:186mm×x240mm1/16
印张:15.75
书号:ISBN978-7-111-56332-7
定价:59.00元
凡购本书,如有缺页、倒页、脱
客服热线
投稿热 010)88379604
书热线010)6832629488379649
版权所有·侵权必
封底无防伪标均为盗版
前言
Spark诞生于美guo加州大学伯克利分校AMP实验室。随着大数据技术在互联网、金融
等领域的突破式进展, Spark在近些年得到更为广泛的应用。这是一个核心贡献者超过一半
为华人的大数据平台开源项目,且正处于飞速发展、快速成熟的阶段
为什么写这本书
Spark已经成为大数据计算、分析领域新的热点和发展方向。相对于 Hadoop传统的
Mapreduce计算模型,Spak提供更为高效的计算框架以及更为丰富的功能,因此在大数据
生产应用领域中不断攻城略地,势如破竹
与企业不断涌现的对大数据技术的需求相比,大数据人オ还存在很大缺口,对大数据
技术充满期许的新人正在源源不断地加入这个领域。在小象学院的教学实践过程中,我们
发现,一本能完整系统地介绍 Spark各模块原理并兼顾使用实战的书,对于初人大数据领
域的技术人员至关重要。于是,我们根据ri常积累的经验,著成本书
Spak作为一个高速发展的开源项目,最近也发布了全新的 Spark2.0版本。对于 Spark
2.0版本的新特性,我们也专门给予描述,以期将最前沿的 Spark技术奉献给读者
本书面向的读者
Spark初学者
口 Spark应用开发人员
口大数据技术爱好者
如何阅读本书
本书共分8章
第1章介绍了Spa数据处理框架的基本概念、主要组成部分、基本架构,以及
Spak集群环境搭建和 Spark开发环境的构建方法。
第2章引入 Spark编程中的核心一一RDD弹性分布式数据集,以典型的缩程范例,讲
解基于RDD的算子操作。
第3章主要讲述了 Spark的工作机制与原理,剖析了 Spark的提交和执行时的具体机
制,重点强调了 Spark程序的宏观执行过程。此外,更深入地剖析了 Spark的存储及10
通信机制、容错机制和 Shunde机制
第4章对 Spark的代码布局做了宏观介绍,并对Spak的执行主线进行详细剖析,从
代码层面详细讲述RDD是如何落地到 Worker上执行的。同时,本章从另一个角度分析了
Cint、 Master与 Worker之间的交互过程,深人讲述了 Spark的两个重要功能点及Spak
Shuffle与 Spark存储机制
第5章介绍了YARN的基本原理及基于YARN的 Spark程序提交,并结合从程序提交
到落地执行的过程,详细介绍了各个阶段的资源管理和调度职能。在本章的后半部分,主
要从资源配置的角度对YARN及基于YARN的 Spark做了较为详细的介绍
第6章一一讲解了BDAS中的主要模块。由 Spark SQL开始,介绍了 Spark SQL及其
绵程模型和 Dataframe。接着深入讲解 Spark生态中用于流式计算的模块 Spark Streaming
之后,讲解了 Spark R的基本概念及操作。最后针对机器学习的流行趋势,重点介绍了
Spark Mllib的架构及编程应用,以及机器学习的基本概念和基本算法
第7章首先详细叙述了 Spark调优的几个重要方面,接着给出了工业实践中常见的
些问题,以及解决问题的常用策略,最后启发读者在此基础上进一步思考和探索。
第8章描述了 Spark2.0.0发布之后, Spark Core、 Spark SQL、MLib、 Spark Streaming
Spark R等模块AP的变化以及新增的功能特性等。对于变化较大的 Spark SQL,书中用实
际的代码样例更详细地说明和讲解了 Sparksession、结构化 Streaming等新特性
对于Spak的初学者或希望从零开始详细了解 Spark技术的读者,请从第1章开始通读
全书;对于有一定Spak基础的研究者,可从第4章开始阅读;如果只想了解Spak最基本
的原理,阅读第1-3章即可
资源和勘误
本书大量资源来源于小象学院专家团队在大数据项目开发以及Spak教学课程中的经
验积累。本书内容的撰写也参考了大量官方文档(htp/spark. apache.orgy)
由于 Spark技术正在飞速发展,加之笔者水平有限,书中难免存在谬误,也可能存
在若干技术细节描述不详尽之处,恳请读者批评指正。欢迎大家关注微 信服务号“小象学
院”,把您的意见或者建议反馈给我们。
首先应该感谢 Apache Spark的开源贡献者们, Spark是当今大数据领域伟大的开源项目
之一,没有这一开源项目,便没有本书。
本书以小象学院git项目方式管理。感谢姜冰钰、Chen超、洗茂源等每一位内容贡献者
感谢他们花费大量时间,将自己对 Spark的理解加上在实际工作、学习过程中的体会,融
汇成丰富的内容
感谢本书的审阅者樊明路、杨福川、Li艺,他们对本书的内容和结构提供了非常宝贵
|
|
