Emerk's blog

官方文档：https://spark.apache.org/docs/latest/tuning.html

Spark DRR转DF的两种方式分为编程方式和反射方式

SparkSQL 做统计分析的方法、存储格式的转换

SparkSQL 基础内容

为什么要将变量定义成广播变量？

Spark中最重要的功能之一是跨操作在内存中持久化数据集。持久化一个RDD时，每个节点在内存中存储它计算的任何分区，并在该数据集(或从中派生的数据集)的其他操作中重构它们。这使得将来的操作要快得多(通常超过10倍)。缓存是迭代算法和快速交互使用的关键工具。

可以使用其上的persist()或cache()方法将RDD标记为持久的。第一次在操作中计算它时，它将保存在节点的内存中。Spark的缓存是容错的——如果一个RDD的任何分区丢失了，它将使用最初创建它的转换自动重新计算。