六、Key-Value 类型的转换算子 1，partitionBy （1）该函数将数据按照指定 Partitioner 重新进行分区。Spark 默认的分区器是 HashPartitioner，它根据键的哈希值将数据分配到不同的分区中。这样，具有相同键的数据将被分配到相同的分区中，从而便于后续基于键的操作，例如聚合、连接和排序等......
五、双 Value 类型的转换算子 1，intersection （1）该函数对源 RDD 和参数 RDD 求交集后返回一个新的 RDD。 1 def intersection(other: RDD[T]): RDD[T] （2）下面代码对两个 RDD 计算交集......
四、Value 类型的转换算子 1，map （1）该函数将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换。 2，mapPartitions （1）该函数将待处理的数据以分区为单位发送到计算节点进行处理，这里的处理是指可以进行任意的处理，哪怕是过滤数据......
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。它在代码中是一个抽象类，代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。 一、五大核心属性 1，分区列表（getPartitions） 对于 RDD 来说，每个分片都会被一个计算任务处理......
我在之前的文章中写过如何搭建部署 Spark 运行环境，本文接着演示如何使用 Intellij IDEA 这个开发工具进行 Spark 程序的开发与调试。 1，准备工作 （1）首先本地需要安装好 Java 8 的 JDK，并设置 JAVA_HOME 环境变量。 （2）接着安装 Intellij IDEA 这个开发工具。 2，安装 Scala 插件......
在之前的教程中我们搭建的 Spark 集群只有一个 Master 节点，因此会存在单点故障问题。为了解决该问题，我们需要在集群中配置多个 Master 节点，一旦处于活动状态的 Master 发生故障时，由备用 Master 提供服务，保证作业可以继续执行。这个便是高可用性......
九月头条：Kotlin 重回 TIOBE 排行榜前 20 位 上个月，Julia 历史上首次进入 TIOBE 排行榜前 20 名。而这个月 Julia 再次退出，被 Kotlin 取代。Kotlin 是另一种备受期待的编程语言。这一切都始于 2016 年，当时由 JetBrains 公司首次正式发布了Kotlin语言。随后突破性进展迅速到来......
在 Spark 应用程序运行期间，我们可以通过 WebUI 控制台页面来查看具体的运行细节，即在浏览器中通过地址：http://
前文介绍了 local 本地模式的部署，但本地模式毕竟只是用来进行练习演示的。真实工作中还是要将应用提交到对应的集群中去执行，本文接下来介绍 Standalone 模式。 二、Standalone 模式 1，模式介绍 Standalone 模式即为分布式集群模式，它是一种典型的 Master-Worker 架构......
Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。它主要有以下 4 种运行模式: local：本地单进程模式，用于本地开发测试 Spark 代码。 standalone：分布式集群模式，Master-Worker 架构，Master 负责调度，Worker 负责具体 Task 的执行......