1，问题描述 （1）如果一个 mapreduce 任务处理的数据量比较大的话，这个任务会执行很长时间，可能几十分钟或者几个小时都有可能。假设一个场景，任务执行了一半时我们发现我们的代码写的有问题，需要修改代码重新提交执行。这个时候之前的任务就没有必要再执行了......
1，下载 B 站视频 （1）我们知道无论是 B 站的手机、平板客户端，还是 PC 客户端都有缓存功能，可以选择各种清晰度的视频下载到本地。 （2）但是视频下载下来的文件是加密后的 m4s 格式，而且视频和音频是分开的，我们直接使用普通的视频播放器会发现无法播放......
1，动态分区裁剪介绍 （1）当我们针对多个表进行 Join 的时候，动态分区裁剪功能会基于运行时（runtime）推断出来的信息，当 on 后面的查询条件满足一定要求后就会自动对表中的数据进行裁剪（过滤），减少 Join 时参与的数据量，进而提高效率......
自适应查询执行（Adaptive Query Execution），简称为 AQE。它是对 Spark 执行计划的优化，它可以基于任务运行时统计的数据指标动态修改 Spark 的执行计划。我在前面的文展中介绍了自适应调整 Shuffle 分区数量、动态调整 Join 策略这两个功能点，本文接着介绍其中的最后一个动态优化倾斜的 Join......
自适应查询执行（Adaptive Query Execution），简称为 AQE。它是对 Spark 执行计划的优化，它可以基于任务运行时统计的数据指标动态修改 Spark 的执行计划。自适应查询执行主要带来了下面这 3 点优化功能： 自适应调整 Shuffle 分区数量。 动态调整 Join 策略。 动态优化倾斜的 Join。 本文接着介绍其中的第二个动态调整 Join 策略......
八月头条：Python 正在追赶 Java 的记录 本月，Python 的排名首次超过 18%。上一次有语言超过 18% 还是 2016 年 11 月的 Java。Java 也是有史以来排名最高的语言：2001 年 6 月达到了 26.49%。排名第二的 C++ 目前落后 Python 正好是 8%，而第一名和第二名之间的差距......
自适应查询执行（Adaptive Query Execution），简称为 AQE。它是对 Spark 执行计划的优化，它可以基于任务运行时统计的数据指标动态修改 Spark 的执行计划。自适应查询执行主要带来了下面这 3 点优化功能： 自适应调整 Shuffle 分区数量。 动态调整 Join 策略......
1，HuggingChat 介绍 （1）HuggingChat 是国外知名机器学习社区 Huggingface 发布的开源 AI 聊天机器人，完全免费。 （2）HuggingChat 这款机器人类似于 ChatGPT，用户可以请求自然语言或以特定格式生成文本。HuggingChat 响应速度快，性能与 GPT-3.5-turbo 大致相当......
一、基本介绍 1，ChatGLM3 介绍 （1）ChatGLM3 是智谱 AI 和清华大学 KEG 实验室联合发布的对话预训练模型。 （2）ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性......
六、算子优化1：map vs mapPartitions 1，基本介绍 （1）map 操作：对 RDD 中的每个元素进行操作，一次处理一条数据。 （2）mapPartitions 操作：对 RDD 中每个 partition 进行操作，一次处理一个分区的数据。 2，二者对比 （1）OOM 方面对比： map 操作......