spark的静态内存管理机制
Spark的静态内存管理机制
Apache Spark 是一个分布式计算框架，其内存管理机制对于性能至关重要。静态内存管理（Static Memory Management）是 Spark 早期版本（如 1.6 之前）中采用的一种固定内存分配策略。它通过预先划分内存区域来管理执行和存储任务，确保资源隔离但缺乏灵活性。下面我将逐步解释其工作机制、配置方式、优缺点以及后续演进。
根据Spark 静态内存管理机制，堆内存被划分为了两块，Storage 和Execution。Storage 主要用于缓存RDD 数据和broadcast 数据，Execution 主要用于缓存在shuffle 过程中产生的中间数据，Storage 占系统内存的60%，Execution 占系统内存的 40%，并且两者完全独立。在一般情况下，Storage 的内存都提供给了cache 操作，但是如果在某些情况下cache 操作内存不是很紧张，而task 的算子中创建的对象很多，Execution 内存又相对较小，这回导致频繁的minor gc，甚至于频繁的full gc，进而导致Spark 频繁的停止工作，性能影响会很大。在Spark UI 中可以查看每个stage 的运行情况，包括每个task 的运行时间、gc 时间等等，如果发现gc 太频繁，时间太长，就可以考虑调节Storage 的内存占比，让task 执行算子函数式，有更多的内存可以使用。
1.基本概念
在静态内存管理中，Spark 的堆内存（Heap Memory）被划分为两个固定大小的区域：
- 执行内存（Execution Memory）：用于任务执行过程中的临时数据，如 shuffle、join、排序和聚合操作。这部分内存是任务独占的，不能被其他任务抢占。
- 存储内存（Storage Memory）：用于缓存持久化的数据，例如 RDD（Resilient Distributed