当前位置：首页 > news >正文

Flink Rebalance、Rescale、Shuffle 核心区别

news 2026/7/13 13:35:21

Flink 中的 Rebalance、Rescale、Shuffle 是三种核心的数据流分区策略，用于定义上游算子的并行子任务如何将数据分发到下游算子的并行子任务。三者的核心差异体现在数据分配方式、网络开销、适用场景上，选择不当会直接影响作业的性能和数据分布的均匀性。以下是详细的对比与解析。

一、核心定义与数据分配逻辑

1. Rescale：按比例顺序映射（局部性分发）

Rescale 是基于上下游算子并行子任务的顺序比例映射的分区策略，属于局部性分发（数据仅在部分子任务间传输）。

分配规则：将上游算子的并行子任务按顺序、按比例绑定到下游算子的并行子任务。
- 示例 1：上游并行度 U=4，下游并行度 D=2 → 上游子任务 0、1 → 下游子任务 0；上游子任务 2、3 → 下游子任务 1。
- 示例 2：上游并行度 U=2，下游并行度 D=4 → 上游子任务 0 → 下游子任务 0、1；上游子任务 1 → 下游子任务 2、3。
核心特点：数据分发是连续的、固定比例的，仅在相邻的子任务组间传输数据。

2. Rebalance：全局轮询分配（负载均衡）

Rebalance 是全局轮询（Round-Robin） 的分区策略，属于全局分发（数据会跨所有子任务传输）。

分配规则：上游每个子任务将数据以轮询的方式均匀发送给下游所有并行子任务，确保下游每个子任务收到的数据量尽可能均衡。
- 示例：上游并行度 U=2，下游并行度 D=3 → 上游子任务 0 依次发送数据到下游 0、1、2；上游子任务 1 也依次发送数据到下游 0、1、2。
核心特点：数据分发是全局的、均匀的，强制实现负载均衡。