【GPU编程理论】原子操作

在GPU编程中，原子操作（Atomic Operation）的存在是为了解决“万恶之源”——数据竞争（Data Race）问题。

简单来说，GPU的核心哲学是“千军万马”同时干活（成百上千个线程并行）。如果没有原子操作，当多个线程试图同时修改同一个数据时，结果将是不可预测的混乱。原子操作就像是一个“独占锁”，它告诉硬件：“我要开始干活了，你们谁都别碰这个数据，直到我干完。”

为了让你更直观地理解，我从以下几个核心维度来拆解为什么GPU编程离不开它：

🛑 1. 防止“插队”导致的计算错误
在CPU编程中，我们习惯了一条指令执行完再执行下一条。但在GPU里，线程是疯狂并行的。考虑这样一个场景：两个线程同时执行 counter++。

你可能觉得这是一条指令，但实际上它包含三个步骤：
1.  读取（Read）：把 counter 的值读到线程里。
2.  修改（Modify）：把值加1。
3.  写入（Write）：把新值写回内存。

没有原子操作的灾难现场：
*   线程A读取 counter = 0。
*   线程B也读取 counter = 0（因为A还没来得及写回去）。
*   线程A计算 0+1=1，写回。
*   线程B计算 0+1=1，写回。
*   最终结果：counter = 1（明明加了两次，结果却只加了一次！）

有了原子操作：
硬件会保证这三个步骤是“一气呵成”的。如果线程A开始了操作，线程B就必须排队等待，直到A完成。最终结果会正确地变成2。

🧩 2. GPU的硬件特性决定了必须显式