如何评估我的 Python 代码的内存消耗
原文：
towardsdatascience.com/how-i-assess-the-memory-consumption-of-my-python-code-7e890c0b2709
https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/eaa4e890185571f8f4a0f13646802700.png
由作者在 Canva 中创建
我们过去在编写代码时总是关注性能。如果我们搜索“python performance”，很容易就能找到成千上万的文章。然而，我很少看到文章告诉我们如何优化代码的内存消耗。
当然，性能在编程中至关重要，但内存消耗将决定我们需要在硬件上花费多少钱。考虑一下，我们将在大型数据集上训练一个模型。我们可能需要一个拥有 64GB RAM 的大虚拟机来完成这项工作。然而，如果我们能够优化我们的代码，32GB RAM 可能就能达到相似的时间。在这种情况下，我们可能会在硬件资源上节省大量的成本。
在我能够优化我们的代码以减少内存消耗之前，我们需要一些有效的方法来衡量它。此外，通过了解衡量内存消耗的方法，我们将能够对其进行量化并建立基准。因此，在这篇文章中，我将介绍我用来利用的常见内存测量方法。
1. Python 内置的“获取大小”
https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/8768d4ebbe9800199c845e2bb6a3c354.png
由作者在 Canva 中创建
在介绍任何花哨的第三方库之前，你知道我们有一个可以测量变量内存消耗的 Python 内置函数吗？它位于sys模块中。
importsys x=[1,2,3,4,5]print(f"Size of list:{sys.getsizeof(x)}bytes")https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/a19db42a9b4fa2b3ffac5d43b02dd160.png
在上面的代码中，函数sys.getsizeof(x)将直接给出列表x的内存消耗。然而，我们必须小心，这个函数只会返回变量的大小（在这种情况下，它是列表x），而不会包括它引用的项目（在这种情况下，是整数）。
如果你想了解更多关于这个函数的细节，请查看以下文章。
为什么 Python 消耗了这么多内存？
不管怎样，当我们只想比较和基准测试内存消耗时，这个函数可能就足够了。请看下面的例子。
https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/b934e14efe5f5388bc8e6bdbbdf4770f.png
因此，项目（那些整数）在x和y中是相同的，但作为一个集合，y比x需要更多的内存。这已经足够了解信息了。
如果你对为什么集合比列表需要更多的内存感兴趣，请告诉我。我考虑在下次分享。
2. Pympler
https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/ffaade3f969893732c4f45827ff22a5b.png
由作者在 Canva 中创建
有时候，我们可能会想知道变量的实际大小。在这种情况下，sys.getsizeof()将非常不方便，因为它如果不包含“子项”，则不会包括容器类型的“子项”。不幸的是，大多数时候，我们可能需要处理 Python 中的容器类型变量，如列表或字典。
在这种情况下，第三方库Pympler将非常方便，我们可以轻松地测量变量的实际内存。
在我们可以使用它之前，我们需要从 PyPI 安装这个库。
$ pip install pympler然后，使用其函数pympler.asizeof()的方式与sys.getsizeof()非常相似。
frompymplerimportasizeof x=[1,2,3,4,5]print(f"Total size of list including elements:{asizeof.asizeof(x)}bytes")https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/19ca2c0605407ebe23c09292fa2df7a9.png
请注意，大小为 264 字节，包括容器和项目，而前面的示例只有 104 字节，仅用于容器大小。
3. 内存分析器
https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/fac10a90068057eece51a567e6655d7b.png
由作者在 Canva 创建
当我们遇到更复杂的情况时，不幸的是，这可能是我们作为常规工作处理的大多数情况，上述两种方法可能不足以衡量内存消耗。我们可能对在整个执行过程中内存消耗的情况更感兴趣。比如说，我们想在函数执行期间监控内存使用情况。
在这种情况下，我们可以利用一些第三方库，例如内存分析器。我们还可以从 PyPI 再次安装它。
pip install memory_profiler让我们尝试一个简单的示例，并使用内存分析器来测量内存消耗。
frommemory_profilerimportmemory_usagedefmy_function():a='Towards Data Science'*(10**7)returna mem_usage=memory_usage((my_function,))print(f"Memory usage:{max(mem_usage)-min(mem_usage)}MB")https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/692b96c44fbad94a1504504d858412cd.png
在上面的代码中，我们从memory_profiler模块导入了memory_usage函数。然后，我们可以创建一个示例函数my_function()并让它执行一些会消耗内存的计算。
之后，我们调用memory_usage()函数并将函数名传递给它。请注意，该函数接受一个元组作为其参数。该元组将函数名作为其第一个元素。在函数名之后，我们可以传递函数所需的参数。但所有参数都需要放入另一个嵌套元组中。
例如，如果需要将字符串作为参数传递给my_function()，我们可以这样做。
frommemory_profilerimportmemory_usage my_string="Towards Data Science"defmy_function(str_arg):a=str_arg*(10**7)returna mem_usage=memory_usage((my_function,(my_string,)))print(f"Memory usage:{max(mem_usage)-min(mem_usage)}MB")https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/34f97b10e46ec74b718ddce6a96b202c.png
好的。现在，让我们回到内存测量结果。我们已经测量了两次，内存消耗相似（184MB 和 190MB）。这正是我们所需要的！
你可能好奇为什么我们需要获取mem_usage的最大值和最小值以及它们的差值。实际上，memory_usage()函数将在函数执行期间监控当前进程的内存使用情况。在函数执行期间，它会非常频繁地记录内存使用状态。
我们可以轻松地显示内存使用状态。
https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/6caf9c8071e6a4042d3fee4b97db7145.png
因此，在函数执行过程中，当前进程的内存使用量正在变化。由于此时只有一个函数在运行，内存变化可以大致认为是该函数的内存消耗。
摘要
https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/374c32faf84ba11f24f5eee8db3a0eb1.png
由作者在 Canva 中创建
在本文中，我介绍了几种可以帮助我们测量 Python 代码内存消耗的常见方法。getsizeof()方法是一个易于访问和使用的内置方法，但它仅限于测量单个变量。此外，它只能对对象进行非常浅层的测量。相反，可以使用第三方库Pympler来测量变量的容器类型的确切大小。最后，我们可以使用内存分析器来测量进程的内存消耗。换句话说，它通常是一个需要被测量的函数。