Skip to content

fsmp.py: drop mempool of CuPy.

Benda Xu requested to merge VRAM into master

我们需要极限使用显存,但是 mempool 在用过多轮之后会产生显存碎片而无法 有效利用。在完全禁用 mempool 之后,没有发现显著的 malloc 性能降低。

Bug: #12 (closed) Reference: https://docs.cupy.dev/en/stable/user_guide/memory.html

Merge request reports