Skip to content

新的 FSMP 显存计算方法

王宇逸 requested to merge new-occupy into master

Closes #147 (closed)

现在的这个算法在 A100 上普遍占用 20G 以上,在 2080Ti 上应当占用 7G 以上。算法保守一些是因为还有可能占用的更多,mempool 不能完全清空所有显存占用。

其实我还尝试过用 sklearn 回归一个,结果还不如这个手搓的经验公式占用率高。别看这个经验公式简单,想要拿到它还是费了一番功夫的。

图片

图片中的 x 是 occupy_ram 计算的值,total 是从 mempool 拿到的显存分配。黑色的斜线是 y=x 的对角线。

Merge request reports