我们认为 float64 可能对提升精度有帮助。不过现在的问题是，fsmp_prior.py 的输出（sparsify 文件）里面的数据也是 float32 的。我们是直接替换掉所有类型，以至于需要重新跑 sparsify 呢，还是只在 fsmp.py 这里内部改变，不改变输入输出格式呢？
/cc @heroxbd @liuyq @xuchuang