Skip to content

sparsify.py: 将中间态的数组分成几份,防止占用内存过大。

Benda Xu requested to merge out-of-core into master

逐行直接写入 hdf5 dataset 有很大的 Python overhead,12小时都无法写完一 个文件,不可取。此处用折衷方案,数组分块收集列表中的数据后,写到 hdf5 dataset 对应的区域。

Closes: #33 (closed)

Merge request reports