FSMP: async write parquet files
异步写入 parquet file,让 GPU 与 CPU 同时工作,避免 CPU 写 parquet 时 GPU 等待。
方法:使用 multiprocessing 中的 Process,fork 一个子进程为 pa.writer 专用进程,负责处理要写的数据 (append) 并写入 (write)。数据和终止信号由 pipe 传入。
FullWriter 暂未适配,因为 cupy 命令必须在主进程中执行,所以需要将 mmse 从 append 函数剥离入主进程。
目前可以将写入时间缩短到原来的 90% (大概都是 pipe 传数据的时间,写在另一个进程)
Edited by Benda Xu