Skip to content

FSMP: async write parquet files

WuYiyang requested to merge async_write into master

异步写入 parquet file,让 GPU 与 CPU 同时工作,避免 CPU 写 parquet 时 GPU 等待。

方法:使用 multiprocessing 中的 Process,fork 一个子进程为 pa.writer 专用进程,负责处理要写的数据 (append) 并写入 (write)。数据和终止信号由 pipe 传入。

FullWriter 暂未适配,因为 cupy 命令必须在主进程中执行,所以需要将 mmse 从 append 函数剥离入主进程。

目前可以将写入时间缩短到原来的 90% (大概都是 pipe 传数据的时间,写在另一个进程)

Edited by Benda Xu

Merge request reports