ddwGroup A online blog of ddwGroup

transformer

Administrator Administrator 发布于 2022-10-15

优化PyTorch的速度和内存效率

数据加载 1、把数据放到SSD中 2、Dataloader(dataset, num_workers=4*num_GPU) num_workers=0使数据加载需要在训练完成后或前一个处理已完成后进行。设置num_workers>0有望加快速度,特别是对于大数据的i/o和增强。具体到GPU,有实验发

Administrator Administrator 发布于 2022-10-12