1. 数据并行训练PyTorch 为数据并行训练提供了多种选项。对于从简单到复杂，从原型到量产逐渐增长的应用，共同的发展轨迹是：使用单机训练，如果数据和模型可以放在一个 GPU 中，并且训练速度不是问题。使用单机多 GPU DataPara