04.分布式训练

4.1 基础知识

1.概述

2.数据并行

3.流水线并行

4.张量并行

5.序列并行

6.多维度混合并行

7.自动并行

8.moe并行

9.总结

4.2 DeepSpeed

deepspeed介绍

4.3 Megatron

4.4 训练加速

4.5 一些有用的文章

4.6 一些题目

1.分布式训练题目2.显存问题

4.7 参考资料：

• 大模型分布式训练并行技术（九）-总结 - 掘金 (juejin.cn)
• https://www.zhangzhenhu.com/deepspeed/index.html
• https://blog.csdn.net/zwqjoy/article/details/130732601
• https://techdiylife.github.io/