OneFlow meetups

[strint]

OneFlow internals part 1，本次分享

1、介绍SBP, global tensor，介绍 oneflow 是怎么解决分布式编程的; @yuanms2
2、oneflow 从python 到interpreter， eager global, lazy global ；@clackhan
3、eager 部分，instruction builder, virtual machine； @lixinqi
4、lazy 部分, nn.Graph 简介，从op 到 op graph, op graph 的优化部分; @strint

本次分享的视频记录:

00-OneFlow源码分享会.mp4:
https://www.bilibili.com/video/BV17V4y1g78z?spm_id_from=333.999.0.0&vd_source=fdfce1c66ada347e8e33b384ba9d088f

01-分布式易用性.mp4:
https://www.bilibili.com/video/BV1va411u7H7?spm_id_from=333.999.0.0&vd_source=fdfce1c66ada347e8e33b384ba9d088f

02-oneflow几种执行模式.mp4:
https://www.bilibili.com/video/BV17P411G76y?spm_id_from=333.999.0.0&vd_source=fdfce1c66ada347e8e33b384ba9d088f

03-eager-vm.mp4:
https://www.bilibili.com/video/BV1xY4y1K7e6?spm_id_from=333.999.0.0&vd_source=fdfce1c66ada347e8e33b384ba9d088f

04-Graph模式的构图过程.mp4:
https://www.bilibili.com/video/BV1d14y1e7NY?spm_id_from=333.999.0.0&vd_source=fdfce1c66ada347e8e33b384ba9d088f

05-nn.Graph.mp4:
https://www.bilibili.com/video/BV1gT411M7uk?spm_id_from=333.999.0.0&vd_source=fdfce1c66ada347e8e33b384ba9d088f

06-从Plan到启动Runtime的过程.mp4:
https://www.bilibili.com/video/BV1Hd4y137eT?spm_id_from=333.999.0.0&vd_source=fdfce1c66ada347e8e33b384ba9d088f

07-生成plan并启动runtime.mp4:
https://www.bilibili.com/video/BV1xP411H7Jd/?spm_id_from=333.999.0.0&vd_source=fdfce1c66ada347e8e33b384ba9d088f

08-Actor相关问题及解答.mp4:
https://www.bilibili.com/video/BV1TV4y1u75x/?spm_id_from=333.999.0.0&vd_source=fdfce1c66ada347e8e33b384ba9d088f

09-ZeRO相关问题及其解答.mp4:
https://www.bilibili.com/video/BV1TD4y1i77r/?spm_id_from=333.999.0.0&vd_source=fdfce1c66ada347e8e33b384ba9d088f

OneFlow internals part 2，下次分享

5、lazy 部分, 从 op graph 到 task graph， lazy 运行时； @chengtbf
6、 operator ， user op， op schema部分； @hjchen2
7、硬件抽象部分， primitive ； @liujuncheng

问题交流

关于本次分享、下次分享，分别有什么问题，可以在下面回复交流。

[luotf89]

1、能否介绍一下 梯度累积和 zero优化器，amp的实现逻辑
2、能够出一片文章详细介绍一下vm的代码逻辑和eager模式下的tensor内存的管理机制
3、eager模式下如何做的算子融合

[IgorZan]

超赞！~求也介绍下各SOTA框架优劣对比，oneflow架构，高屋建瓴。谢谢

[strint]

各SOTA框架的宏观对比，这个话题比较大，这里从大类功能特点的视角，抛砖引玉的介绍一点。

深度学习框架的现状

深度学习算法开发对框架存在三大类功能需求，动态图(Eager Mode)、静态图(Static Graph Mode)、分布式。动态图服务于算法原型开发，比如学术界，最关注代码开发效率；静态图服务于算法部署，比如产业界，最关注代码执行效率；分布式服务于大规模模型构建，支持在多机多设备下进行深度学习模型的训练，其开发效率和执行效率都有更大的挑战。

以上三大类功能需求，在现有的某个单独的深度学习框架中没有被很好的解决，所以当前深度学习开发者社区使用的工具是相当分裂的。比如相对老的项目、或者产业界的项目，主要在使用 TensorFlow 1.x，特点是静态图执行，对算法部署支持比较好。比较新的项目、计算机视觉类项目、学术界项目，后来主要都转向了 PyTorch，特点是动态图执行，对算法原型开发友好。到了最近2年开始受到极大关注的 GPT/Bert 等超大模型项目，又诞生了很多基于框架定制的第三方分布式算法库，比如英伟达、微软、腾讯、阿里等都推出过基于 PyTorch、TensorFlow 的自然语言处理、视觉、推荐的分布式执行定制优化库。上面的分裂导致开发者无法平滑的在一个框架、生态下完成工作。

OneFlow 提供的解法

现有深度学习框架在融合这三大功能上是遇到比较大的障碍的，所以才会有现在分裂的现状。OneFlow 把有平滑的使用这三大功能作为基础的设计原则，提供了如下方案：

• 针对分布式，提供了一种可以分布式执行的 Tensor，叫 Global Tensor，其数据分布类型 SBP 可以避免手写通信操作，基础算子都支持了它的分布式执行，这意味着单机单设备的算法可以平滑的扩展到多机多设备；
• 针对静态图，提供了一种可以接近动态图编程体验的 Module，叫 Graph，动态图、Global Tensor都可以被它静态化，然后利用编译器技术做高效优化，这使得动态图开发的算法逻辑可以比较平滑的转为可以部署的模型；
• 针对动态图，为了避免开发者社区的分裂，选择在接口层面兼容 PyTorch 的单机单卡接口，这意味着开发者不需要再学习一套新的算法逻辑编程接口，也有利于国内外算法开发者交流最新工作；

以上，OneFlow以重视动态图、静态图、分布式的平滑编程体验为核心目标，形成了兼容外部生态、易用性、高效性突出的深度学习生产力工具。让开发者可以便捷的利用动态图开发算法原型；用Global Tensor 和 SBP 把算法原型扩展为分布式模型；用 Graph 和其内部的编译器把原动态图换为优化过的静态图，以支持高效部署。

[NHZlX]

求代码串下one-embedding

[VertexC]

能否介绍一下oneflow是如何适配新硬件的

[strint]

见第二次分享的：7、硬件抽象部分， primitive ；

[jinbaoziyl]

第二次分享 有视频链接提供吗

[fpzh2011]

请教两个关于Actor代码细节的问题：

• 如果ActorMsgBus通过CommNet发送跨进程消息，那么gRPRC的作用是仅在启动时传递信息吗？哪些算是控制面的通讯呢？
• Actor::ActUntilFail 是处理单个消息吗？用while循环包起来是出于什么考虑呢？是因为对某些Actor会有特殊便利吗？

[strint]

静态图和运行时的笔记 By 郑建华，非常赞: https://segmentfault.com/a/1190000042425747