加载中
在OneFlow做技术文档工程师是怎样的体验?

不少因为热爱技术而关注 OneFlow 的同学,想参与 OneFlow 的实习又怕 OneFlow 的分布式深度学习框架、大模型训练等硬核技术的学习曲线太陡峭,有点纠结要准备到什么程度再到 OneFlow 来实习。...

从新东方讲师到AI框架工程师,我的历次职业转折|OneFlow U

姚迟,一流科技研发工程师,现主要负责技术文档和内容输出。他在湖南大学本硕读的化学专业,在长沙新东方主讲了五年化学,但由于一段话击中了他,使他感到自己必须亲身参与一次科技浪潮。 于...

Credit-based Flow Control的前世今生

撰文 | 乔晶、姚迟 1 OneFlow 中的流控 OneFlow 团队此前发布的 《仅此一文让您掌握OneFlow框架的系统设计》 介绍了 OneFlow 是通过背压机制解决流控问题的。文中给出了两张流水线的示意图:...

11/19 11:41
185
如何超越数据并行和模型并行:从GShard谈起

撰文 | 袁进辉 GShard的论文最早于2020.6.30放在arXiv上,包括《GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding (https://arxiv.org/pdf/2006.16668.pd...

没有这个传奇工程师,就没有今天的Windows

根据计算机领域的摩尔定律,如果在18个月内都还没有发布产品,几乎意味着项目要流产了。Windows NT操作系统的最初计划也是18个月,但现在,他们已经整整研发三年了。 好在,这个大制作已经进...

OneFlow参与共建下一代架构基金会

当地时间 11 月 2 日,Linux 基金会执行董事 Jim Zemlin 在 Linux 基金会会员峰会(The Linux Foundation Member Summit)上宣布,Linux 基金会正式成立 NextArch Foundation 下一代架构基金...

如何轻松训练大模型?来NVIDIA GTC,听OneFlow的解决方案

11月8日至11日,NVIDIA GTC 将在线上拉开序幕,一流科技OneFlow创始人兼CEO袁进辉博士受邀发表主题演讲。他将和广大观众分享OneFlow近一年来的最新探索与实践,探讨如何在分布式GPU集群上轻松...

对齐PyTorch,一文详解OneFlow的DataLoader实现

撰文 | 赵露阳 在最新的OneFlow v0.5.0版本中,我们增加了许多新特性,比如: 新增动态图特性:OneFlow 默认以动态图模式(eager)运行,与静态图模式(graph)相比,更容易搭建网络、调试和...

11/05 11:48
1.2K
胡珈魁:00后工程师的AI进阶之路 | OneFlow U

胡珈魁,目前在西安电子科技大学读大三,电子科学与技术专业。暑期在OneFlow实习期间,主要参与了模型部署工作。 跟大多数大学生一样,他从大一开始学习编程,但却没有局限于课堂知识。他有着...

最理想的点到点通信库究竟是怎样的?

撰文 | 袁进辉 在之前的文章《对抗软件系统复杂性:恰当分层,不多不少》讨论分布式深度学习框架的网络传输需求时,我们划分了几个抽象层次,比较底层的一个抽象层次是点到点传输(point-to-...

为OneFlow添加新的前端语言

撰文 | 周泽楷 在近期举办的开源之夏“暑期2021”活动中,来自OneFlow社区的开发者周泽楷分享了“为OneFlow添加新的前端语言”的项目经验。 1 简介 任务介绍 因为各种机缘巧合和历史的必然,...

09/08 12:15
67
以OneFlow为例梳理深度学习框架的那些插值方法

撰文 | BBuf 原文首发于公众号GiantPandaCV 这篇文章基于自己为OneFlow框架开发interpolate这个Op总结而来,OneFlow的interpolate Op 和 Pytorch的功能一致,都是用来实现插值上采样或者下采...

并行机缔造者希利斯和思维机器的浮沉十年

新技术从不会凭空产生,都是继承、组合已有技术演变而来。技术史上,很多令人惊艳的技术、产品或组织成为绝无仅有的经典剖析样本,但时过境迁,那些源技术和缔造者们却逐渐被遗忘。并行机缔造...

08/15 10:08
363
基于OneFlow实现量化感知训练

本文介绍了量化感知训练的原理,基于OneFlow实现了一个量化感知训练Demo,并介绍了在具体实现中的各种细节。 1 后量化以及量化感知训练原理 这里说的量化一般都是指的Google TFLite的量化方案...

对抗软件系统复杂性③:恰当分层,不多不少

作者 | 袁进辉 在之前的文章里,我们探讨了诸如“如无必要,勿增实体”,“全局一致的概念(隐喻)"这些用来对抗软件系统复杂性的手段,强调了要较”克制“地使用抽象手段,即尽量用最少的概...

“我们决定去登月”

近100年前,在英国探险家乔治·马洛里准备向珠穆朗玛峰发起第二次登峰挑战时,记者问他为什么要攀登珠峰?一个朴素却闻名于世的回答脱口而出:因为它就在那里。 60年前,为了鼓励美国人民支持...

对抗软件系统复杂性②:全局一致,统一隐喻

撰文 | 袁进辉 上一篇文章《对抗软件系统复杂性①:若无必要,勿增实体》中,我们讨论了用奥卡姆剃刀准则来对抗软件系统复杂性挑战,强调概念要精简,体现了”少即是多“(less is more) 的极...

徐之秋:从游戏启蒙的00后AI工程师 | OneFlow U

徐之秋,一流科技工程师(实习),研发组的00后双子星之一。他在上海长大,初高中毕业于上海外国语大学附属外国语学校,今年9月,他将在加州大学伯克利分校读大三,专业是计算机科学和应用数...

对抗软件系统复杂性①:如无必要,勿增实体

撰文 | 袁进辉 我们经常面临如何评价一个大型软件系统质量的问题。首要的评价指标肯定是功能,软件是否满足主要的需求(do right things)。如果有多条技术路径可以实现同样的功能,人们倾向于...

再谈“去虚拟化”对深度学习系统的必要性

撰文 | 袁进辉 上周写了一篇《浅谈GPU虚拟化与分布式深度学习框架的异同》,想不到引起很多关注和讨论。和朋友们讨论之后,觉得这个话题值得再发散一下: 首先,文章只讨论了GPU“一分多”这...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部