加载中
GPT-3模型为何难以复现?这也许是分布式AI框架的最优设计

撰文 | 成诚 2020 年,最轰动的 AI 新闻莫过于 OpenAI 发布的 GPT-3 了。它的1750亿参数量及其在众多NLP任务上超过人类的出众表现让大家坚信:大模型才是未来。但与之带来的问题是,训练超大...

2021/05/14 11:55
1.2K
向量时钟的本质

撰文 | 陈清扬 读到一篇ACM Queue上好文章(https://queue.acm.org/detail.cfm?id=2917756),与诸君分享。 分布式系统中有两大问题:一没有全局时钟,二没有共享内存。很多时候我们都需要引...

2021/10/25 11:34
1.7K
OneFlow中的错误处理:Maybe

撰文 | 李新奇、twice、姚迟 1 C++ 中错误处理的困境 C++ 编程中错误情况处理的机制大概分为两种: 异常 函数返回错误码 异常 考虑以下的代码中 get_cute_cat 的实现:让 img 分别经过 crop...

2021/10/25 11:34
569
基于OneFlow实现Unfold、Fold算子

撰文 | zzk 1 从卷积层说起 熟悉CNN的小伙伴应该知道卷积是一个很常用也很重要的操作,CNN里的卷积和信号处理的卷积并不是一回事,CNN的卷积是做一种二维的互相关运算,以《动手学深度学习》...

2021/10/18 14:30
711
分布式领域最重要的一篇论文,到底讲了什么?

撰文 | 张铁蕾 来源 | 微信号tielei-blog 线性一致性、顺序一致性正在阅读本文的读者们,可以阅读下线性一致性、顺序一致性以及 因果一致性的分析文章。这些一致性模型的关键在于,它们定义了...

2021/10/18 14:30
2.4K
用OneFlow实现数据类型自动提升

撰文 | zzk 1 问题引入 我们先简单看下在PyTorch下的这几段代码,读者可以猜下最后输出的类型是什么: x_tensor = torch.ones((3, ), dtype=torch.int8) y1_tensor = torch.tensor(1,...

2021/10/11 17:41
1.9K
GPU架构演进十年,从费米到安培

撰文 | Will Zhang 随着软件从1.0进化到2.0,即从图灵机演进到类深度学习算法。计算用的硬件也在加速从CPU到GPU等迁移。本文试图整理从2010年到2020年这十年间的英伟达GPU架构演进史。 1 CP...

2021/10/11 17:41
3.4K
OneFlow v0.5.0正式上线:四大特性实现轻快上手,高效、易用从此兼得

9月27日,在中关村论坛国际技术交易大会上,一流科技创始人&CEO袁进辉宣布深度学习框架OneFlow v0.5.0正式上线GitHub,他重点介绍了OneFlow v0.5.0的四大特性。自2020年7月31日开源以来,本次...

OneFlow框架添加算子实践:expand和repeat

本文主要介绍如何在 OneFlow 框架中实现 expand 和 repeat 算子的,也希望通过这篇文章展示 OneFlow 框架的一些特色。 作者 | 梁德澎 原文首发于公众号GiantPandaCV 1 expand 算子 用法介绍 ...

2021/10/08 11:08
810
深度学习框架量化感知训练的思考及OneFlow的解决方案

作者 | BBuf 原文首发于公众号GiantPandaCV 0x0.总览 相信不少小伙伴都了解或者使用了一些深度学习框架比如PyTorch,TensorFlow,OneFlow(也是笔者目前正在参与开发的)。但当大家使用深度学...

2021/10/08 11:08
1.3K
OneFlow一次性得了两个奖

9月17日,在中国信通院发起的OSCAR 开源产业大会上,OneFlow社区获得“OSCAR尖峰开源项目及开源社区”奖项,同时,一流科技创始人&CEO袁进辉获得“OSCAR尖峰开源人物”奖项。 此外,由中国信...

2021/10/08 11:08
16
计算机架构史上的一次伟大失败,多数人都不知道

三十年以后,当乔希·费舍尔(Josh Fisher)向妻子回忆起MultiFlow创业的奥德赛之旅时,他一定非常怀念那个计算机历史上的“西部大开发”时代,那个各类人才风云际会,拥有各种宏大想法并为之...

玩大模型,奖金50000元,是时候展示你真正的技术了

近年来,数据驱动的深度学习在很多领域取得了成功,而训练数据规模不断增大的同时,也发展出了许多大规模的预训练模型,其中GPT-3等模型甚至可以达到千亿级别的参数量。但由于训练大模型对硬...

2021/10/08 11:08
32
OneFlow v0.5.0 预览版发布

今天是 OneFlow 开源的第 410 天,OneFlow 0.5.0 预览版发布。点击“阅读原文”,欢迎下载体验最新版本。 本次版本更新包含以下重点: 新增动态图特性:OneFlow 默认以动态图模式(eager)运...

2021/09/22 16:04
127
后向重计算在OneFlow中的实现:以时间换空间,大幅降低显存占用

撰文 | 赵露阳 2016年,陈天奇团队提出了亚线性内存优化相关的“gradient/activation checkpointing(后向重计算)”等技术[1],旨在降低深度学习训练过程中的中间激活(activation)带来的显存...

​@高校学生开发者,为什么你一定要“上手”开源项目?

一到毕业季,很多计算机专业的同学都开始为找工作而发愁。有些同学或许有着不错的学历,但由于没有几个拿得出手的项目经历,面试屡屡受挫,而有的同学虽然还未毕业,但高薪工作早已找上门,为...

OneFlow和寒武纪达成适配,共同推进新一代超大模型训练解决方案

近日,一流科技OneFlow深度学习框架正式和寒武纪思元270智能芯片及加速卡达成适配。这一合作达成,标志着OneFlow新一代深度学习框架的生态进一步得到完善,与新兴AI芯片进一步融合。 目前,O...

颠覆式编程:软件2.0

本文由OneFlow社区翻译并编辑 译者按:在近四年前,特斯拉 AI 部门负责人 Andrej Karpathy 提出了“软件2.0”的概念,分析和推测了神经网络将如何深刻地改变开发生态。在软件2.0下,程序建模...

AI算力的阿喀琉斯之踵:内存墙

作者 | Amir Gholami 翻译与编辑 | OneFlow社区 这篇文章是我(Amir Gholami), Zhewei Yao,Sehoon Kim,Michael W. Mahoney 和 Kurt Keutzer 等人共同协作完成的。本文中用到的数据可以参...

深度学习框架OneFlow是如何和ONNX交互的?

0x0. 介绍 在开始阅读本篇文章之前,如果你对ONNX不是很了解介意先阅读我之前写的这几篇介绍ONNX文章: ONNX初探 ONNX 再探 onnx2pytorch和onnx-simplifier新版介绍 以及大老师的: onnx sim...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部