工作日志 - OneFlow深度学习框架的个人空间 - OSCHINA - 中文开源技术交流社区

OneFlow深度学习框架

认证官方账号

9.3K

经验值

9.3K

开源豆

关注私信

通用深度学习框架

40

连击天

fork: star:

加载中

GPT-3模型为何难以复现？这也许是分布式AI框架的最优设计

撰文 | 成诚 2020 年，最轰动的 AI 新闻莫过于 OpenAI 发布的 GPT-3 了。它的1750亿参数量及其在众多NLP任务上超过人类的出众表现让大家坚信：大模型才是未来。但与之带来的问题是，训练超大...

pytorch layer

2021/05/14 11:55

3.3K

撰文 | 陈清扬读到一篇ACM Queue上好文章（https://queue.acm.org/detail.cfm?id=2917756），与诸君分享。分布式系统中有两大问题：一没有全局时钟，二没有共享内存。很多时候我们都需要引...

深度学习 github infer

2021/10/25 11:34

1.9K

撰文 | 李新奇、twice、姚迟 1 C++ 中错误处理的困境 C++ 编程中错误情况处理的机制大概分为两种：异常函数返回错误码异常考虑以下的代码中 get_cute_cat 的实现：让 img 分别经过 crop...

2021/10/25 11:34

747

撰文 | zzk 1 从卷积层说起熟悉CNN的小伙伴应该知道卷积是一个很常用也很重要的操作，CNN里的卷积和信号处理的卷积并不是一回事，CNN的卷积是做一种二维的互相关运算，以《动手学深度学习》...

2021/10/18 14:30

871

撰文 | 张铁蕾来源 | 微信号tielei-blog 线性一致性、顺序一致性正在阅读本文的读者们，可以阅读下线性一致性、顺序一致性以及因果一致性的分析文章。这些一致性模型的关键在于，它们定义了...

2021/10/18 14:30

2.7K

撰文 | zzk 1 问题引入我们先简单看下在PyTorch下的这几段代码，读者可以猜下最后输出的类型是什么： x_tensor = torch.ones((3, ), dtype=torch.int8) y1_tensor = torch.tensor(1,...

2021/10/11 17:41

2.1K

撰文 | Will Zhang 随着软件从1.0进化到2.0，即从图灵机演进到类深度学习算法。计算用的硬件也在加速从CPU到GPU等迁移。本文试图整理从2010年到2020年这十年间的英伟达GPU架构演进史。 1 CP...

2021/10/11 17:41

3.8K

9月27日，在中关村论坛国际技术交易大会上，一流科技创始人&CEO袁进辉宣布深度学习框架OneFlow v0.5.0正式上线GitHub，他重点介绍了OneFlow v0.5.0的四大特性。自2020年7月31日开源以来，本次...

深度学习人工智能神经网络 pytorch

2021/10/08 11:08

2.7K

本文主要介绍如何在 OneFlow 框架中实现 expand 和 repeat 算子的，也希望通过这篇文章展示 OneFlow 框架的一些特色。作者 | 梁德澎原文首发于公众号GiantPandaCV 1 expand 算子用法介绍 ...

2021/10/08 11:08

924

作者 | BBuf 原文首发于公众号GiantPandaCV 0x0.总览相信不少小伙伴都了解或者使用了一些深度学习框架比如PyTorch，TensorFlow，OneFlow（也是笔者目前正在参与开发的）。但当大家使用深度学...

pytorch onnx tensorrt

2021/10/08 11:08

1.6K

9月17日，在中国信通院发起的OSCAR 开源产业大会上，OneFlow社区获得“OSCAR尖峰开源项目及开源社区”奖项，同时，一流科技创始人&CEO袁进辉获得“OSCAR尖峰开源人物”奖项。此外，由中国信...

2021/10/08 11:08

70

三十年以后，当乔希·费舍尔（Josh Fisher）向妻子回忆起MultiFlow创业的奥德赛之旅时，他一定非常怀念那个计算机历史上的“西部大开发”时代，那个各类人才风云际会，拥有各种宏大想法并为之...

深度学习人工智能 next github cindy epic apollo nix woody proton

2021/10/08 11:08

7.9K

近年来，数据驱动的深度学习在很多领域取得了成功，而训练数据规模不断增大的同时，也发展出了许多大规模的预训练模型，其中GPT-3等模型甚至可以达到千亿级别的参数量。但由于训练大模型对硬...

2021/10/08 11:08

92

今天是 OneFlow 开源的第 410 天，OneFlow 0.5.0 预览版发布。点击“阅读原文”，欢迎下载体验最新版本。本次版本更新包含以下重点：新增动态图特性：OneFlow 默认以动态图模式（eager）运...

pytorch 深度学习

2021/09/22 16:04

206

撰文 | 赵露阳 2016年，陈天奇团队提出了亚线性内存优化相关的“gradient/activation checkpointing（后向重计算）”等技术[1]，旨在降低深度学习训练过程中的中间激活(activation)带来的显存...

next gpt-2 github layer carlos 深度学习人工智能 visited benchmark

2021/05/21 13:25

244

一到毕业季，很多计算机专业的同学都开始为找工作而发愁。有些同学或许有着不错的学历，但由于没有几个拿得出手的项目经历，面试屡屡受挫，而有的同学虽然还未毕业，但高薪工作早已找上门，为...

c++深度学习 python github

2021/05/14 17:42

233

近日，一流科技OneFlow深度学习框架正式和寒武纪思元270智能芯片及加速卡达成适配。这一合作达成，标志着OneFlow新一代深度学习框架的生态进一步得到完善，与新兴AI芯片进一步融合。目前，O...

人工智能深度学习 github 机器学习

2021/05/12 11:42

118

本文由OneFlow社区翻译并编辑译者按：在近四年前，特斯拉 AI 部门负责人 Andrej Karpathy 提出了“软件2.0”的概念，分析和推测了神经网络将如何深刻地改变开发生态。在软件2.0下，程序建模...

神经网络人工智能 github c++miro 语音识别

2021/04/22 09:12

1.7K

作者 | Amir Gholami 翻译与编辑 | OneFlow社区这篇文章是我（Amir Gholami）， Zhewei Yao，Sehoon Kim，Michael W. Mahoney 和 Kurt Keutzer 等人共同协作完成的。本文中用到的数据可以参...

神经网络自然语言处理 github bert imgs 机器学习深度学习

2021/04/09 14:09

822

0x0. 介绍在开始阅读本篇文章之前，如果你对ONNX不是很了解介意先阅读我之前写的这几篇介绍ONNX文章： ONNX初探 ONNX 再探 onnx2pytorch和onnx-simplifier新版介绍以及大老师的： onnx sim...

tensorflow paddlepaddle pytorch github mul 机器学习

2021/04/09 14:08

247

没有更多内容

加载失败，请刷新页面

©OSCHINA(OSChina.NET)

工信部

开源软件推进联盟

指定官方社区

社区规范

深圳市奥思网络科技有限公司版权所有

粤ICP备12009483号

顶部