加载中
CUDA入门教程;Transformer太火不是好事?;探求GPU极限性能的利器|AI系统前沿动态...

1. PyTorch创始人:Transformer的流行可能是一把双刃剑 要说 Transformer 有多厉害,比如 OpenAI 重磅推出的 GPT-3,就是基于 Transformer 实现的。至于传播速度方面,短短 5 年,Transform...

决胜北交大深度学习算法大赛,冠军揭示通关攻略

7月初,北京交通大学为了让上过《深度学习》课程的同学更好地实践深度学习技术应用,面向该校学生开展“深度学习暑期争霸赛”。OneFlow作为合作方承办了这次比赛,提供了17800元现金奖金池及...

深挖Cerebras:世界上最大AI芯片的架构设计

作者|Sean Lie 翻译|胡燕君、程浩源 近年来,神经网络模型规模呈指数级增长,从2018年拥有超1亿参数的Bert到2020年拥有1750亿个参数GPT-3,短短两年模型的参数量增加了3个数量级,而且这种...

机器学习编译器的前世今生

作者|Chip Huyen 翻译|胡燕君、贾川、程浩源 我承认,在大学的编译器课上哭了,后来我选择成为一名机器学习工程师,以为再也不用被编译器烦扰。 然而,当我逐渐了解ML模型如何投入生产应用...

开源基础软件大时代,与国产深度学习框架一起乘风破浪

深度学习框架是当前人工智能领域业界公认的最重要的基础设施软件,也被称作AI领域的操作系统,上承算法和应用,下接硬件芯片。深度学习框架技术栈覆盖理论算法、编译器、分布式系统、异构计算...

Jeff Dean:机器学习在硬件设计中的潜力

作者|Jeff Dean 翻译|沈佳丽、胡燕君、贾川 为什么芯片设计需要很长时间?能不能加速芯片设计周期?能否在几天或几周之内完成芯片的设计?这是一个非常有野心的目标。过去十年,机器学习的...

Hinton等谈深度学习十年;PyTorch落地Linux基金会的影响;机器学习界的“GitHub”|AI系统前沿动态

1. 重磅!PyTorch落地Linux基金会 扎克伯格亲自宣布,PyTorch基金会已新鲜成立,并归入Linux基金会旗下,管理委员会成员,包括Meta、AMD、AWS、谷歌云、微软和英伟达。Meta表示,PyTorch成功...

2022/10/14 10:40
109
那些在开源世界顶半边天的女同胞们

100年前,为了庆祝妇女在经济、政治和社会等领域作出的贡献与成就,第二届国际共产主义妇女代表会议决定将3月8日定为“国际妇女节”。 但在消费时代的背景下,庆祝“妇女节”的应有之义有被弱...

2022/03/08 14:54
9.5K
CUDA高性能计算经典问题①:归约

撰文 | Will Zhang 本系列为CUDA进阶,通过具体的经典问题,讲述高性能编程的一些基本原则以及方法。建议读者先阅读NVIDIA官方的编程指南完成CUDA入门,基础比较少的同学也建议阅读本人之前写...

2021/11/01 11:12
1.4K
如何实现比PyTorch快6倍的Permute/Transpose算子?

撰文 | 郑泽康、柳俊丞、姚迟、郭冉 无论是在统治NLP届的Transformer,还是最近视觉领域的新秀Vision Transformer,我们都能在模型中看到Transpose/Permute算子的身影,特别是在多头注意力机...

2021/11/01 11:12
772
李一鹏:一份让我无法拒绝的offer | OneFlow U

李一鹏,一流科技工程师。2016年,他本科毕业于中国科学技术大学,2021年获得纽约州立大学石溪分校博士学位。二次元爱好者,偏爱物语系列的忍野忍、游戏人生的白、绯弹的亚里亚等角色。 在正...

张建浩:一个开源爱好者的框架开发之路 | OneFlow U

张建浩,一流科技工程师。网名@大缺弦(人称“大老师”),他2018年毕业于中国科学技术大学,也是 ONNX 成员,convertmodel.com、dabnn、DNNLibrary 开源项目作者。 大学时,他曾在 GitHub 发...

2021/05/28 11:26
1K

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部