因工作需要，年初花了4个月左右时间学习了机器学习、神经网络相关的知识，工作日每天大概学习4-6个小时，周末每天大概10个小时，工作中的需求应对也得心应手了。 想快速入门的话，从自己的经...

【GiantPandaCV导语】 前段时间debug LayerNorm的时候，看见Pytorch LayerNorm计算方差的方式与我们并不一样。它使用了一种在线更新算法，速度更快，数值稳定性更好，这篇笔记就当一篇总结。...

【GiantPandaCV导读】在使用大的bs训练情况下，会对精度有一定程度的损失，本文探讨了训练的bs大小对精度的影响，同时探究Layer-wise Adaptive Rate Scaling（LARS）是否可以有效的提升精度。...

Vision Transformer + 网络结构搜索，面向参数高效的Vit设计——Autoformer(ICCV2021) AutoFormer: Searching Transformers for Visual Recognition arxiv: https://arxiv.org/abs/2107.0065...

0x0. 前言 这篇文章基于自己为OneFlow框架开发interpolate这个Op总结而来，OneFlow的interpolate Op 和 Pytorch的功能一致，都是用来实现插值上采样或者下采样的。在实现这个Op的时候还给Pyt...

【CV Transformer最新进展】2021年8月，苏黎世联邦理工学院ETH提出Swin Transformer算法应用在图像复原中，在经典图像超分、真实场景图像超分、图像降噪等领域都达到了非常不错的效果。 自提...

【GiantPandaCV导语】使用和魔改TVM也有一段时间了，其实很多场景下，都是拿到pytorch的model，然后转成torchscript，通过relay.frontend.from_pytorch导入，然后一步一步在NVIDIA GPU上gen...

【GiantPandaCV导语】 Vision Transformer在移动端应用的探索和改进，提出了不规则Patch嵌入和自适应Patch融合模块有效提升了VIT在移动端的性能表现，在DeiT基础上提升了9个百分点。 1前言 ...

【GiantPandaCV导语】 本文基于动手深度学习项目讲解了FCN进行自然图像语义分割的流程，并对U-Net和Deeplab网络进行了实验，在Github和谷歌网盘上开源了代码和预训练模型，训练和预测的脚本已...

近10年，技术迭代迅速，科技改变了人类社会的生活方式，中国互联网从无到有，发展迅猛，互联网用户数量激增。截至2020年底中国移动互联网用户总量已增长至16亿+，5G网络用户数超过1.6亿。面对...

【GiantPandaCV导语】本文介绍了一篇发表于NeuIPS20发表的半监督神经网络结构搜索算法，通过在训练预测器的过程中引入半监督算法，一定程度上提升了预测器的准确率。 1. Info Title: Semi-Su...

0x0. 前言 之前在阅读Ansor论文的时候（https://zhuanlan.zhihu.com/p/390783734）我就在想这样一个问题，既然Ansor是在人为指定的推导规则下启发式的生成高性能的Scheduler模板。那么这个算...

【GiantPandaCV引言】 还记得我在两个月前写的文章吗，关于yolov4-tiny+ncnn+int8量化的详细教程：NCNN+INT8+YOLOV4量化模型和实时推理 后来准备写yolov5+ncnn+int8量化的教程，却在yolov5的...

在人工智能机器学习的领域中，目前最火的莫过于计算机视觉了，这项技术一直广受关注，而其中的目标检测是计算机视觉领域中最常见的问题之一。 从去年的 YOLOv4 发布后，目标检测框架被问的最...

【GiantPandaCV导语】局部自注意力已经被很多的VIT模型所采用，但是没有考虑过如何使得感受野进一步增长，为了解决这个问题，Cswin提出了使用交叉形状局部attention，同时提出了局部增强位置...

【GiantPandaCV导语】毕设的一部分，前段时间，在yolov5上进行一系列的消融实验，让他更轻（Flops更小，内存占用更低，参数更少），更快（加入shuffle channel，yolov5 head进行通道裁剪，在...

【GiantPandaCV导语】这篇文章主要针对于图像分割的算法的一些理解，主要是一个比较经典的UNet系列的网络的认识。最后希望看完这篇文章的读者可以有所收获，对于一些个人的理解欢迎大家批评指...

之前逛脉脉，看到这样一条消息👇 确实，前两年，主要是国外大厂比较注重数据结构与算法的考察。但最近这两年，国内的互联网公司，不论大、小厂都紧跟潮流，不管三七二十一，上来先考几道算...

物体检测是计算机视觉的常见任务，在安防、无人驾驶等行业广泛落地。经过数十年的发展，物体检测方向涌现了诸多经典的方法，可分为传统方法、基于深度学习的方法、Transformer。其中，基于深...

引言 Transformer，Bert模型在NLP领域取得巨大成功，得到广泛应用。而Transformer系列模型大小通常很大，在应用层提供相应服务是一个巨大的挑战。 字节提出的lightseq是一款高性能训练，推理...