我们新推出大淘宝技术年度特刊《长期主义，往往从一些小事开始——工程师成长总结专题》，专题收录多位工程师真诚的心路历程与经验思考，覆盖终端、服务端、数据算法、技术质量等7大技术领域，欢迎一起沟通交流。
本文为此系列第四篇内容。
第三篇：聊聊我在淘宝做性能分析的经历
在淘宝前三年，我主要偏向研究 2d计算机视觉算法，相比于研究GAN、 Transformer 等热门课题，我更偏向解决一些算法在工业界落地遇到的常见问题，如深度学习模型训练中，常遇到训练数据不足、数据有噪声等问题，所以我更感兴趣噪声标签识别、主动学习等类型算法，也发表了简单实用的O2U-Net [5] (ICCV 2019) 噪声识别算法；另外算法推理性能提升，也是工业应用常见问题，比如在手机端部署CNN模型，需要提升模型推理效率，可能需要模型压缩、剪枝技术，也是我感兴趣的方向之一。
NeRF
起初淘宝Meta 团队主要致力于 提升 NeRF重建效果(布料细节清晰度、商品文字清晰度等提升)，使其渲染清晰度达到工业落地标准；然而由于NeRF存在推理速度慢等较大缺陷(服务器V100 GPU显卡，渲染一张高清图 需要1min)，所以NeRF在淘宝落地主要在静态出图、AI内容创作做应用尝试，无法扩展到3D交互相关应用。
2020年底，由于项目调整，主管列出团队内一些急需解决的难题供选择。其中一个便是NeRF 算法性能优化，目标是 解决NeRF 3D模型到手机实时渲染的瓶颈问题，使其未来可以扩展到3D AR/VR等更多应用。问题难点：NeRF起初渲染速度非常慢，服务器 V100 GPU显卡上，渲染一张1080p图超过一分钟；如果要做到手机实时渲染，渲染速度预估需提升10000倍以上。
出于对模型推理效率优化方向感兴趣，外加喜欢挑战有难度的任务，我最终选择了解决NeRF推理性能优化。由于NeRF手机实时渲染，在当时并没有论文可以参考，算法推理效率需提升一万倍，所以只能尽力尝试推理加速各种方案。主管没给太大的压力与干涉，实验方案选择上没有任何约束，一句话：只要你认为有效的方案，都可以尝试。这使得我在算法优化工作中，更敢于去尝试有挑战的任务，更敢于去突破业界前沿。
一个人研究一个方向，没有内卷，静心实验研究，大胆尝试自认为有效的方案，这便是我得追求。
由浅入深尝试
nerf 模型体素离散化
|
|
|
|
|
|
|
|
|
|
|
|
然而如果要真正达到业务落地要求，我需要进一步做到低端手机实时渲染，同时模型需要进一步压缩到5M的模型大小，进而我提出了：3D 体素模型高频检测算法，对低频区域用更少得体素点来表示，高频区域用更多的体素来表示。在结合HrSRG[2]+体模型高频检测算法后，可以把一个6000w个点 NeRF 3d体素模型，减少到200w个点，存储空间和模型大小会减少到原来的1/30，效率也会有大幅度提升。相比于前沿方法PlenOctree[3]、SNeRG[4]等方法，该方法可以实现大幅度压缩，且清晰度更为清晰，同时能够把效率、推理速度、内存三者性能都能得到大幅度提升，达到了手机上5M模型，同时低端手机能够实时渲染的要求：
在效果上，可以更好的保持纹理清晰度，对于商品特征细节信息上，相比于NeRF达到更高精度还原：
Object Drawer细小文字还原
即使目前目标任务基本完成，达到业务上线要求，我依旧喜欢更进一步精细打磨算法性能，比如NeRF[1] 体素表示现在模型大小压缩到5M左右，精益求精，未来还是希望进一步能够压缩到1M以内，NeRF[1]在低端机实时渲染效率依旧需要进一步提升到50FPS以上，每向前走一步都是成长。
参考文档
团队介绍
大淘宝技术Meta团队，目前负责面向消费场景的3D/XR基础技术建设和创新应用探索，创造以手机及XR 新设备为载体的消费购物新体验。团队在端智能、端云协同、商品三维重建、3D引擎、XR引擎等方面有着深厚的技术积累，先后发布深度学习引擎MNN、端侧实时视觉算法库PixelAI、商品三维重建工具Object Drawer、端云协同系统Walle等。团队在OSDI、MLSys、CVPR、ICCV、NeurIPS、TPAMI等顶级学术会议和期刊上发表多篇论文。欢迎视觉算法、3D/XR引擎、深度学习引擎研发、终端研发等领域的优秀人才加入，共同走进3D数字新时代。简历请投递至: chengfei.lcf@alibaba-inc.com
本文分享自微信公众号 - 大淘宝技术（AlibabaMTT）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。
