一文带你揭秘淘宝终端技术

02/05 16:20
阅读数 29




在这个数字化迅速发展的时代,技术的每一次飞跃都不仅仅意味着一个产品的升级,更是对未来世界的一次大胆想象。从PC到iPhone,从Model 3到ChatGPT,都引领了全新的一个行业。对于正处在求学阶段的你们,选择一个充满活力、技术领先、并且可以提供巨大成长空间的团队,无疑是迈向成功职业生涯的关键第一步。现在,就让我们一同揭开淘天终端技术团队的神秘面纱,一步步为你揭晓为何我们在终端技术领域独树一帜。


终端技术体系和代表作


我们团队主要负责的是淘宝——这个星球上最复杂的App(没有之一)的基础设施,数以亿计的用户在这个App上浏览商品/查看详情/买卖家交流/下单购物/互动娱乐/消费内容等等,任何单一功能的复杂度都可以媲美市场上的一个独立App,把所有这些都聚合在一个巨型App中,我们面临的是几大核心矛盾:有限的包体和设备存储空间 vs 无限增长的业务模块、有限的终端硬件资源 vs 无限叠加的业务场景、有限的设备能耗 vs 不断沉浸的体验追求、碎片化的海量设备 vs 统一化的交付方式等等。

举几个实际的例子:
淘宝里的业务模块成百上千,而淘宝Android端的包大小居然回到了18年的水位(65M),处于行业前列。每天有大几亿用户打开淘宝App,这些用户在淘宝上的行为非常多样化。
  1. 有些用户喜欢搜,他们目的性很强,直接搜索商品关键字-进入商品详情查看和比价-下单;
  2. 有些用户喜欢逛,在首页信息流和ND来回浏览-进入商详查看-加购或下单;
  3. 有些用户喜欢玩,在我的淘宝中玩些小游戏-查看商品/店铺-可能加购或下单;
  4. 有些用户喜欢看,在Tab2看视频(可赚钱)-查看视频中提到的感兴趣的商品-可能加购或下单等。

我们要保障用户在每条可能的路径和动线上都有着丝滑的体验,这是世界级的技术难度和挑战!

现在国人的日常衣食住行都已经离不开手机了,而其电池技术并没有根本性的突破,如何既能解决用户的续航焦虑,又能提供优雅的用户体验,以及使用过程中不出现发烫/卡顿,这是操作系统级别的技术难题和挑战!

为了应对和解决这些技术挑战和难题,我们长期探索这几大技术方向:
  1. 原生技术,遵循Platform First理念,贴近原生系统、充分挖掘系统组件和特性,沉淀极致性能的渲染引擎/动态化引擎/原子能力集,同时与厂商深度合作,探索站内外用户触达多通道,用技术做用增;
  2. 底层技术,遵循First Principle理念,深入虚拟机/字节码/汇编指令等,探索稳定性/性能/包体的极致边界,深入系统底层机制与原理,必要时帮系统打补丁;
  3. 跨端技术,遵循Cross Platform理念,抹平多系统/平台差异,充分利用业界较为成熟的前端生态,沉淀自主可控的渲染引擎/图形引擎/脚本引擎,向业务提供符合W3C标准的前端友好的基础设施;
  4. 工程技术,遵循Productivity First理念,支撑大规模多团队协作式研发,深挖工程组织/编译构建/虚拟机调度等技术,融合前端/客户端研发工作流,向业务提供高效稳定的工程体系;同时持续升级Low Code技术,赋能业务运营同学快速搭建页面上线,实现产品运营需求的想发就发;
  5. 网络技术,拥抱网络协议新标准,重点优化移动弱网场景,以更小带宽,实现更快的传输,面对复杂移动场景,提供弹性可伸缩的网络服务,平衡前后台的业务体验;
  6. 应用服务技术,遵循API First理念,解决接口大规模稳定快速投放,扩展丰富的请求模式/传输协议/压缩算法等,探索端云交互一体化新模式和端云研发新模式;
  7. AI技术,依托于大模型近来的突飞猛进,我们承担着进一步提升淘宝业务研发效率和体验的使命,包括多模态代码生成(一句话需求生成逻辑代码/一张视觉稿生成UI代码/基于一段真实代码生成单测代码)、问题诊断(线上Crash诊断/端到端问题自动定位/构建失败诊断/场景化性能诊断调优)、研发助理(领域知识答疑/最佳实践问答)等等。


每个技术方向我们都有着多年的辛勤打磨和持续沉淀,历经了多年线上大规模用户和流量的千锤百炼,以下是我们的部分代表作:

  1. 原生动态化技术:基于play core的动态化方案,具备了Replugin(360)和Qigsaw(iQiyi)合并的优势,既支持插件化,又支持组件动态化;

  2. 原生研发框架DX 4.0,以Kotlin+Compose为标准,声明式/响应式/状态管理/一码多屏为特性,基于原生系统UIKit构建原生渲染管线、基于KMP构建面向多平台的编译体系,支持原生组件和能力的快速定制和扩展;

  3. 自绘渲染引擎Weex 2.0,自建符合 Web 标准的自绘渲染引擎,包含执行代码/节点构建/布局/绘制/合成/光栅化/上屏等完整渲染管线;建立字节码离线编译的工程体系,编译期可进行耗时更高更彻底的优化,并支持标准 ESM 模块、多文件拼接、动态执行脚本、模块搭建等能力;弹性可扩展的容器和插件能力,支持全页/浮层/卡片/小部件/Embed 等多种形态及插件;

  4. 流式SSR技术,业界率先尝试零运维流式 SSR 托管服务,简化流式 SSR 页面研发成本,相对业内中心化 SSR 渲染方案,引入了 CDN ER 的边缘能力,降低客户端渲染压力,并实现就近的渲染快照,实现极致的 FCP 时间;

  5. LSM对象存储技术,业界腾迅开源的MMKV、mongodb的子项目realm都是针对移动端的对象/键值存储方案,分别使用了MVCC等存储模型用于提升高并发场景的性能,但没有针对Flash存储(SSD/UFS/)特性的优化。sqlite的btree模型对大对象键值存储的读写放大系数较高。我们针对Flash存储特性(块读写机制、垃圾回收机制等)实现的LSM Tree,支持了内存压缩、冷热分区、碎片化抑制等特性,在读写放大系数和吞吐性能上有显著优势,大量应用在移动端上图片及小文件缓存等场景;

  6. 终端APP到全链路的观测与性能技术,立足Android/iOS原生特性提供APP维度的观测套件,以及各类APP高性能框架、组件,实现端性能持续优化与业务迭代;立足OpenTelemetry提供终端访问云上服务的全链路分布式技术规范与观测套件,实现终端RPC、远程配置、消息、大文件上传/下载等高性能中间件,支撑业务链路优化与治理;

  7. 终端工程构建技术,以流水线为主要支撑,通过灵活的配置插件形成统一的构建流水线,我们沉淀了终端丰富的工程构建工具链,支持iOS/Android/PC/IOT等多终端的自定义,同时结合私有化部署能够完全开放定制整个工程构建生产链路;

  8. 高性能网络技术,在IETF国际标准组织,主导Multipath-QUIC协议标准化进程(作为协议第一作者);有4篇网络领域顶级学术会议论文和期刊收录,包括网络学术Top1顶会SIGCOMM 21发表论文<XLINK>/顶会NSDI收录<TECC>等;开源国内首个标准化协议库XQUIC(git star 1.5K)/开源高性能云原生网关Tengine(git star 12.2K);网络领域专利授权超过20个以上。


面向未来,在应用底座层我们会坚持系统+自研结合的方式,向下深挖系统内核,向上提供丰富稳定、抹平平台差异的系统能力;容器引擎层我们会坚持原生+跨端结合的方式,既要极致体验,又要快速交付,充分利用客户端和前端生态;工程支撑侧我们会坚持融合客户端+前端研发动线,支持业务高效研发和低成本运维,支撑淘宝成为全球最小最快最稳最爽的App。


终端技术的团队和背后的人


技术代表作的持续演进和长期技术方向的持续探索,离不开背后的优秀工程师们,以及能持续培养出优秀工程师的土壤——团队。


我们团队倡导工程师文化,它不仅仅是一个口号,而是我们文化的核心。我们鼓励团队成员积极思考,敢于提出大胆的想法,打破现状,并为这些想法提供足够的支持与资源。


我们相信,工程师文化的核心,离不开一群优秀的技术牛人们,他们在各自技术领域拥有丰富的实践经验、较高的理论造诣,他们将成为你们的技术导师,带领你们一起成长,让你们可以引领潮流,创造未来。


技术牛人们的代表作品让人倍感震撼。他们参与制定了国际网络标准,比如【IETF】Multipath Extension for QUIC,这是一个先进性技术的行动和举措,改变了网络传输的方式,让网络更加高效和稳定。同时,他们也为JavaScript标准【TC39】做出了巨大贡献,完成JS语言特性提案两个,推出了ShadowRealm、Async Context和Error Cause等创新方案标准,为开发者们提供更加便捷和强大的工具,也为CNCF OpenTelemetry JS语言实现Champion和规范作出了贡献。


技术牛人们不仅在行业标准有着卓越的表现,他们的学术论文期刊发表也令人瞩目。比如【NSDI 2024】的TECC,这是一项关于QUIC隧道技术的研究,致力于提高QUIC传输的效率和性能;还有【Computer Networks 2022】的BBRv2+,一项关于带宽探测的研究,旨在实现对带宽的平衡和公平;以及【TNNLS 2023】的Noah,这是一项关于强化学习的研究,为大规模电子商务服务中的微服务提供了智能的速率限制算法。


技术牛人们在开源社区也有着丰富的经验和贡献。他们开源了国内首个标准化协议库XQUIC,这是一个备受关注的项目,已经获得1.5K个star;同时,他们还为高性能云原生网关Tengine(12.2K star)更新换代升级,成为了开源社区中的明星项目。


此外,我们的团队中有Node.js TSC voting members(要知道一共才二十个核心成员)和Google V8 committer,还推出了一系列基于React的应用研发框架,如git star达到17.7K的ice.js,广受前端研发好评,以及Node.js Serverless Framework中的midway.js,git star达到6.9K。还有iOS非侵入性能测试输出开源项目tidevice,已经获得了2K+个star,广受开发者欢迎。


技术牛人们不仅有着卓越的技术实力,更重要的是他们乐于分享帮助他人


加入我们的团队,你将有机会与这些杰出的人才们面对面交流,让师兄师姐倾囊传授他们的经验和智慧。无论是在项目开发中遇到的问题还是职业规划上的困惑,团队都将为你提供指导和支持,帮助你成长为一个优秀的专业人才。


加入我们的团队,我们有定期的内部分享会、技术研讨和外部交流活动,让你能不断学习到新知识,拓宽见识,同时也鼓励参加国内外技术大会,与业界大咖面对面交流,从而激发更多灵感。


无图无真相,下面是我们最近的一些内外部分享的照片:

以及我们的团队全家福


未来展望


未来已来,终端技术的新纪元正在向我们招手。

未来的电商终端设备将通过高效的数据分析和智能学习,了解我们的习惯和偏好,为我们提供更精准的个性化服务。

未来的电商终端设备将通过先进的人机交互技术,如手势控制、面部识别、语音助手,我们可以以最自然的方式同设备进行交互,无需学习复杂的操作,为我们提供将更优雅的用户体验。

未来的电商终端设备将采用最新的加密方法和隐私保护措施,确保用户数据的安全不被侵犯。同时,终端设备将能够在本地处理更多的信息,减少对云端的依赖,从而在保障功能的同时,最大限度地保护用户隐私。

我们相信,未来的电商终端不再是冷冰冰的交易平台,而是一个充满人情味、智能互动、高度个性化的购物伙伴。随着科技的进步,未来的电商终端将彻底重塑我们的购物体验,将便利、乐趣和效率提升到前所未有的高度。

在我们团队的带领下,未来的终端技术正以我们的智慧和汗水孕育而生。我们不仅仅是技术的创造者和实践者,更是未来美好生活的梦想家。我们邀请每一位对技术抱有热情的伙伴,加入我们这个充满激情和创意的团队,一起憧憬并创造一个更加智能、安全、便捷的明天。

在此欢迎聪明靠谱的小伙伴加入(社招、校招、实习生、高校合作、访问学者等),简历请发至 leo.zhouj@taobao.com。


¤  拓展阅读  ¤

3DXR技术 |  终端技术 |  音视频技术

服务端技术 | 技术质量 | 数据算法


本文分享自微信公众号 - 大淘宝技术(AlibabaMTT)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部