2023年9月8日-10日由中国计算机学会(CCF)主办,中国计算机学会大数据专家委员会与南京大学联合承办的第十一届CCF大数据学术会议(CCF BigData 2023)在江苏省南京市完满举行。CCF理事长、中国科学院院士、北京大学梅宏教授,中国科学院院士、南京大学吕建教授致开幕辞,中国工程院院士、清华大学郑纬民教授,加拿大皇家科学院院士、滑铁卢大学(加拿大)李明教授及欧洲科学院院士香港科技大学郭毅可教授等出席做特邀报告。

本次会议以“算力模型协同,数据智领未来”为主题,围绕大数据的处理、管理、分析和治理展开学术交流和研讨,共同深入探讨数字经济和大模型时代下,大数据领域面临的机遇和挑战,分享最新的研究成果和实践经验,探索大数据在各领域中的创新应用,促进大数据技术与产业的发展,为构建数字中国贡献智慧和力量。
OPPO云服务中心存储架构师常亮和OPPO研究院高级隐私计算研究员孟丹博士分别在这个为学术界、工业界和相关职能部门的专家们提供的交流合作平台上的大数据前沿工业技术论坛和「专题论坛:大数据安全与隐私计算论坛」上,与相关领域学者和同行深入交流,分别针对CubeFS未来在数据湖场景的研发规划和端云互融隐私计算视角,介绍大数据领域的前沿与发展,进行相关报告分享。
新一代云原生开源存储产品CubeFS存储:
提升资源利用率,降本增效
9月8日下午,「大数据前沿工业技术论坛」由论坛主席、中科天玑总工程师宋怀明博士和南京大学李武军教授主持,来自南京大学、第四范式、南京大数据集团、江苏鸿程大数据及OPPO的多位学者专家就工业界和开源社区领域对于大数据前沿技术发展的最新进展,进行了分享与讨论。
OPPO云服务中心存储架构师常亮以「云原生存储CubeFS在数据湖的探索和实践」为题,结合大数据和机器学习场景,针对CubeFS未来在数据湖场景的研发规划进行分享。如今,随着数据规模持续增长,也让众多企业使用的HDFS等存储系统面临着的特性无法支持、性能瓶颈、以及成本的挑战。为解决数据湖的需求,也为了企业降本增效的同时,保证系统的可用性、数据的可靠性以及运维的便捷性。常亮在论坛上介绍了CubeFS 如何助力大数据降本的策略:
1)通过可扩展的元数据子系统,支持大规模多规格的数据存储,从而降低系统的运营压力。
2)从数据冗余度出发,用户可以根据业务特性选择特定数量的副本数目。
3)除了弹性副本之外还可以采用低成本的纠删码,不同冗余度的编码支持可配,用户可以根据对数据耐久度的需求来选择合适的编码模式。
4)通过高密的存储服务器降低单位存储量的成本和功耗,整体的存储成本也更低。
5)针对小文件场景,副本引擎通过小文件会聚合存储实现流式存储并减少 DataNode 管理的文件管理压力,纠删码引擎写入小文件会采用填充的方式,这样小文件读取时候只访问第一块数据,可以避免跨 AZ 的读流量。

CubeFS 技术团队也特别关注数据湖场景中混合云存储的读写性能,在基于混合云AI训练场景中,通过多级缓存技术可以在 Client 节点上同机部署 BlockCache 组件来缓存元数据,通过宿主机的磁盘来提供数据缓存服务。除本地缓存之外,CubeFS还支持全局缓存,如果业务对缓存容量需求更大,可以使用多副本 DataNode 作为缓存。
近年来,OPPO一直专注于 CubeFS 的发展,为更多企业提供高性能、高可靠的分布式存储解决方案,实现快、稳、省的目标。在分享的最后,常亮总结道,CubeFS 是开源的云原生分布式存储产品,具有高效、稳定的特点,能够助力大数据与 AI 无限潜能,让大家获得良好的使用体验。
充分构建“主动隐私”方案,
切实保障用户隐私安全与利益
万物互联时代,数据信息正在呈现指数级增长,用户的隐私安全也迎来了前所未有的挑战。如何在安全合规的前提下为用户带来更贴心的个性化服务体验,OPPO 的隐私计算技术已经为解决上述问题提供了一种可行的解决方案。在9月10日上午举办的「专题论坛:大数据安全与隐私计算论坛」上,OPPO研究院高级隐私计算研究员孟丹博士以「主动隐私:端云互融隐私计算视角」为主题围绕主动隐私,从端云互融隐私计算视角,介绍了OPPO在该方向的初步探索、实践及思考,进行报告分享。

她介绍道,隐私计算是指在保证数据提供方不泄露原始数据的前提下,对数据进行分析计算的一系列信息技术,能够保障数据在流通与融合过程中的“可用不可见”。其中,云-云隐私计算是指在多个组织或实体之间协作训练机器学习模型的过程,数据保持在每个实体的本地,只有模型的更新在参与者之间共享。端-云互融隐私计算则利用端侧算力,部署机器学习算法模型和推理服务,具有实时性、隐私保护等优势,在AR商品试穿、试妆和电商、音视频推荐等诸多应用场景中有着得天独厚的优势。在用户对自身隐私权益更加关注的今天,“主动隐私”方案不仅能赢得用户信任,更切实保障了大众的基本权利,拉近彼此的距离。
在“主动隐私”之外,北京理工大学祝烈煌教授、西安电子科技大学李兴华教授、南京信息工程大学付章杰教授、华侨大学田晖教授与浙江大学刘健研究员分别就网络加密流量智能分析技术、数据交易及安全性研究、深度伪造取证技术、云数据安全审计、安全两方GPT推理等安全与隐私计算话题进行了全面的技术解构与细致讲解,现场学习研讨氛围热烈。
未来,OPPO也将继续携手国内外的科研工作者,加速推进以用户为中心的大数据智能服务研发,打造更为安全高效的智能体验,为用户带来更多便利。
OPPO 安第斯智能云(AndesBrain)是服务个人、家庭与开发者的泛终端智能云,致力于“让终端更智能”。安第斯智能云提供端云协同的数据存储与智能计算服务,是万物互融的“数智大脑”。
本文分享自微信公众号 - 安第斯智能云(OPPO_tech)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。