
通过对快照创建和恢复机制的优化,Alluxio在使用嵌入式日志时,Alluxio Master在最坏情况下的故障切换时间缩短为原来的5%(即缩短了95%)。该机制限制了系统在故障切换事件中需要重放的日志条目总数,使得管理员能够将一般性故障切换时间缩短50%。

当 Alluxio 集群同时管理超过一亿个文件时,这些优化可将故障切换时间从几分钟缩短到几十秒,因此可以避免计划内停机,这一功能已在包含海量小文件的生产场景中得到验证。
Alluxio元数据同步机制是用来使Alluxio 命名空间中的文件和目录与底层数据源保持一致的内部机制,一般在列出或预加载大型目录时会无意中触发。过去,一些用户曾观察到 Alluxio Master 上由于元数据同步机制而导致内存资源消耗激增的情况。
高资源消耗会导致资源的过度配置。在 2.10 版本中,Alluxio Master在同步间隔较短时的内存需求可减少90%,同时将端到端性能提升2倍。
通过加载操作的预加载功能可提升分析负载在可预测的时间(比如每天的固定时间)对远程数据进行访问时的SLA,此外也可用于加快模型训练和缩短部署时间。与 2.9 版本相比,这些功能使得要实现相同或更高的吞吐量时所需的跨集群资源仅为原来的10%。


本文分享自微信公众号 - Alluxio(Alluxio_China)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。