LF AI基金会(LF AI Foundation)正在构建一个生态系统,以支持人工智能(AI)、机器学习(ML)和深度学习(DL)领域的开源创新,今天宣布Amundsen为其最新孵化项目。
Amundsen是一个数据发现和元数据引擎,用于提高数据分析师、数据科学家和工程师与数据交互时的生产力。如今,它通过索引数据资源(表格、仪表盘、流等)和基于使用模式(例如,查询次数高的表格比查询次数少的表格更早出现)来实现这一点。可以把它看作是对数据的谷歌搜索。该项目以挪威探险家Roald Amundsen的名字命名,他是第一个发现南极的人。Amundsen是由Lyft发布并开源的。
LF AI的执行董事Ibrahim Haddad博士说:“我们非常高兴地欢迎Amundsen加入LF AI,并帮助它在一个开放的治理模式下,在一个中立、无供应商的环境中蓬勃发展。随着Amundsen的加入,我们将增加数据类别下托管项目的数量,并期待我们的数据项目和所有其他项目之间的紧密合作,以推动数据、分析和AI开源技术的创新。”LF AI通过广泛的服务支持项目,第一步是作为孵化项目加入。
Amundsen的联合创始人Mark Grover表示:“成为LF AI基金会的一部分,是该项目走向事实上的开源数据发现和元数据引擎的一个重大里程碑。看到Amundsen在Lyft的应用,以及它的开源社区的增长,我们感到很惊讶,现在这个社区已经有了750多名成员。我很高兴看到这个项目在LF AI基金会的支持下继续成长并取得成功。”
Amundsen在Apache许可证版本2.0下发布,包括三个微服务,一个数据摄取库和一个公共库(完整代码):
amundsen: Central repo for Amundsen.
amundsenfrontendlibrary: Frontend service which is a Flask application with a React frontend.
amundsensearchlibrary: Search service, which leverages Elasticsearch for search capabilities, is used to power frontend metadata searching.
amundsenmetadatalibrary: Metadata service, which leverages Neo4j or Apache Atlas as the persistent layer, to provide various metadata.
amundsendatabuilder: Data ingestion library for building metadata graph and search index. Users could either load the data with a python script with the library or with an Airflow DAG importing the library.
amundsencommon: Amundsen Common library holds common codes among microservices in Amundsen.
这个项目不断增长的用户社区现在包括Lyft、ING、Square、Workday、Asana、iRobot、Edmunds.com等等。Amundsen一开始是支持数据集的发现和探索,但后来又在元数据图中添加了仪表板和人员。它集成了数据存储、仪表盘工具和编排工具(如Airflow)的大型生态系统。你可以在amundsen.io了解更多关于Amundsen的信息。
ING批发银行业务高级工程分析副总裁Bolke de Bruin表示:“我们在ING是Lyft创建的数据搜索软件Amundsen的早期采用者和贡献者。当我们在2018年9月与Lyft团队取得联系时,我们立即被他们的愿景所吸引。在元数据领域,许多应用程序关注数据治理。这一点很重要,但对数据科学家、分析师和工程师来说用处有限。Amundsen专注于提高这些数据用户的生产力,减少他们在寻找和理解他们所使用的数据时所面临的摩擦。在ING,Amundsen是我们数据分析平台的一部分,目标是公司50%的用户。Amundsen是实现这一目标的关键,因为它降低了进入壁垒。每天有500名用户使用Amundsen,这个数字还在持续增长。”
Lyft数据、科学和ML副总裁Chris Martin表示:“Amundsen已经成为数据科学和分析工作流的重要组成部分,每个月都有超过1000名用户使用它。它极大地提高了Lyft数据用户的工作效率和对数据的信任度。”
LF AI将支持Amundsen的中立开放治理,帮助促进项目的发展。查看用户指南,今天开始与Amundsen工作。在他们的网站上了解更多关于Amundsen的信息,一定要加入Amundsen-Announce和Amundsen-Technical-Discuss邮件列表,加入社区并保持最新的更新。
https://lists.lfai.foundation/g/amundsen-announce
https://lists.lfai.foundation/g/amundsen-technical-discuss
热烈欢迎Amundsen!我们期待这个项目作为LF AI基金会的一部分继续增长和成功。要了解如何与我们一起托管一个开放源码项目,请访问LF AI网站。
https://lfai.foundation/proposal-and-hosting-process/
点击【阅读原文】阅读英文原文。
LF AI是Linux基金会的一个伞形基金会,支持人工智能、机器学习和深度学习的开源创新。创建LF AI是为了支持开源AI、ML和DL,并创建一个可持续的开源AI生态系统,使使用开源技术创建AI产品和服务变得容易。我们鼓励在中立的环境下以开放的治理进行协作,以支持开放源码技术项目的协调和加速。
联系关于LF AI
Linux基金会是非营利性组织,是技术生态系统的重要组成部分。
Linux基金会通过提供财务和智力资源、基础设施、服务、活动以及培训来支持创建永续开源生态系统。在共享技术的创建中,Linux基金会及其项目通过共同努力形成了非凡成功的投资。请长按以下二维码进行关注。
本文分享自微信公众号 - LFAPAC(gh_8442c14fe49e)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。