引言 我们很高兴地宣布由 Technology Innovation Institute (TII) 训练的开源大模型 Falcon 180B 登陆 Hugging Face！ Falcon 180B 为开源大模型树立了全新的标杆。作为当前最大的开源大模型...

简单概述 现在，在 Hugging Face 中，使用打包的指令调整示例 (无需填充) 进行训练已与 Flash Attention 2 兼容，这要归功于一个最近的 PR以及新的DataCollatorWithFlattening。 最近的 PRht...

在 RAG 领域，多向量模型 ColBERT 通过为文档的每个 token 生成独立的向量，带来了检索精度的提升。但同样也带来了存储需求的剧增，并且仅支持英文，限制了其应用范围。 为解决这些问题，我们...

Falcon Mamba是由阿布扎比的Technology Innovation Institute (TII)开发并基于TII Falcon Mamba 7B License 1.0的开放获取模型。该模型是开放获取的，所以任何人都可以在 Hugging Face 生态系...

在开发 Docmatix 时，我们发现经其微调的 Florence-2 在 DocVQA 任务上表现出色，但在基准测试中得分仍比较低。为了提高基准测试得分，我们必须在 DocVQA 数据集上进一步对模型进行微调，以学...

正式收购 huggingface.com 域名 , , ,

总结: 随着我们增加内存压缩次数的次数，Infini-attention 的性能会变得越来越差。据我们所知，ring attention、YaRN和rope scaling这三种方法仍是将预训练模型拓展更长上下文的最佳方式。 ...

本文，我们将发布Docmatix - 一个超大的文档视觉问答 (DocVQA) 数据集，比之前的数据集大 100 倍。当使用 Docmatix 微调 Florence-2 时，消融实验显示 DocVQA 任务的性能提高了 20%。 Docmat...

ggml是一个用 C 和 C++ 编写、专注于 Transformer 架构模型推理的机器学习库。该项目完全开源，处于活跃的开发阶段，开发社区也在不断壮大。ggml 和 PyTorch、TensorFlow 等机器学习库比较相...

随着大语言模型的发展，许多模型已经能够处理超过100k+ tokens的输入上下文。然而，这些模型在生成长文本时，普遍存在输出长度受限的问题。 在实际应用中，为了克服这个问题，人们普遍采用「...

Milvus 是一个广受欢迎的开源向量数据库，为人工智能应用提供高性能和可扩展的向量相似性搜索。在本教程中，我们将向您展示如何使用 Hugging Face 和 Milvus 构建 RAG（检索增强生成）流程。...

过去的几个月，我们目睹了使用基于 transformer 模型作为扩散模型的主干网络来进行高分辨率文生图 (text-to-image，T2I) 的趋势。和一开始的许多扩散模型普遍使用 UNet 架构不同，这些模型使...

指令微调是引导语言模型落地、构建高性能对话模型的关键一步。针对目前开源的指令数据集质量低、覆盖领域少、数据信息不透明等问题，智源研究院推出了千万级指令微调数据集 Infinity Instruc...

再次刷新端侧多模态天花板，面壁「小钢炮」 MiniCPM-V 2.6 模型重磅上新！ 仅8B参数，单图、多图、视频理解全面对标 GPT-4V ！且小钢炮一口气将实时视频理解、多图联合理解、多图ICL等能力首...

机器之心报道 编辑：泽南、佳琪 用 Clapper 做视频，你只需要当导演就行了。 Sora 一出，视频领域似乎已经进入了生成式 AI 时代。不过直到今天，我们仍然没有用上 OpenAI 的官方视频生成工具...

你是否已厌倦管理多个 AI 模型所带来的复杂性和高成本？那么， 如果你可以部署一次就搞定 30 个模型推理服务会如何？ 在当今的 ML 世界中，哪些希望充分发挥其数据的价值的组织可能最终会进入...

我们非常激动地正式宣布，Hugging Face 已收购 XetHub 🔥 XetHub 是一家位于西雅图的公司，由 Yucheng Low、Ajit Banerjee 和 Rajat Arya 创立，他们之前在 Apple 工作，构建和扩展了 Appl...

在 2024 年 7 月 4 日的 WAIC 科学前沿主论坛上，上海人工智能实验室推出了书生·浦语系列模型的全新版本——InternLM2.5。相较于上一代，InternLM2.5 全面增强了在复杂场景下的推理能力，支...

今年，Numina和 Hugging Face 合作角逐AI 数学奥林匹克 (AI Math Olympiad，AIMO)的首届进步奖。此次比赛旨在对开放 LLM 进行微调，以使其能解决高中难度的国际数学奥林匹克训练题。我们很高...

简介 本文将介绍SmolLM。它集合了一系列最尖端的 135M、360M、1.7B 参数量的小模型，这些模型均在一个全新的高质量数据集上训练。本文将介绍数据整理、模型评测、使用方法等相关过程。 Smol...