近期，我们正式推出了IDP LM ——专属大模型构建应用加速平台，IDP LM 将带您踏上自有可控AI大模型构建和应用的新篇章。 01 IDP LM是什么 IDP LM旨在为企业提供高效易用的大模型微调工具和服...

编者按：嵌入(Embedding)是机器学习中一种将高维稀疏向量转换为低维稠密向量的技术。其通常用于处理自然语言、图像等高维离散数据。 嵌入能够有效地解决维度灾难问题，减少存储和计算成本，同...

编者按：在之前的系列文章中，我们介绍了大模型的原理和微调落地的理论方法。本期文章，我们将以实际场景为例，详细介绍微调的实践流程和相关代码。 作者详细介绍了如何使用 QLoRA 技术针对 ...

编者按：随着大语言模型(LLM)的迅速发展，越来越多团队希望针对特定领域进行模型微调。但是实践运用中总是存在一些困难，直接应用并不总是能达到理想效果。 本文着重探讨了三个关键问题: 利用...

编者按：随着大语言模型的广泛应用，如何存储和高效检索这些模型产生的大量向量表示成为一个较为关键的问题。本文深入探讨了向量数据库在提升语言模型应用性能方面的作用，并介绍了不同类型向...

编者按：8月29日凌晨，OpenAI在官网宣布，推出企业版ChatGPT（ChatGPT Enterprise）。前不久，OpenAI又刚刚发布了针对企业的GPT-3.5 Turbo微调功能。因而引发了一场热烈的讨论——是否仍需要...

编者按：随着大语言模型在自然语言处理领域的广泛应用，如何从人类反馈进行强化学习（RLHF）已成为一个重要的技术挑战。并且RLHF需要大量高质量的人工数据标注，这是一个非常费力的过程。 本...

编者按：人工智能领域近年来模型规模不断增大，参数规模爆炸式增长。从 GPT-3 的 1,750 亿，再到传闻中的 GPT-4 可能高达惊人的 18,000 亿参数。然而，随着模型规模的不断膨胀，也出现了训练...

编者按：今年以来，大语言模型(LLM)已被广泛应用于各种自然语言处理任务，也越来越多地被用于构建复杂的语言应用。但是构建多任务的 LLM 应用仍面临一定的挑战，需要解决任务组合和调控等问题...

编者按：随着大语言模型在自然语言处理中的广泛应用，如何提高其在实际部署中的推理速度成为一个非常关键的问题。 本文详细介绍了当前提高大语言模型推理速度的七大策略，包括使用低精度计算...

编者按：自ChatGPT推出后，基于人类反馈的强化学习(RLHF)技术便成为大模型构建和应用人员关注的热点。但该方法一些情况下效果却差强人意，有些基础模型经RLHF调优后反而表现更差。RLHF技术的...

编者按：在训练大语言模型的过程中,构建高质量的训练数据集是非常关键的一步，但关于构建大模型训练所需数据集的通用数据处理流程（Data pipelines)的相关资料极为稀少。 本文主要介绍了基于...

编者按：随着对大语言模型（LLM）评估领域的深入研究，我们更加清楚地认识到全面理解评估过程中的问题对于有效评估LLM至关重要。 本文探讨了机器学习模型评估中出现的常见问题，并深入研究了...

编者按：在实际部署大模型的过程中可能会面临资源限制的问题。通过轻量化大模型微调技术，可以将大型预训练语言模型适配到特定领域、特定任务，并减小其模型尺寸和计算量需求，提高性能和效率...

编者按：随着大规模预训练模型的发展和应用，大模型微调技术已经在很多领域都有了突破性的进展，并推动了人工智能技术的发展与应用。 本文会简要介绍上下文学习（in-context learning）的含义...

编者按：当我们回顾过去十年的人工智能发展历程时，可以看到一场现在还正在进行的变革，对我们的工作方式、商业运营模式和人际交往行为都产生了深远的影响。从2013年的AlexNet到变分自编码器...

编者按：近期几乎每隔一段时间，就有新的大语言模型发布，但是当下仍然没有一个通用的标准来评估这些大型语言模型的质量，我们急需一个可靠的、综合的LLM评估框架。 本文说明了为什么我们需要...

编者按：要理解一种新的机器学习架构（以及其他任何新技术），最有效的方法就是从头开始实现它。然而，还有一种更简单的方法——计算参数数量。 通过计算参数数量，读者可以更好地理解模型架...

编者按：大语言模型可以提供许多创意性内容，如写诗、写小说等。那么到底应该如何评估大语言模型生成的创意性内容的水平呢？ 本文探讨了GPT-2到GPT-4的创造性，并分析了这些模型在不同创造性...

编者按：在仅仅五年的时间里，大语言模型、transformers几乎完全改变了自然语言处理领域。 为了便于快速、扎实、深入地学习大语言模型，本文整理一个简单的经典学术资料列表，供正在入门中的...