AI - 得物技术的个人空间 - OSCHINA - 中文开源技术交流社区

得物技术

得物技术邀请你一起做最潮技术人

认证官方账号

1.2W

经验值

1.2W

开源豆

349

粉丝

关注

关注私信

连击天

fork: star:

加载中

一、背景近期，我们在大模型集群的部署过程中遇到了一些挑战。公司有多个业务场景，每个场景都基于自身的数据进行微调，训练出相应的大模型并上线。然而，这些场景的调用量并不高，同时大模...

lora vllm llama3 llama sft yaml modules 其他开源人工智能 factory llamafactory vllmserve

08/20 18:08

8.5K

一、背景最近我们在生产环境批量部署了大模型专用推理集群，并成功让包括70B在内的大模型推理速度提升50%，大幅缩减部署成本，稳定应用于生产环境。本文基于我们在部署大模型推理集群时的一...

https vllm llama blog 大型语言模型 openai text-generation-inference prompt 开源 docs html

05/21 10:12

4.8K

一、模型推理优化随着模型在各种场景中的落地实践，模型的推理加速早已成为AI工程化的重要内容。而近年基于Transformer架构的大模型继而成为主流，在各项任务中取得SoTA成绩，它们在训练和推...

k matrix exllama zero hessian llama https z v layer 开源神经网络 blob free autogptq trick

04/30 10:10

5.5K

一、背景重复工作，代码规范：B端前端代码开发过程中开发者总会面临重复开发的痛点，很多CRUD页面的元素模块基本相似，但仍需手动开发，将时间花在简单的元素搭建上，降低了业务需求的开发效...

prompt json 向量数据库 crud vscode 其他 protable badcase pagesize usecolumns curd headertitle

04/25 10:26

7.1K

一、问题描述当我们的业务发展到一定阶段的时候，系统的复杂度往往会非常高，不再是一个简单的单体应用所能够承载的，随之而来的是系统架构的不断升级与演变。一般对于大型的To C的互联网企...

2023/09/14 10:48

782

1 AB平台简介 AB实验平台这几年在互联网公司得到了越来越广泛的应用，采用AB实验来评估产品和技术迭代效果也成为主流的业务新功能效果评估方式，数据驱动的文化在这几年得到了不少公司的广泛...

可视化其他 ark apache flink pos系统（销售点）

2023/09/11 14:43

2.1K

1 前言随着得物业务规模的不断增加，推荐业务也越来越复杂，对推荐系统也提出了更高的要求。我们于2022年下半年启动了DGraph的研发，DGraph是一个C++项目，目标是打造一个高效易用的推荐引擎...

dgraph 推荐引擎 graph hashmap 内存分配器 short cas 聚类开源 linux kmeans next c++

2023/08/29 14:31

9.9K

1 背景随着自动化测试左移实践深入，越来越多不同类型的需求开始用自动化测试左移来实践，在实践的过程中也有了新的提效诉求，比如技改类的服务拆分项目或者BC流量拆分的项目，在实践过程中...

2023/08/08 18:11

1.2K

1 背景与挑战 1.1 数据平台业务背景数据平台利用大数据智能分析、数据可视化等技术，对公司内外部经过采集、建设、管理、分析的多源异构数据进行呈现和应用，实现了数据共享、日常报表自动生...

流量回放平台自动化测试 diffy 开源数据可视化大数据 aadiff pandora excel path

2023/06/27 14:15

7.5K

1.引言 ChatGPT在当下已经风靡一时，作为自然语言处理模型的佼佼者，ChatGPT的优势在于其能够生成流畅、连贯的对话，同时还能够理解上下文并根据上下文进行回答。针对不同的应用场景可以进行...

docker openai github git docker compose openssl python

2023/05/25 14:14

7.9K

没有更多内容

加载失败，请刷新页面

没有更多内容

得物技术

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

QQ群

公众号

视频号