加载中
GPUStack v0.4:文生图模型、语音模型、推理引擎版本管理、离线支持和部署本地模型

GPUStack 是一个专为运行 AI 模型设计的开源 GPU 集群管理器,致力于支持基于任何品牌的异构 GPU 构建统一管理的算力集群。无论这些 GPU 运行在 Apple Mac、Windows PC 还是 Linux 服务器上,...

在昇腾Ascend 910B上运行Qwen2.5推理

目前在国产 AI 芯片,例如昇腾 NPU 上运行大模型是一项广泛且迫切的需求,然而当前的生态还远未成熟。从底层芯片的算力性能、计算架构的算子优化,到上层推理框架对各种模型的支持及推理加速...

GPUStack 0.2:开箱即用的分布式推理、CPU推理和调度策略

GPUStack 是一个专为运行大语言模型(LLM)设计的开源 GPU 集群管理器,旨在支持基于任何品牌的异构 GPU 构建统一管理的算力集群,无论这些 GPU 运行在 Apple Mac、Windows PC 还是 Linux 服...

GPUStack正式发布: 为大模型而生的开源GPU集群管理器

经过 Seal 研发团队几个月来持续的开发和测试,我们满怀期待及热情地发布新的产品 GPUStack ,GPUStack 是一个用于运行 LLM(大型语言模型)的开源 GPU 集群管理器。尽管如今大语言模型作为公...

配置NVIDIA Container Runtime和容器运行GPUStack教程

GPUStack 是一个设计用于运行大模型的开源 GPU 集群管理器,提供私有部署的大模型服务,支持大语言模型、Embedding 文本嵌入模型、Reranker 重排序模型、Vision 多模态模型等各种模型。它可以...

RAG三件套运行的新选择 - GPUStack

GPUStack 是一个开源的大模型即服务平台,可以高效整合并利用 Nvidia、Apple Metal、华为昇腾和摩尔线程等各种异构的 GPU/NPU 资源,提供本地私有部署大模型解决方案。 GPUStack 可以支持 RA...

制作并量化GGUF模型上传到HuggingFace和ModelScope

llama.cpp 是 Ollama、LMStudio 和其他很多热门项目的底层实现,也是 GPUStack 所支持的推理引擎之一,它提供了 GGUF 模型文件格式。GGUF (General Gaussian U-Net Format) 是一种用于存储模...

开源依赖项管理指南

就像人际关系中人与人之间的关系一样,软件生态系统中包含一个庞大的关系网络。其中一些联系非常深入,而有一些关系则更为表面。但实际上,现代基于开源的软件开发涉及一个极其庞大的依赖关系...

​快讯|软件质量问题造成损失高达 2.4 万亿美元!

业内权威机构 Synopsys 称,2022 年软件质量问题可能使美国经济损失 2.41 万亿美元。 根据报告调查结果显示,截至 2022 年,薄弱的软件质量造成的问题包括——因现有漏洞造成的网络攻击、涉及...

一文带你读懂 Google GUAC 项目

随着软件供应链攻击的显著增加,以及 Log4j 漏洞带来的灾难性后果和影响,软件供应链面临的风险已经成为网络安全生态系统共同关注的最重要话题之一。根据业内权威机构 Sonatype 发布的2022软...

损失高达3亿美元|如何保护源代码安全?

源代码是所有软件开发公司最宝贵的资产之一。因此,如果源代码被盗或泄露,可能会对企业的业务造成巨大损失。从长远来看,源代码盗窃可能会对企业的财务和声誉造成不可估量的损失。然而即便是...

微软宣布 S2C2F 已被 OpenSSF 采用

开源供应链安全对大多数 IT 领导者来说是个日益严峻的挑战,围绕确保开发人员在构建软件时如何使用和管理开源软件 (OSS) 依赖项的稳健策略至关重要。Microsoft 发布安全供应链消费框架 (S2C...

EPSS 解读:与 CVSS 相比,孰美?

通用漏洞评分系统(CVSS)是当前应用最频繁的评分系统以评估安全漏洞的严重性。但是,由于该系统在评估漏洞和优先级排序方面存在不足而遭受批评。因此,有部分专业人士呼吁使用漏洞利用预测评...

Log4Shell 漏洞披露已近一年,它对我们还有影响吗?

在 Log4Shell 高危漏洞事件披露几乎整整一年之后,新的数据显示,对全球大多数组织来说,补救工作是一个漫长、缓慢、痛苦的过程。 根据漏洞扫描领先者 Tenable 公司的遥测数据来看,截至今年...

SEAL 0.3 正式发布:国内首个全链路软件供应链安全管理平台

12月1日,软件供应链安全管理平台 SEAL 0.3 正式发布(以下简称“SEAL”),这是国内首个以全链路视角保护软件供应链的安全管理平台。两个月前 SEAL 0.2 发布,该版本创新性地提供了依赖项的...

安全配置错误规避指南

在2019 年,安全研究人员发现 Atlassian JIRA 中存在安全配置错误,这是一款全球超过 100,000 家组织和政府机构使用的项目管理软件。JIRA 配置错误允许任何人通过简单的搜索查询访问敏感信息...

企业网络“卫生”实用指南

企业安全文化从根本上说是基于良好的网络卫生(Cyber Hygiene)来建立和发展的,每个企业都必须根据自身实际情况来建立相应的网络卫生标准。企业可以实施许多基本的网络卫生控制措施,以此来...

企业网络“卫生”实用指南(上)

企业安全文化从根本上说是基于良好的网络卫生(Cyber Hygiene)来建立和发展的,每个企业都必须根据自身实际情况来建立相应的网络卫生标准。企业可以实施许多基本的网络卫生控制措施,以此来...

从 Uber 数据泄露事件我们可以学到什么?

Uber 数据泄露始于一名黑客从暗网市场购买属于一名 Uber 员工的被盗凭证。最初尝试使用这些凭据连接到 Uber 的网络失败,因为该帐户受 MFA 保护。为了克服这一安全障碍,黑客通过 What's App...

5种典型 API 攻击及预防建议

API 帮助跨多个设备互连多个应用程序或软件系统,定义它们可以发出的调用或请求的种类、调用的方式、应使用的数据格式以及应遵守的约定。API 已经发展成为重要的互连,支持不同应用程序架构之...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部