模型 | Open Docs

📄️ 支持的模型

vLLM 支持 HuggingFace Transformers 中的各种生成 Transformer 模型。以下是 vLLM 目前支持的模型架构列表。除了每种架构之外，我们还提供了一些使用它的流行模型。

这份文档提供了有关将 HuggingFace Transformers 模型集成到 vLLM 的高级指南。

下面可以找到 vLLM 每个引擎参数的解释：

本文档向您展示如何在基本模型之上将 LoRA 适配器与 vLLM 结合使用。可以以最小的开销根据每个请求有效地服务适配器。首先，我们下载适配器并将其保存在本地