支持的模型

vLLM 支持 HuggingFace Transformers 中的各种生成 Transformer 模型。以下是 vLLM 目前支持的模型架构列表。除了每种架构之外，我们还提供了一些使用它的流行模型。

表格参见：https://docs.vllm.ai/en/latest/models/supported_models.html

如果您的模型使用上述模型架构之一，您可以使用 vLLM 无缝运行您的模型。否则，请参阅“添加新模型”以获取有关如何实现对您的模型的支持的说明。或者，您可以在我们的 GitHub 项目上提问。

注意

目前，vLLM 的 ROCm 版本仅支持 Mistral 和 Mixtral，上下文长度最多为 4096。

提示

检查您的模型是否受支持的最简单方法是运行以下程序：

from vllm import LLM

llm = LLM(model=...)  # Name or path of your model
output = llm.generate("Hello, my name is")
print(output)

vLLM能成功生成文本，说明你的模型是支持的

备注

如果要使用ModelScope 代替 HuggingFace Hub，按下面方式设置环境变量

export VLLM_USE_MODELSCOPE=True

And use with trust_remote_code=True.

from vllm import LLM

llm = LLM(model=..., revision=..., trust_remote_code=True)  # Name or path of your model
output = llm.generate("Hello, my name is")
print(output)