快速开始

这份指南展示了如何使用vLLM

在数据集上运行离线批量推理为大模型构建API服务开启一个兼容OpenAI API的服务在按照指南操作前，请确认已经完成了vLLM的安装

备注

默认情况下，vLLM是从HuggingFace下载模型，如果你想换ModelScope，可以设置环境变量：

export VLLM_USE_MODELSCOPE=True

离线批量推理

我们首先展示一个在数据集上做离线批量推理的例子，也就是说我们用vLLM根据一个提示语列表生成文本

从vLLM 导入 LLM 和 SamplingParams ， LLM 是vLLM离线推理的主类. SamplingParams 类指定惨样过程参数

from vllm import LLM, SamplingParams

定义提示语列表和采样参数，temperature，top_p数值如下，要了解更多参数可以在类定义中查看

prompts = [
"Hello, my name is",
"The president of the United States is",
"The capital of France is",
"The future of AI is",
]

sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

用LLM类初始化vLLM引擎进行离线推理，下面列子使用的opt-125m，更多支持的大模型请参考：模型列表

llm = LLM(model="facebook/opt-125m")

调用llm.generate生成输出，输入的提示语会加到vLLM引擎的等待队列并执行高吞吐量输出，输出内容为RequestOutput的对象列表，包含输出的所有tokens

outputs = llm.generate(prompts, sampling_params)

# Print the outputs.
for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

样例代码可以在 examples/offline_inference.py. 中找到

OpenAI 兼容服务

vLLM可以部署成一个OpenAI API 协议的服务，使vLLM成为一个OpenAI API的替代品，默认情况下，服务地址是：localhost:8000，你也可以通过--host和--port设置其他地址端口，一个服务只能托管一个大模型。接口提供list models,create chat completion, create completion 三个功能，我们还在积极增加更多的支持

启动服务

python -m vllm.entrypoints.openai.api_server \
--model facebook/opt-125m

默认情况下，服务提供一个预定义的聊天模板，可以通过--chat-template参数指定新的模板覆盖

python -m vllm.entrypoints.openai.api_server \
--model facebook/opt-125m \
--chat-template ./examples/template_chatml.jinja

服务可以像使用OpenAI API 一样调用，例如，获取模型列表

curl http://localhost:8000/v1/models

你可以设置 --api-key 或者用环境变量设置VLLM_API_KEY来开启服务对API key的校验

在vLLM下使用OpenAI Completions的API

使用提示语调用大模型

curl http://localhost:8000/v1/completions \
-H "Content-Type: application/json" \
-d '{
"model": "facebook/opt-125m",
"prompt": "San Francisco is a",
"max_tokens": 7,
"temperature": 0
}'

因为服务兼容OpenAI 的Api，你可以把它当作OpenAI的替代，例如还可以使用OpenAI的sdk调用服务

from openai import OpenAI

# Modify OpenAI's API key and API base to use vLLM's API server.
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"
client = OpenAI(
api_key=openai_api_key,
base_url=openai_api_base,
)
completion = client.completions.create(model="facebook/opt-125m",
prompt="San Francisco is a")
print("Completion result:", completion)

要了解更多可以参考examples/openai_completion_client.py.

在vLLM下使用OpenAI Chat的API

vLLM 支持 OpenAI Chat API，允许你进行动态对话，聊天接口是一个更具有交互性的交流方式，允许相互交流，并保存聊天记录，这对于需要上下文或更详细解释的任务非常有用。

你可以像这样使用create chat completion

curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "facebook/opt-125m",
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Who won the world series in 2020?"}
]
}'

Python客户端调用例子

使用OpenAI的python 客户端开发包，像这样调用

from openai import OpenAI
# Set OpenAI's API key and API base to use vLLM's API server.
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"

client = OpenAI(
api_key=openai_api_key,
base_url=openai_api_base,
)

chat_response = client.chat.completions.create(
model="facebook/opt-125m",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Tell me a joke."},
]
)
print("Chat response:", chat_response)

对于聊天 API 的更深入示例和高级功能，可以参考 OpenAI 官方文档。

离线批量推理​

OpenAI 兼容服务​

离线批量推理

OpenAI 兼容服务