使用KServe部署

vLLM 可以在Kubernetes上用 KServe 部署，实现高度可扩展的分布式模型服务。

请看kserve指南