2 篇文档带有标签[sglang]

在 GPU 集群上安装 HAMi，并使用 GPU 切分资源调度 SGLang 推理服务。

将模型打包为 KitOps ModelKit，通过 initContainer 从 Jozu Hub 拉取，并使用 SGLang（可选 vLLM）在 HAMi GPU 共享资源上从本地提供服务。