Introducing multi-backends (TRT-LLM, vLLM) support for Text Generation Inference
核心要点速览
Text Generation Inference新增TRT-LLM和vLLM多后端支持。
查看完整报道与分享
完整图文、背景资料与讨论归原始发布平台 Hugging Face 所有。
Text Generation Inference新增TRT-LLM和vLLM多后端支持。
完整图文、背景资料与讨论归原始发布平台 Hugging Face 所有。