vllm 产品

来源: githubOPEN_SOURCE开源PythonApache-2.0发布于 2023-02-09

A high-throughput and memory-efficient inference and serving engine for LLMs

79898

Stars

16748

Forks

6

技术栈

0

替代方案

5

相关事件

大语言模型大模型 / LLM深度学习框架
GitHub官网
关系图谱

1

开发者/公司

6

相关技术

0

替代方案

5

相关事件

0

相关文章

开发者/公司查看全部 (1)

V
vllm-projectCOMPANY

相关技术查看全部 (6)

CUDA(2004)
transformers(2011)
PyTorchframework
LLaMAarchitecture

替代方案

暂无数据

相关事件查看全部 (5)

相关文章

暂无数据