vllm 产品

来源: githubOPEN_SOURCE开源PythonApache-2.0发布于 2023-02-09

A high-throughput and memory-efficient inference and serving engine for LLMs

79898

Stars

16748

Forks

8

技术栈

0

替代方案

0

相关事件

大语言模型大模型 / LLM 深度学习框架

vllm · 相关技术

相关技术

Transformerarchitecture

CUDAplatform

CUDA(2004)

transformers(2011)

PyTorchframework

LLaMAarchitecture

GPTarchitecture

Pythonlanguage