PowerInfer 产品

来源: githubOPEN_SOURCE开源C++MIT发布于 2023-12-15

High-speed Large Language Model Serving for Local Deployment

9450

Stars

575

Forks

1

技术栈

0

替代方案

0

相关事件

大语言模型大模型 / LLM

PowerInfer · 开发者/公司

T

Tiiny-AICOMPANY