项目详情
llama.cpp
C/C++ 本地 LLM 推理，GGUF 生态核心。
打开 GitHub 原始仓库 ↗适合什么时候使用
CPU/消费级 GPU 本地跑量化模型、嵌入式部署
不适合什么时候使用
需要多租户高并发 OpenAI 兼容服务集群
筛选信息
- 领域
- 人工智能与智能体
- 语言
- C++
- 许可证
- 未标注
- 状态
- active
- 核验
- unverified
相关、替代与配套项目
- integrates_withOllama
项目详情
C/C++ 本地 LLM 推理，GGUF 生态核心。
打开 GitHub 原始仓库 ↗CPU/消费级 GPU 本地跑量化模型、嵌入式部署
需要多租户高并发 OpenAI 兼容服务集群