LocalAI
免费把本机模型包装成 OpenAI 接口，程序改个地址就能接
开源 无广告 无追踪 离线可用 无需注册 跨平台 可自建
本地推理服务器，对外暴露与 OpenAI 兼容的 API。已有程序只要把接口地址指过来就能改用本机模型，不必改调用代码。除了文本生成，还支持向量嵌入、语音转文字、语音合成和图像生成，CPU 也能跑。
为什么推荐它
MIT 协议，4.9 万颗星。
目录里的 Ollama、LM Studio、Jan 主要面向「我自己要和模型聊天」。
LocalAI 面向另一件事：我写的程序在调 OpenAI 的 API，
想把这一段换成本机跑，但不想动业务代码。
它把接口形状做成兼容的，base_url 改一行就切过去了。
覆盖面比单纯的文本生成宽：embeddings 可以喂给自建的向量检索， whisper 系列做转写，图像生成也在同一个服务里。 做一套完全离线的应用时，这减少了拼接不同服务的麻烦。
要说清楚的：
- 只是不折腾的话，Ollama 更省事。 LocalAI 的价值在接口兼容和多模态统一， 单纯想本地聊天它是杀鸡用牛刀。
- 配置比 Ollama 复杂，模型定义是 YAML，第一次跑通要读文档。
- CPU 能跑不等于跑得快。没有显卡时大模型的生成速度会明显拖。