Jan
Jan 是一个帮助你在本地运行开源大模型的程序,支持Windows、Mac和Linux多平台,移动端即将推出,可以从它上面方便的下载并运行开源模型,并且能在本地提供一个兼容 ChatGPT API 协议的Web服务。 它提供了一个类似于ChatGPT的聊天界面,可以基于它聊天,并且可以保留聊天历史。
LocalAI是一个可替换的REST API,与OpenAI API规范兼容,用于本地推理。它允许你用消费级硬件在本地或内部运行LLM(而不仅仅是),支持与ggml格式兼容的多个模型系列。不需要GPU。



