Jan – 免费的 ChatGPT 开源替代:使用开源 AI 模型,在自己电脑上运行大语言模型,100% 离线

Jan 是一款支持 Windows、macOS、Linux 的本地 AI 软件,利用开源 AI 模型和自己的硬件(CPU、显卡),让你在自己电脑上运行大语言模型,实现 100% 完全离线、免费的 ChatGPT。@Appinn

Jan - 免费的 ChatGPT 开源替代:使用开源 AI 模型,在自己电脑上运行大语言模型,100% 离线

很多同学一直在找可以运行在自己电脑上的大语言模型,这不它来了。

Jan – 免费的 ChatGPT 开源替代

原理就是使用自己的硬件来提供算力,支持:

  • Nvidia GPUs (fast)
  •  Apple M-series (fast)
  •  Apple Intel
  •  Linux Debian
  •  Windows x64

也支持多 GPU 集群,反正你有什么设备尽管上,越多算力越大,速度越快。

兼容 OpenAI API

Jan 提供了 OpenAI 等效 API,可以在本地 1337 端口直接调用。

截图

Jan 的使用界面很简单,从边栏选择并下载模型后,就可以直接用了:

Jan - 免费的 ChatGPT 开源替代:使用开源 AI 模型,在自己电脑上运行大语言模型,100% 离线 1
选择并下载模型
Jan - 免费的 ChatGPT 开源替代:使用开源 AI 模型,在自己电脑上运行大语言模型,100% 离线 2
主界面

用起来,就像和 ChatGPT 一样聊天,只不过这次,算力由你自己的电脑提供。

除了从 Jan 提供的 Hub 选择模型,也支持手动导入模型、使用在线模型(远程服务器)。

青小蛙实在是没有硬件可以测试这个,测试了 OpenAI 的的确没啥问题,推荐给各位 4090 用户玩玩。

获取


原文:https://www.appinn.com/jan-ai/

一条留言

  1. Xue 2024/02/23 回复

写留言