--- title: AnythingLLM - 真·一键运行本地 LLM 大语言模型｜全离线操作：与文档聊天、与 AI 聊天 date: 2024-08-29T09:02:02Z modified: 2024-08-29T09:02:07Z permalink: "https://www.appinn.com/anythingllm/" type: post status: publish excerpt: "" categories: - AI tags: - AI - LLM - 大语言模型 featured_image: "https://www.appinn.com/wp-content/uploads/2024/08/Appinn-feature-images-2024-08-29T142850.715.jpg" author: 青小蛙 timestamp: 2024-08-29T09:02:07Z --- **AnythingLLM** 是一款可以在本地电脑一件运行 LLM 大语言模型的跨平台桌面客户端，支持 Windows、macOS、Linux，支持自选模型，也可以从软件内下载模型。它还支持嵌入模型、语音、转录，最重要的是可以实现完全离线，不依托任何云服务。@[Appinn](https://www.appinn.com/anythingllm.md) ![AnythingLLM - 真·一键运行本地 LLM 大语言模型｜全离线操作：与文档聊天、与 AI 聊天](https://www.appinn.com/wp-content/uploads/2024/08/Appinn-feature-images-2024-08-29T142850.715.jpg) 在《[LM Studio – 有电脑就能用，傻瓜、一站式部署本地大语言模型｜然后，像 ChatGPT 那样提问](https://www.appinn.com/lm-studio.md)》中，@**路人甲乙丙** 留言回复称： 这款其实不算傻瓜，AnythingLLM 才是，多平台，单文件安装。模型下载内部选，集成了 Ollama，支持中文界面。 Ollama 官网推荐的 Win 平台下全都试了，论便利首选 AnythingLLM，可 Github 或官网下载，全免费。 --- ## AnythingLLM 与 LM Studio 类似，AnythingLLM 也是一款适合在自己电脑里部署 LLM 的工具，但功能更丰富一些，比如在 AnythingLLM 的嵌入首选项中，你可以选择 LM Studio 作为嵌入引擎提供商。 只需要在 LM Studio 打开 Server，AnythingLLM 就会自动识别： ![](https://www.appinn.com/wp-content/uploads/2024/08/Appinn-2024-08-29-14.38.20@2x.avif) 对了，我在 AnythingLLM 中，导入了之前测试 LM Studio 的时候下载的模型。很方便。 来看一下开发者提供的视频： 安装之后，AnythingLLM 回来一波对话，给你介绍如何使用： ![](https://www.appinn.com/wp-content/uploads/2024/08/Appinn-2024-08-29-16.37.20@2x.avif) ## 设置模型 你需要为 AnythingLLM 设置模型，包括首选模型、向量数据库、嵌入模型、语音、转录模型。 默认情况下，AnythingLLM 自带了模型，不过也可以根据需要自己下载模型： ![](https://www.appinn.com/wp-content/uploads/2024/08/Appinn-2024-08-29-16.51.35@2x.avif) 上图中 Official Models 里就有很多模型，下载速度还有点快，也是很奇怪。 在工作区中，可以上传文件，这样这些文件就变成了你的向量数据库，相当于对着文档提问。 但青小蛙使用内置的模型测试，发现似乎效果很不好，答非所问，也不知道它在想什么。 ![](https://www.appinn.com/wp-content/uploads/2024/08/Appinn-2024-08-29-16.54.54@2x.avif) 还是说，模型选择有问题。 青小蛙觉得，对比在线大语言模型，即开即问、上传文档直接问，本地的大语言模型在使用门槛上存在至少有1个小时的入门学习时间。虽然 AnythingLLM 已经把安装门槛降低到了0，但是模型的选择使用是个很大的槛，就看各位是否愿意继续深入研究了。 ## 获取 - [官网](https://anythingllm.com/) --- 原文：https://www.appinn.com/anythingllm/ ## Topics **分类目录:** [AI](https://www.appinn.com/category/ai/?output_format=md) **标签:** [LLM](https://www.appinn.com/tag/llm/?output_format=md), [大语言模型](https://www.appinn.com/tag/%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b/?output_format=md)