UXONE用户4666
【教程试看】打造本地个人知识库，让文档不落灰，通过电脑本地运行模型并实现个人RAG方案
输入“/”快速插入内容
【教程试看】打造本地个人知识库，让文档不落灰，通过电脑本地运行模型并实现个人RAG方案
【教程试看】打造本地个人知识库，让文档不落灰，通过电脑本地运行模型并实现个人RAG方案
用户4666用户46662024年12月5日修改
本内容来自课程
产品人的AI实操课一起搭建15个AI项目，变得更懂AI
12个项目搭建教程+5场直播，带你进阶模型操作和AI服务搭建
📌
项目：本项目将实践在电脑本地搭建个人知识库，把硬盘中积攒的文档用起来，高效又安心。使用ollama在电脑本地安装和运行千问大模型qwen2-7b，并在此基础上，借助Open WebUI 和AnythingLLM 两种工具实现RAG方案，在电脑本地搭建个人知识库。
友情提示
深色文字为试学内容，试学内容包含完整通过 ollama+qwen2-7b+AnythingLLM实现个人本地知识库的搭建方案，可以放心观看。
完整教程内容，会增加更多搭建内容知识，比如：
•
从huggingface下载模型安装到本地
•
用热门开源工具 lobechat+ollama实现与本地模型对话，
•
通过 Open WebUI 方案来实现RAG
•
搭建过程中涉及docker安装技能讲解
等
收获：我们精心选择了这个项目，通过完成这个项目可以收获
•
掌握使用ollama在电脑本地安装和运行常见大模型的基本方法
•
了解在电脑本地用 Open WebUI 作为可视化界面与本地大模型对话和实现基于文档问答的简单RAG方案
•
了解在电脑本地用AnythingLLM 可视化的实现RAG的方案
•
了解通过docker安装软件的基础方法
•
了解 RAG 概念的基本原理和实现方案
操作内容
•
在电脑安装 ollama，并通过 ollama 在电脑本地下载安装运行模型 qwen2-7b
•
通过 ollama 、huggingface 下载其它模型 llama3-8b 中文优化版
•
在电脑安装 docker，并通过docker安装Open WebUI
•
将 Open WebUI与ollama连接，与qwen2-7b对话，实现 RAG方案
•
在电脑安装AnythingLLM，将AnythingLLM与ollama连接
•
通过AnythingLLM 与 qwen2-7b基于知识库进行问答，实现 RAG方案
操作难度：中高
涉及产品服务：ollama、docker、Open WebUI 、AnythingLLM、Qwen2-7b、llama3-8b-chinese等
作业
1 使用 ollama + qwen2-7b+AnythingLLM 的RAG方案，完成个人知识库。
咱们先来看看本次搭建涉及到的一个重要概念 检索增强生成（RAG）
关于RAG （Retrieval-Augmented Generation）
检索增强生成（Retrieval-Augmented Generation）是一种对大型语言模型输出进行优化的技术方案，使LLM能够在生成响应之前引用训练数据之外的指定知识，在部分情况下，可以提升生成内容质量（时效性、准确度、相关性等），节省LLM高昂且费时的训练、微调过程。所以作为经济高效方案，常被应用在企业或个人知识库搭建过程中。
RAG典型使用场景
LLM没有相关知识 = 通过RAG的方式检索外部数据知识 -> LLM -> 用户
LLM有相关知识（但训练不足或是错误的知识）= 通过RAG的方式检索外部数据知识 -> LLM -> 用户
RAG方案简易示意图
RAG的技术实现涉及较多技术细节，且针对不同环节优化的RAG方案也有不少差异。不过为了更容易呈现RAG的基本概念，画了一张简易的示意图。