UXONE
用户4666
添加快捷方式
分享
【教程试看】打造本地个人知识库,让文档不落灰,通过电脑本地运行模型并实现个人RAG方案
输入“/”快速插入内容
【教程试看】打造本地个人知识库,让文档不落灰,通过电脑本地运行模型并实现个人RAG方案
用户4666
用户4666
2024年12月5日修改
本内容来自课程
产品人的AI实操课一起搭建15个AI项目,变得更懂AI
12个项目搭建教程+5场直播,带你进阶模型操作和AI服务搭建
📌
项目:本项目将实践在电脑本地搭建个人知识库,把硬盘中积攒的文档用起来,高效又安心。使用ollama在电脑本地安装和运行千问大模型qwen2-7b,并在此基础上,借助Open WebUI 和AnythingLLM 两种工具实现RAG方案,在电脑本地搭建个人知识库。
友情提示
深色文字为试学内容,试学内容包含完整通过 ollama+qwen2-7b+AnythingLLM实现个人本地知识库的搭建方案,可以放心观看。
完整教程内容,会增加更多搭建内容知识,比如:
•
从huggingface下载模型安装到本地
•
用热门开源工具 lobechat+ollama实现与本地模型对话,
•
通过 Open WebUI 方案来实现RAG
•
搭建过程中涉及docker安装技能讲解
等
收获:我们精心选择了这个项目,通过完成这个项目可以收获
•
掌握使用ollama在电脑本地安装和运行常见大模型的基本方法
•
了解在电脑本地用 Open WebUI 作为可视化界面与本地大模型对话和实现基于文档问答的简单RAG方案
•
了解在电脑本地用AnythingLLM 可视化的实现RAG的方案
•
了解通过docker安装软件的基础方法
•
了解 RAG 概念的基本原理和实现方案
操作内容
•
在电脑安装 ollama,并通过 ollama 在电脑本地下载安装运行模型 qwen2-7b
•
通过 ollama 、huggingface 下载其它模型 llama3-8b 中文优化版
•
在电脑安装 docker,并通过docker安装Open WebUI
•
将 Open WebUI与ollama连接,与qwen2-7b对话,实现 RAG方案
•
在电脑安装AnythingLLM,将AnythingLLM与ollama连接
•
通过AnythingLLM 与 qwen2-7b基于知识库进行问答,实现 RAG方案
操作难度:中高
涉及产品服务:ollama、docker、Open WebUI 、AnythingLLM、Qwen2-7b、llama3-8b-chinese等
作业
1 使用 ollama + qwen2-7b+AnythingLLM 的RAG方案,完成个人知识库。
咱们先来看看本次搭建涉及到的一个重要概念
检索增强生成(RAG)
关于RAG (Retrieval-Augmented Generation)
检索增强生成(
Retrieval-Augmented Generation
)是一种对大型语言模型输出进行优化的技术方案,使LLM能够在生成响应之前引用训练数据之外的指定知识,在部分情况下,可以提升生成内容质量(时效性、准确度、相关性等),节省LLM高昂且费时的训练、微调过程。所以作为经济高效方案,常被应用在企业或个人知识库搭建过程中。
RAG典型使用场景
LLM没有相关知识
= 通过RAG的方式检索外部数据知识 -> LLM -> 用户
LLM有相关知识(但训练不足或是错误的知识)=
通过RAG的方式检索外部数据知识 -> LLM -> 用户
RAG方案简易示意图
RAG的技术实现涉及较多技术细节,且针对不同环节优化的RAG方案也有不少差异。不过为了更容易呈现RAG的基本概念,画了一张简易的示意图。