5分钟用满血DeepSeekR1搭建个人AI知识库含本地部署

我们除了花时间学习提示词之外,如果可以在本地备份一份提示词指南,让 AI 指导我们该怎么正确提问,这样才能真正发挥它的价值!

小火箭

可以看出 AI 借助知识库内的 DeepSeek 提示词手册,预判了我可能想问的问题,以及建议的正确提示词格式。

从回答中可以发现,AI 不是依据自身语料库回复,而是基于知识库内容回复,这样的回复,会更加贴合用户自身的需求。

小火箭

搭建个人知识库

如果个人信息没有涉密内容,那么我们一定是选择满血的DeepSeek R1模型,这个效果是最好的,xi我来看两个基于API的个人知识库搭建方法

1、下载Cherry Studio

先下载一个叫 Cherry Studio 的软件,并且安装。

地址: https://cherry-ai.com/download

小火箭

2、注册硅基流动

新用户注册就会赠送2000万Token,一般就够用了。

https://cloud.siliconflow.cn/i/D1TsLVHr

小火箭

注册之后我们创建 API。

小火箭

小火箭

3、配置API

来到 Cherry Studio,配置 API Key。

进入Cherry Studio 首页是这样的

小火箭

按照步骤,找到API秘钥的地方,这个API秘钥,需要填写第二步在轨迹流动网上创建的API

小火箭

一定要注意,模型列表里是否有R1模型,如果没有需要自己手工添加一下

小火箭

小火箭

这里的模型ID/名称都是从轨迹流动的模型广场复制的

小火箭

4、检测API是否正常以及是否有嵌入式模型

我们检测下API是否可以正常工作

小火箭

最后再检查一下是否默认有嵌入式模型,这个嵌入式模型是我们用来创建知识库的,如果没有需要手工创建

小火箭

小火箭

5、创建知识库

接下来就可以创建知识库啦

点击侧边栏的知识库按钮

小火箭

添加一个新的知识库

小火箭

6、上传本地文件

如果本地 PDF 文件是 扫描件、手写件,或者带有复杂的表格 和 数学公式,解析效果会很差,甚至无法解析。

遇到这种情况,建议先把文档结构化一下,这样才可以正常回复知识库的内容,推荐几个工具

如果追求性价比,推荐使用 Doc2x:https://doc2x.noedgeai.com?inviteCode=JKMEF2

如果希望更加稳定,那么可以考虑 Textin :https://www.textin.com/market/detail/pdf_to_markdown

当我们上传文件后,箭头指向的图标如图所示,则代表向量化成功。

小火箭

7、测试使用

这个时候我们就可以测试使用一下了,注意选择R1模型哦

小火箭

也可以选择设置R1为默认模型,这样就不用每次都手工选择了

小火箭

先不引用知识库,来看看效果

小火箭

小火箭

小火箭

接下来引用知识库

小火箭

可以看到DeepSeek已经开始使用我们的知识库内容进行分析了

小火箭

本地部署

如果只是想简单体验,或者本地算力充足、希望保护数据安全,那么可以考虑本地部署的方案。

注意本地部署对于本地算力要求较高,具体可以参考如下表格

小火箭

小火箭

其中最强悍的 671B 版本部署需要极高的硬件配置:64 核以上的服务器集群、512GB 以上的内存、300GB 以上的硬盘以及多节点分布式训练(如 8x A100/H100),还需高功率电源(1000W+)和散热系统。

1、下载最新版本Ollama

访问 Ollama 官方地址:https://ollama.com/download,下载软件。

小火箭

可能有的时候网络不好,页面打不开,大家可以公众号后天回复“ollama”获取我下载好的版本哈

这里简单介绍下Ollama

Ollama 是一个轻量级的本地AI模型运行框架:

可在本地运行各种开源大语言模型(如Llama、Mistral等)

简单易用,一行命令即可部署

完全本地运行,保护数据隐私

支持自定义模型和参数调整

适合个人开发者和小型团队使用

2、安装Ollama

下载好之后,直接安装包即可开始安装,安装过程不需要进行人工介入、一键即可完成安装,默认情况下会直接安装到C盘。

安装完成后,打开命令行(终端)(可以快捷键Win+R输入cmd或wt快速打开),输入ollama -v即可快速验证Ollama是否安装成功,示例如下:

小火箭

3、下载DeepSeek模型

Ollama的官网有专门的Models模型页面 https://ollama.com/models,目前页面的第1个模型就是DeepSeek,也可以搜索DeepSeek:

小火箭

进入详情页面,选择要下载多大的模型,肯定是模型越大效果越好,但是对于配置要求也越高

小火箭

比如选择一个8B,下载并且安装

小火箭

如果出现success的标志,则说明模型下载并启动成功。此时就可以在命令行与DeepSeek大模型对话了!

小火箭

4、接入图形化界面

但是这种命令行的方式,肯定不符合我们的诉求,我们还可以把Ollama接入到上面提到的两个工具当中,这里以Cherry为例子

进行Ollama模型配置,API秘钥可以不填

小火箭

接下来在助手选择那里就可以选择本地的DeepSeek R1模型啦

小火箭

如果你能看到这里,那么恭喜你,你已经对于DeepSeek有了很深入的理解了,并且可以很好的用自己的本地内容搭建知识库了。

当然对于普通人来说,选择官方API就是最好的选择,因为你不用为任何本地硬件资源发愁,只不过目前官方的资源也比较紧张,服务很不稳定。

今天我写下这段文字,是无比自豪的,因为国产大模型真正的走出了国门,让世界震惊,这是一个世界级的大模型,一个需要 +86 才能注册的大模型。

很开心和庆幸,我们能作为中国 AI 技术进步的见证人。

当然当前的领先不是重点,更不是我们可以躺在功劳簿上庆祝的时候,DeepSeek带给我们的不仅仅是惊喜,更是一份信心,一份中国人也能做成大模型的信心,让我们共同努力,为中国AI添砖加瓦!

版权声明:
作者:小火箭shadowrocket
链接:https://www.shadowrocket888.top/54.html
来源:小火箭官网
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>