好像3b或以下就不能做推理了，也就是显存起码要有24g

另外你自己的知识库太小，训练不了

因为它是大语言模型，对语言的理解来自于大量训练语料，它光学习你的文档无法学会语言

现在最廉价的方案应该就是弄一块几百块钱的npu板子，在上面跑量化模型，如果你对响应品质不挑的话也能凑合用一下

太小了就没必要了，弄个FAQ就行了。当然你可以模拟deepseek风格的对话框，用户点击问题后，流式输出答案，体验感大差不差。

做个客户端，调官方接口啊

云上做个 RAG，配置很低的设备安装你们的客户端， 用来调云上的 http api。相当于计算压力全部给了云，本地只是 数据呈现。

用瘦客户端的方式做 rag 的一个优势是，如果操作知识库升级了，只需要云上把 rag 的数据更新一下，客户的设备端啥都不需要用动。

我发现回这个技术贴的都是元老级别的人物啊，2016年就入住光谷社区过早客了

腾讯 ima 微信小程序 有这个功能，直接用，导入文章、文件，就可以用

你这个哪里需要训练呀，就是一个搜索问题。直接使用RAG方案就行了，现在RAG已经非常成熟了，开源的RAG系统也很多。

知乎直达, 免费上传文件生成知识库

deepseek + dify
DeepSeek 与 Dify 集成指南：打造具备多轮思考的 AI 应用 | Dify

纯文档anythingLLM更简单