type
status
date
slug
summary
tags
category
icon
标签
参考标签
这篇文章描述了作者在工作中频繁查阅历史文件的困扰，并介绍了使用大语言模型RAG解决这个问题的想法。作者选择了QAnything和通义千问作为解决方案，并详细描述了升级电脑配置和部署过程中遇到的问题和解决方法。然而，作者发现公司电脑的配置仍然不足以运行QAnything，计划进一步升级内存和显存以实现预期效果。
我的工作需要频繁、大量查阅以前的文件档案，因为要写很多报告，要看很多事情的来龙去脉，给领导们把事情讲清楚。但是我们部门的文档实在是太多了，浩如烟海，而且历史过于久远，有时候一查就要查二十年前的文件。这期间，同一件事情可能已经换了好几个不同的说法，原来负责的人要早就离职找不到了。
但阅读、分析、整理文字这件事，正好是大语言模型擅长的事。所以从一两个月之前，我就在考虑，要试一下本地自部署大语言模型可不可行。如果可行，甚至还能弄一个部门内部的问答机器人，大家都少一点痛苦。
能解决我需求的是大语言模型RAG（Retrieval-Augmented Generation），它的功能是从大量的文档中检索相关信息，然后生成回答，可以帮助轻松查找和分析大量历史文件，从而提供所需的信息。
QAnything是一个本地知识库问答系统，支持各种文件格式和数据库，可离线安装和使用。目前支持的文件格式包括 PDF、Word、PPT、Excel、Markdown、邮件、文本、图片、CSV、网页链接等。它的主要特点是
- 数据安全：支持在整个过程中断开网络电缆进行安装和使用。
- 跨语言问答：可以自由切换中英文问答，无论文档语言如何。
- 支持大规模数据问答：采用两阶段检索排序，解决大规模数据检索性能下降问题。据他们宣传是数据越多，效果越好。
第一关：升级电脑
要部署大语言模型，对电脑的配置还是有点要求的，而且，由于我要检索的文件涉密，只能在我办公室的电脑上部署读取。再看我办公室电脑的配置，真的是一言难尽啊。CPU是老古董，内存只有8G，没有独立显卡。想走程序申请新电脑嘛，我觉得现在还不是时候，最起码等实验好，确实能用了以后，才有这个必要。所以，现在能做的只能是自己先花点钱，让电脑配置能够到达最基础的入门门槛。
于是，我自费买内存，升级到了32G，又买了一张显卡（NVIDIA A2000），这张显卡是笔记本显卡，没办法，电脑的电源瓦数太低了，根本带不动大功率，而且机箱还只能装半高卡，所以A2000差不多就是极限了。前后花了两千块钱，我寻思着，就算不能跑太大的模型，跑个入门级的也可以了吧！！！
第二关：代码报错
这个QAnything项目啊，部署起来可真的是一个坑接着一个坑啊。
文科生部署开源项目，最怕就是各种报错信息，看不懂不说，看懂了也不知道该怎么处理，只能一个接一个查，一个方法接一个试。
比如，QAnything在Windows上通过WSL部署，就因为shell脚本的回车（在windows下创建编辑的shell脚本是dos格式的，而linux却是只能执行格式为unix格式的脚本）格式错误，每一个脚本都报错。所以在执行脚本之前，要把每一个脚本都先处理一遍，把dos格式替换成unix格式：
也可以先安装dos2unix:
然后用dos2unix去转换格式：
这只是其中一个问题，其他小问题就按下不表了。最大的问题是QAnything的文档里根本没提这些事，这对于像我这种技术不够只能跟着文档操作的人来说，太难了。
第三关：降低预期
我的A2000只有8G显存，大概刚刚够得着大模型的门槛，本来就知道，QWEN的7B肯定是没戏了，那个规模的大概需要12G显存才行。所以，我的预期就是能跑3B就知足。结果……
部署之前，程序检测到我只有8G显存，直接开始贴脸嘲讽。你连3B也玩不起，老老实实玩1.8B吧。
行，我听劝。
第四关：内存不足
等什么都搞定，开始启动后台服务的时候，再次报错。
这次是因为内存不足……再升级只能升级到64G了，要重新买4条16G的内存了。我就快成内存条贩子了。
小结
很显然，公司的电脑就算升级到现在的程度，要很难运行QAnything。下一步就先把内存升级到64G，看能不能把后台服务启动。因为只有到了这一步，哪怕是只有1.8B的小模型，也才能看到效果如何。
下下一步，就真的要想办法加大显存了。现在是思路是在电脑上加一个PCIe转雷电口的PCIe卡，然后把显卡装在外置显卡坞里。
- 作者:TZ
- 链接:https://musingpages.com/journal/2024/04/20/oh-damn-you-office-pc
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
