卢健生 - 本地部署 | 跨晒界
进入AI时代，学习使用AI已经成为每个人的必修课。我也不例外，不断学习，希望跟上时代的步伐，避免被淘汰。
和大多数人一样，我最初也是直接使用像DeepSeek这样的AI客户端，利用其人工智慧处理各种问题和工作流程。例如，撰写使用手册、总结繁琐资讯、润饰文章字句等。这些工具确实大大提升了工作效率。
然而，随着工作需求的增加，我开始意识到一个问题：有些资讯并不适合随意上传到这些AI平台，尤其是涉及商业机密和隐私的内容。例如，我希望在公司内部建立一个产品技术知识库，透过对话式查询实现知识共享。在这种情况下，资料的安全性至关重要，必须确保资讯不会外传。因此，我开始考虑将AI大模型进行本地部署。
所谓本地部署，就是将整个AI大模型部署在公司本地的伺服器或电脑上。由于许多AI模型是开源的，任何人都可以下载并使用。本地部署有以下几个显著优势：
资料安全：所有资料都在本地处理，毋须上传到云端，有效保护商业机密和隐私；成本控制：省去了以使用量计费的云端服务成本，适合长期使用；离线使用：毋须连接互联网，适合网络不稳定或无法连网的环境；灵活选择模型：可依需求选择适合的AI模型，并进行客制化优化。
然而，本地部署也面临一些挑战，尤其是硬体需求。AI模型的规模越大，所需的运算资源也越多，意思是需要很强大的电脑和GPU显卡，成本很高。对于技术能力有限的用户，可以使用Ollama这样的工具。它可以帮助我们轻松安装、管理和下载不同的AI大模型，并透过API与这些模型互动。Ollama大幅降低了本地部署的技术门槛。
有了本地部署的模型后，我们还需要一个友善的使用者介面来与AI互动。这时，Cherry Studio是不错的选择。它支援多服务商集成，并且资料本地存储，毋须需担心资讯外泄。除了支援大模型对话、AI绘图、AI翻译等基本功能外，最近还新增了多资料来源知识库功能。使用者可以透过网页或本地文件建立专属知识库。例如，喜欢赛马的朋友可以建立一个赛马知识库，并利用AI进行分析和预测。
最近，我开始尝试本地部署阿里千问QwQ-32B这个开源模型。虽然它只包含320亿参数，但据说性能可以媲美DeepSeek R1的满血版本（6710亿参数）。用最小的成本实现最大的效益，一个字：值！
视觉科技CEO
卢健生
