BruceXu
V2EX  ›  Local LLM

打算用 AI 来做企业知识库,最佳的组合是什么?

  •  
  •   BruceXu · Mar 11, 2025 · 4310 views
    This topic created in 615 days ago, the information mentioned may be changed or developed.

    公司有个类似维修智能助手的小程序,用来给服务工程师提供设备维修指南的.

    之前是固定问题+回答,体验不太好,这次想用 AI 知识库来做.

    知识库已经梳理结构并用 md 格式保存.

    尝试了 ollama 本地部署 DeepseekR1 的 7B 版本+AnythingLLM.
    不知道是 7B 版本不行还是 AnythingLLM 的嵌入模型垃圾.回答完全不是知识库的内容.

    于是找了个叫 Cherry Studio 的软件,用硅基流动的 api 使用在线满血版 DeepseekR1,嵌入模型用的 BAAI/bge-m3(不知道是个什么模型),效果强了不少,回答基本符合知识库了.

    新的问题: R1 思考太慢了,基本上耗时 1 分钟-5 分钟.不太能接受. 换 V3 的话,回答又没那么准确了,常常会遗漏知识库中的部分内容.

    我想换其他模型试试,但是考虑到 deepseek 是目前唯一可以本地部署的模型,换其他的可能不方便企业做私有化部署.

    有没有大佬在这方面比较有经验的,求指点.

    20 replies  •  2025-09-12 15:04:18 +08:00
    poorLi
    poorLi
    Mar 11, 2025
    1
    先用 Coze 试试效果
    Chichele
    Chichele
    Mar 11, 2025
    2
    腾讯出了个 IMA 知识库,把文档丢进去就可以随便提问了,还支持共享知识库
    zhangH258
    zhangH258
    Mar 11, 2025
    3
    至少需要 32B ,7 不行
    waityan
    waityan
    Mar 11, 2025
    4
    企业知识库的话,可以试下 fastgpt 、dify ,用社区版就行了
    isSamle
    isSamle
    Mar 11, 2025
    5
    qwen2.5 不行吗?
    Unmurphy
    Unmurphy
    Mar 11, 2025
    6
    同遇到这样的诉求
    BruceXu
    BruceXu
    OP
    Mar 11, 2025
    7
    @isSamle #5 这个还没试过...大模型太多了.之前只用过 gpt4,现在还在尝试 deepseek 中.
    isSamle
    isSamle
    Mar 11, 2025
    8
    Ollama 部署,几个切换着试一下,DS 个人感觉有点啰嗦
    zgzhang
    zgzhang
    Mar 11, 2025
    9
    dify+ds:32B ,基本可用,而且 dify 的知识库基本开箱即用
    shiny
    shiny
    Mar 11, 2025
    10
    dify 多找几个 API 接入测效果,不一定要在 deepseek 一棵树上吊死
    lxqxqxq
    lxqxqxq
    Mar 11, 2025
    11
    https://help.aliyun.com/zh/model-studio/getting-started/ 百炼 我们刚落地 需求跟你差不多
    BruceXu
    BruceXu
    OP
    Mar 11, 2025
    12
    @lxqxqxq #11 大概看了下,感觉阿里腾讯都有类似的产品了.这个支持本地部署不?企业的知识库传到外网还是不太合适.
    SwordSong
    SwordSong
    Mar 11, 2025
    13
    最少 32B 的 LLM 才能有脑子调用知识库
    lxqxqxq
    lxqxqxq
    Mar 11, 2025
    14
    @xubingok #12 本地部署去魔搭社区看看,但是不建议 哈哈哈哈 能用云商就用云商
    mumbler
    mumbler
    Mar 11, 2025
    15
    用 flashai.com.cn 提供的整合包,一键部署本地大模型+知识库,无需任何配置,也不需要懂技术,要什么模型有什么模型
    BruceXu
    BruceXu
    OP
    Mar 11, 2025
    16
    @mumbler #15 兄弟,别的不说,这个真的是垃圾.我下载安装了,就是个半成品...连菜单都没做完.
    litchinn
    litchinn
    Mar 11, 2025
    17
    可以试试调整下 RAG chunking
    coefu
    coefu
    Mar 11, 2025
    18
    qwq 32B int 4 + bge-m3 ,并发不大的话 32G vram 够够的。不过得分卡跑。
    akira
    akira
    Mar 23, 2025
    19
    本地化部署是需要 小钱钱的。。。 安全 - 性能 - 费用 3 者不可兼得
    GavinY
    GavinY
    Sep 12, 2025
    20
    我现在用
    Cherry Studio + Qwen3-embedding-8B + Qwen3-reranker-8B 做本地的知识库。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2456 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 12:02 · PVG 20:02 · LAX 04:02 · JFK 07:02
    ♥ Do have faith in what you're doing.