Ericxiaoshuang

12g 显存跑 chatglm2 和 stable diffusion 不够

  •  
  •   Ericxiaoshuang · Aug 4, 2023 · 2322 views
    This topic created in 1199 days ago, the information mentioned may be changed or developed.
    nvida 的 12g 显卡
    本来跑 stable diffusion webui 和 chatglm2 正常
    换成 stable diffusion api 模式后
    chatglm2 就跑不起来了

    顺便说下
    用 wx 模块接入了微信机器人
    8 replies  •  2023-08-04 12:59:08 +08:00
    l0wkey
    l0wkey
    Aug 4, 2023
    1
    俩都是吃显存的。。
    你放一起跑估计得至少 16 甚至 24G 的卡
    Ericxiaoshuang
    Ericxiaoshuang
    OP
    Aug 4, 2023 via iPhone
    2
    @l0wkey 确实,我感觉至少 24g 起步
    nomagick
    nomagick
    Aug 4, 2023
    3
    那你用 int4 量化的版本
    litchinn
    litchinn
    Aug 4, 2023
    4
    我以为你说的单独跑跑不起来,结果是两个同时运行吗。。。。
    Ericxiaoshuang
    Ericxiaoshuang
    OP
    Aug 4, 2023 via iPhone
    6
    @israinbow 跑的就是 int4
    Ericxiaoshuang
    Ericxiaoshuang
    OP
    Aug 4, 2023 via iPhone
    7
    @litchinn 想实现的就是 aigc 应用在微信机器人,智能对话,以及/img ,文字生成图片
    chatgpt 又要收费,又要科学的,成本挺高
    mmdsun
    mmdsun
    Aug 4, 2023 via iPhone
    8
    上 4090 24GB 吧
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4520 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 01:17 · PVG 09:17 · LAX 17:17 · JFK 20:17
    ♥ Do have faith in what you're doing.