weishao666
V2EX  ›  外包

昆仑芯 P800 的适配有人做过么,有偿需求

  •  
  •   weishao666 · Jan 4 · 1561 views
    This topic created in 211 days ago, the information mentioned may be changed or developed.

    项目中有以下参数,原本打算基于 GPUStack 做一些修改去满足,结果硬件是昆仑芯 P800 的芯片,GPUStack 不支持

    4.针对大模型高算力问题,支持多级多卡并行推理,支持后端多版本推理。 5.支持可视化推理模型管理。 6.支持可视化自评估模型资源需求、后端和架构兼容性等部署核心因素。 7.支持动态添加 GPU 节点,单机多卡与多机多卡集群模式可切换。 8.支持多级多卡算力调度调配体系。 9.支持自动混合精度分级调度,对延迟敏感任务(如实时对话)优先分配高算力显卡,而批量推理任务则自动调度低功耗 GPU 。 10.支持手动指定集群中指定机器、算力组、卡、使用百分比等,精确进行算力调配。 11.支持扩展模块自定义后端推理器。

    有没有哪位大佬做这一块的,有偿求方案或实现,具体私聊,d2FuZ3dlaTEwMDYx

    另外这个芯片很奇怪,有 v 友手里边有线上测试资源么?也欢迎与我联系,谢谢

    3 replies    2026-01-11 01:41:22 +08:00
    youtube6
        1
    youtube6  
       Jan 4
    这个需要一个分布式推理框架来支持多机多卡推理,你们有多少机器多少卡需要投入生产
    weishao666
        2
    weishao666  
    OP
       Jan 5
    @youtube6 两台机器 16 卡
    youtube6
        3
    youtube6  
       Jan 11 via iPhone
    Dynamo 框架
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1089 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 18:27 · PVG 02:27 · LAX 11:27 · JFK 14:27
    ♥ Do have faith in what you're doing.