zhoudaiyu

AI Infra 是不是目前 LLM 的工作中对数学要求较低,且 Sre 可以考虑转型的?

  •  
  •   zhoudaiyu · 17h 6m ago via iPhone · 930 views

    我是 k8s SRE,目前运维的服务全是通算的。之前也部署过常见的大模型在 k8s 上,早期折腾过 triton 和 mig 这种 gpu 虚拟化的东西,我觉得 ai 时代 传统的通算运维已经有些过时了,想学习一下 AI Infra 的东西,但是我手里没有卡,也没有实际需求

    5 replies  •  2026-11-16 13:13:47 +08:00
    midasplus
    midasplus
    14h 50m ago
    1
    没有卡是小事,买就行了
    没有实际需求比较难
    nomansky
    nomansky
    14h 33m ago
    2
    没什么很多机会。本地部署模型无论是大模型还是小模型,对于很多企业来说,都不是大众的需求。

    model provider 以后就像基础设施一样,大部分都会是云厂商吃掉了。就好像 k8s 集群,企业没有专业运维团队都不会考虑自建的,就用云托管的 k8s 就行了。
    liangjx
    liangjx
    3h 4m ago
    3
    好像现在市场对 AI Infra 的定义包括了后端+运维的工作,有的还要求写算子
    yedkk
    yedkk
    2h 3m ago
    4
    vllm,hami,kqueue 或者 volcano,反正能简单部署一些,至于精益求精就非常难了
    zhoudaiyu
    zhoudaiyu
    OP
    17 mins ago
    5
    @midasplus 确实,没有太多需求了,之前还我部署,后来有人专门做这块了
    @nomansky 我们这还有部署模型的需求,但是部署我们组做了,部署的那个哥们还挺熟的
    @liangjx 我其实也会后端(Python)和运维(当前主页),算子啥的和算法有关系的我不太懂
    @yedkk vllm 用过,我们部署都用的这个,还有 Triton,volcano 看过一下调度算法,没部署过
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3121 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 05:31 · PVG 13:31 · LAX 21:31 · JFK 00:31
    ♥ Do have faith in what you're doing.