我是 k8s SRE,目前运维的服务全是通算的。之前也部署过常见的大模型在 k8s 上,早期折腾过 triton 和 mig 这种 gpu 虚拟化的东西,我觉得 ai 时代 传统的通算运维已经有些过时了,想学习一下 AI Infra 的东西,但是我手里没有卡,也没有实际需求
我是 k8s SRE,目前运维的服务全是通算的。之前也部署过常见的大模型在 k8s 上,早期折腾过 triton 和 mig 这种 gpu 虚拟化的东西,我觉得 ai 时代 传统的通算运维已经有些过时了,想学习一下 AI Infra 的东西,但是我手里没有卡,也没有实际需求
|
midasplus14h 50m ago
1
没有卡是小事,买就行了
没有实际需求比较难 |
|
nomansky14h 33m ago
2
没什么很多机会。本地部署模型无论是大模型还是小模型,对于很多企业来说,都不是大众的需求。
model provider 以后就像基础设施一样,大部分都会是云厂商吃掉了。就好像 k8s 集群,企业没有专业运维团队都不会考虑自建的,就用云托管的 k8s 就行了。 |
|
liangjx3h 4m ago
3
好像现在市场对 AI Infra 的定义包括了后端+运维的工作,有的还要求写算子
|
|
yedkk2h 3m ago
4
vllm,hami,kqueue 或者 volcano,反正能简单部署一些,至于精益求精就非常难了
|