今年想了解下 ai 相关，暂时不考虑大模型，只是为了解决应用层面一些特定场景，比如特定物品识别之类的，标注数据量也不多，训练的时候需不需要用到显卡？ 现在在用 12500cpu ，没有显卡，另外也想请教下苹果 m 对这种玩票性质训练有加成吗？
This topic created in 1011 days ago, the information mentioned may be changed or developed.
 |
1
前不久跑了一个小小的模型，就是几万个参数那种，CPU 完全没问题……
|
2 |
TaurusXinJan 30, 2024 via iPhone
2
TensorFlow 和 PyTorch 都已经有 mps 加速了，用来加速训练简单的模型是没问题的。
|
 |
lpf0309Jan 30, 2024
3
CPU 显存低，bitchsize 太小，准确率和速度都会降低。苹果 m 应该也没加成
|
 |
WataruJan 30, 2024
4
ultra 带 npu 可以跑
|
 |
lchynnJan 30, 2024
6
|
 |
shellcodecowJan 30, 2024
7
自来水管不用 你用吸管？
|
 |
8
一直都可以，就是比 GPU 慢亿点点。pytorch 有对 m 系列的 GPU 支持，比 CPU 肯定快多了。如果只是玩票可以考虑用 Google colab 用 GPU 训练，训练完可以在自己电脑 CPU 上推理，CPU 推理也慢但是没有训练慢那么多。
|
 |
PsychoKidAJan 30, 2024
10
物品识别肯定可以。用 .onnx 模型搭配 ONNX 框架就行。如果要加成，要看芯片商出的推理框架，比如苹果就是 CoreML ，高通就是 QNN 。
|
 |
xz410236056Jan 30, 2024
11
mac 有 MPS 可以加速训练
|
 |
12
你要是没接触过，就别纠结 CPU GPU 的问题啊，先把 numpy 、torch 、transforms 这些库搞熟
|
 |
siriussilenJan 30, 2024
13
可以，就是慢了点
|
 |
fredweiliJan 30, 2024
14
CPU 不行，苹果就更不行了，都是英伟达的 CUDA
|
 |
15
12500 cpu 是指一万两千五百个 cpu 核心的集群还是说一颗 Intel 12500 ？前者可以试试 Intel 的加速库 + MPI 分布式训练，后者够呛。即使是训 100M 级别的 CV 模型，以前用 1080Ti 都觉得慢得不行
|
 |
18
@CrazyRundong 就是普通的 12 代酷睿 i5
|
 |
paopjianJan 30, 2024
19
你这种情况为什么不白嫖 colab
|
 |
736531683Jan 30, 2024
20
完全可以的，就是比较慢，苹果早就支持 cuda 加速了，前面不要乱说。
|
 |
loryyangJan 30, 2024
21
你问问题的这个方式只能说明你对模型训练的知识了解太少了。不要多问，先上手去做吧
|
|
22
@loryyang #21 稍微补充一下，不同的模型训练都是不一样的，底下到底用了什么框架，tf 还是 pytorch ，都是不太一样的。你应该先选择一个你感兴趣的模型，然后翻一下对应的文档（基本上都会清楚说明的），自己再去造轮子训练一下
|
 |
cherryasJan 30, 2024
23
铁杵可以磨成针吗和这个问题的答案一致。
|
|
cherryasJan 30, 2024
24
当鸡啄完米,狗吃完面,火烧断锁就可以训练完一次了。
|
 |
wangzhangupJan 30, 2024
25
计算机视觉方面的模型对于算力要求比较低，但是训练的话用 CPU 不太行。
至于大模型都不是一个 GPU 能搞定的，需要 GPU 集群才能训练大模型。 |
 |
26
当然可以呀 很早之前我就写过使用 llama.cpp 在 M1 上直接使用 CPU 来运行 llama 7B 模型 https://www.v2ex.com/t/923536
现在的话 llama.cpp 还支持 openblas 加速，CPU 跑 1.3B 或者 3B 4bit 量化后的都是没问题的 > 训练的时候需不需要用到显卡？ 训练最好还是用显卡，而且还是大显存那种避免 Out of CUDA Memory 训练完毕后删掉一些不用的层转 onnx 格式直接用 CPU 跑应该是没问题的，就是速度懂得都懂 🤔 |
Select Language