不是多个机器多个显卡那种，而是分配给不同地区不同人的电脑和显卡上，这个是不是对网速要求应该还挺高的，毕竟传更新的参数应该会很耗网速。
This topic created in 1895 days ago, the information mentioned may be changed or developed.
 |
1
forgetlight May 27, 2021
你指的是 federated learning 吧?
|
 |
2
nnqijiu May 27, 2021
数据传输会很慢吧？
|
 |
3
wateryessence May 27, 2021
http://splitlearning.mit.edu/
Federated Learning for Emoji Prediction in a Mobile Keyboard |
 |
4
kenshinhu May 27, 2021
这就像分布式处理一样吧，性能的瓶颈在网络带宽。
|
 |
5
jdhao May 27, 2021 via Android
当然可以，分布式训练是训练大模型的唯一办法，可以参考 Uber 实现的方案 horovod，支持主流深度学习框架，https://github.com/horovod/horovod
|
 |
6
gscsnm May 27, 2021
联邦学习
可以看看微众银行的 FATE |
 |
7
fbcskpebfr May 27, 2021
federate learning，fl 的网络问题都刷到 infocom 和 nsdi 了
|
Select Language