写了个 python 程序通过请求 api 批量获取数据，放到 EC2 上跑了，刚开始半小时能处理上万条数据， EC2 里监控看到网络输出 5 分钟内平均也有 1.3M ，但是后来就变慢了， 12 个小时才处理不到 5 万多条，网络输出也降到了 0.3M ，之前以为是程序问题，但是后来在本地电脑上跑， 12 个小时都处理 15 万条了。是不是 aws 限制了我的带宽？可有办法破？一年免费计划的
This topic created in 3981 days ago, the information mentioned may be changed or developed.
 |
gamexgDec 13, 2015
1
api 是哪国的？
考虑过网络问题吗？ |
 |
oott123Dec 13, 2015
3
感觉楼主的信用卡要爆
|
 |
aabbccliDec 13, 2015
5
你不会是在 EC2 上爬 AMAZON 产品吧
|
 |
initialdpDec 13, 2015 via Android
7
不一定是 ec2 的问题，也可能是对端限制了抓取。
|
 |
semicircle21Dec 13, 2015
8
关注一下磁盘 IO, IO 也有漏斗算法, 不在乎预算可以试一下 Provision 的 IOPS 看看有没有改善.
|
 |
itopideaJan 6, 2016
9
我也发现了，现在打开越来越慢啊 http://freebt.org/
|
Select Language