我想做一个豆瓣小组发帖搜索引擎，主要是要爬指定豆瓣小组的数据，保存的数据包括文本和图片。
前几天上了腾讯云的车，但是感觉配置达不到要求（ 2G 内存，50G 硬盘），什么样的配置可以跑？
This topic created in 3159 days ago, the information mentioned may be changed or developed.
 |
golmicMar 15, 2018 via Android
1
看你抓的频率和范围吧，像豆瓣的小组更新频率并不高，再看看你要抓全部小组么。可以联系我详聊，层主是数据工程师。公众号 pydatame 有我联系方式。
|
 |
tailfMar 15, 2018
2
先解决被封的问题再来说吧。。。。
|
 |
HzzoneMar 15, 2018 via iPhone
3
一个爬虫主要有多好的配置……
|
 |
murmurMar 15, 2018
4
需要超级多的代理
|
 |
aoxianshengMar 15, 2018
8
如果你想降低频率破封，你现在的配置足够了。
|
 |
9
@aoxiansheng 硬盘呢，要不要担心写满的情况，我第一次开发爬虫程序。
|
 |
em70Mar 15, 2018
10
爬了页面,提取了需要的数据就删了啊,留着这些文件干嘛
50G 硬盘分 10 个 G 做数据库,能存个几千万条记录吧 |
|
em70Mar 15, 2018
11
文本和图片上传 oss,七牛这些专业储存服务去,便宜
|
 |
tscatMar 15, 2018
13
1g 内存都爬的很开心啊。
50g 硬盘问题也不是特别大。除非你保存图片 |
 |
2MEMar 15, 2018
14
图片多的话很快就塞满硬盘了 不过你策略不好的话可能还没爬满硬盘就被 ban 掉了 单爬数据就无所谓了 这配置跑爬虫绰绰有余
|
|
aoxianshengMar 15, 2018
15
大哥你先干，有问题再解决。还没开始干，就想着解决问题了。
不够买云盘即可。 |
Select Language