V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  SlipStupig  ›  全部回复第 69 页 / 共 90 页
回复总数  1793
1 ... 65  66  67  68  69  70  71  72  73  74 ... 90  
❮ ❯
2016 年 5 月 19 日
回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题
@fivesmallq 抓取一次等几秒那就不会出现一个抓取自适应的问题,我等足够长的时间就行,问题是我每天都要抓取大量新的网站,之前我是完全不知道的,也就是我每次抓取一个新站点基本上都在等,这样会导致抓取特别慢。
按照你的方法,我还多了一个新挑战,我假设一个非常乐观的情况,当我收录网站在 10 万级别的时候,假设我每个站点的快照内容是 100 个 URL ,那么我得存 1000 万这样的响应值,然后分批计算他们的平均响应值....这个成本有点高啊!
2016 年 5 月 19 日
回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题
@fivesmallq 这样能控制速度?
2016 年 5 月 19 日
回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题
@onion83
@xiamx 感谢两位,我好好研究一下
2016 年 5 月 19 日
回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题
@tuutoo 第一次抓取是未知的,如果对方能承受,速度就明显下降了,如果是这样预设值的方式的话,不如设置级别去减少
2016 年 5 月 19 日
回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题
@anyforever 今天才发现 google 和百度是靠抢劫起家的啊
2016 年 5 月 19 日
回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题
@menc 感谢,我也在研究看怎么实现
@shiny
2016 年 5 月 19 日
回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题
@binux 每天都又大量新网站,现在已经抓死了好几个站了,基本上不敢抓了
2016 年 5 月 19 日
回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题
@binux 这个不太现实,我抓取的网站是不固定的,功能跟百度蜘蛛一样,链接是所有网站放在一个队列里面,至于上一天请求,如果我第一次抓取那个网站如何得到上一天请求?
2016 年 5 月 19 日
回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题
@VicYu 这个是限制整体带宽去跑,我要做的是同时抓取 100 个网站,这 100 个网站的并发数都是不一样的
2016 年 5 月 19 日
回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题
@binux 时间很充足
2016 年 5 月 19 日
回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题
@anexplore 我哪里有不礼貌的地方,请您指出,我一定改正
2016 年 5 月 19 日
回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题
@binux 能说说具体方案吗?
长得漂亮,啥也不说了,你的目标就是分布式调度程序狗,他们给你瞬间完成。反之则亦然
A 机器 ssh 端口转发到 B 机器的 SSH
2016 年 5 月 18 日
回复了 Specs 创建的主题 › PHP › 有哪些能够生成随机不重复字符串的算法或者函数?
用 100 次鼠标移动位置的坐标生成一个 RSA 1024 的字符串,基本上没什么重复的可能性!
2016 年 5 月 17 日
回复了 yech1990 创建的主题 › Linux › 禁用了 wget 的服务器, 这怎么破?
@yech1990 你不是要装 opencv 嘛
2016 年 5 月 17 日
回复了 shisaq 创建的主题 › 程序员 › 想问一下肚子大小和程序员级别的关系
@penjianfeng 如果皮肤黄的话,人面黄人瘦,很有可能是黄疸!脖子粗可能是甲亢!
2016 年 5 月 17 日
回复了 yech1990 创建的主题 › Linux › 禁用了 wget 的服务器, 这怎么破?
@yech1990 装 pip 然后选择版本
2016 年 5 月 17 日
回复了 yech1990 创建的主题 › Linux › 禁用了 wget 的服务器, 这怎么破?
如果有 python perl 什么的,直接 down
2016 年 5 月 17 日
回复了 shisaq 创建的主题 › 程序员 › 想问一下肚子大小和程序员级别的关系
最关键的是我要是写代码根据需求难度的不同,掉头发会掉的不一样,有一次入手一个大项目,设计一整套推荐算法到实现,然后我发现我桌子上全是头发,所以从哪个时候开始,我从不在白色桌子上干活,看了伤心掉更多头发!
1 ... 65  66  67  68  69  70  71  72  73  74 ... 90  
❮ ❯
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4752 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 50ms · UTC 06:22 · PVG 14:22 · LAX 22:22 · JFK 01:22
♥ Do have faith in what you're doing.