V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  jakeyfly  ›  全部回复第 10 页 / 共 17 页
回复总数  334
1 ... 2  3  4  5  6  7  8  9  10  11 ... 17  
❮ ❯
@Trim21 这好像不错,不过这执行的有点快啊 爬虫太快了会被 BAN 的 有没有办法控制间隔或者速度啊
@binux 我觉得 celery 更像 futuer
@wellsc RQ 是啥
@binux 我看了教程 好像 他定义的是任务 并不是队列啊
@laxenade 这不是进程 吗
@1iuh celery 是任务啊 我这个需求应该是发数据给任务让任务跑起来
@bazingaterry 是吧 最好是基于 redis 的 能保存状态的
2018 年 3 月 29 日
回复了 jakeyfly 创建的主题 › 问与答 › 怎么把‘[x,x,x,x,]’这样的字符串变为列表啊
@ipwx 是这样的 塞进去就变成字符串了 然后 现在我进去都 JSON 一下 就可以了 不过不知道会不会慢
2018 年 3 月 29 日
回复了 jakeyfly 创建的主题 › 问与答 › 怎么把‘[x,x,x,x,]’这样的字符串变为列表啊
@ipwx 我是当管道用 多加一层 JSON 处理 会不会不效率
2018 年 3 月 29 日
回复了 jakeyfly 创建的主题 › 问与答 › 怎么把‘[x,x,x,x,]’这样的字符串变为列表啊
@WO31400 我了个草 居然把这个忘了 感谢大佬深夜鼎立相助
2018 年 3 月 28 日
回复了 jakeyfly 创建的主题 › 问与答 › Python 如何实现对单页面增量爬取呢?
@locoz 有个时间 但是 存在 redis 里 除了 list 别的不能选择最后一个入队列的来对比时间啊
2018 年 3 月 27 日
回复了 jakeyfly 创建的主题 › 问与答 › Python 如何实现对单页面增量爬取呢?
@kkzxak47 是下读取数据后对比,那是否只能一条条的跟数据库的对比 没有的才写入这样?
@rrfeng redis 有上限吗 我主要是为了保存壮态 所以才用 REDIS
@wujichao zet 还要给个下标 不麻烦吗 大佬
2018 年 3 月 18 日
回复了 jakeyfly 创建的主题 › 问与答 › Python 里面有没有什么办法或者库 可以存一个临时值。
@brickyang 大佬 那如果我用你的方法取的日期 hash 一下创建 redis 的 key 设时效性为 一天 那每天取的都不一样 而且还能自动回收 这个思路没问题吧 这等于一天一个密码啦
2018 年 3 月 18 日
回复了 jakeyfly 创建的主题 › 问与答 › Python 里面有没有什么办法或者库 可以存一个临时值。
@imn1 如果要保存 在下个日期到来后 还要更新保存的,这要咋整啊
2018 年 3 月 18 日
回复了 jakeyfly 创建的主题 › 问与答 › Python 里面有没有什么办法或者库 可以存一个临时值。
@CloudnuY 临时文件是直接 OPEN 吗的那种吗
2018 年 3 月 18 日
回复了 jakeyfly 创建的主题 › 问与答 › Python 里面有没有什么办法或者库 可以存一个临时值。
@brickyang 大佬 你成功的碾压了我的智商 跪了
2018 年 3 月 17 日
回复了 jakeyfly 创建的主题 › 问与答 › Python 里面有没有什么办法或者库 可以存一个临时值。
@brickyang 大哥 我感觉好像有道理啊,如果程序一直运行的话 应该在第二天十点之前 得到的 全是当天时间吧
2018 年 3 月 17 日
回复了 jakeyfly 创建的主题 › 问与答 › Python 里面有没有什么办法或者库 可以存一个临时值。
@chenqh 有想过 redis 但是 好像有点麻烦 还要判断这个键在不在 然后 过了一天后还要回收删除 似呼有点麻烦
1 ... 2  3  4  5  6  7  8  9  10  11 ... 17  
❮ ❯
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1504 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 16:42 · PVG 00:42 · LAX 08:42 · JFK 11:42
♥ Do have faith in what you're doing.