professorz
V2EX  ›  外包

抓取此网站中的全部数据,需要多少成本

  •  
  •   professorz · May 29, 2015 · 1240 views
    This topic created in 4195 days ago, the information mentioned may be changed or developed.

    有个项目,需求是抓取http://epub.sipo.gov.cn/ 这个网站的全部公布的信息,根据我的经验,1小时抓取1万条网页,那全站的数据需要2个月不停才能抓完,而且存储这些数据需要很多的存储空间(因为有PDF所以共15T左右),如果租用阿里云服务器进行抓取的话,硬盘价格巨贵。那么问题来了,该项目报价3K。是否合理?

    11 replies  •  2015-06-10 00:36:10 +08:00
    publicID001
    publicID001
    May 29, 2015
    1
    3K是开发和调试爬虫的费用吧?
    wenxiuzh
    wenxiuzh
    May 30, 2015
    2
    坑在验证码上, 如果发现爬虫就会出现验证码,爬虫识别不出验证码内容就卡在那里了,这种情况下1个小时1000条都困难,3k不多
    ansel
    ansel
    May 30, 2015
    3
    难道是广州的?最近有在接触这个类似的项目,整个系统也会需要用到你说的爬虫
    david500834
    david500834
    May 31, 2015
    4
    3k开什么玩笑......骗大学生呢
    professorz
    professorz
    OP
    May 31, 2015
    5
    @publicID001 嗯,说是硬件费用另算
    professorz
    professorz
    OP
    May 31, 2015
    6
    @david500834 唔。。也是觉得有点少
    dai269619118
    dai269619118
    May 31, 2015
    7
    呵呵 就出3000 硬件也初步了多少钱
    22too
    22too
    May 31, 2015
    8
    还不如你知直接打电话给那个公司,让给你拷贝一份算了,这玩意写程序爬到什么时候了,能动嘴就不要写代码
    professorz
    professorz
    OP
    May 31, 2015
    9
    @22too 我问过提需求的人,他说买不起,要买得起不会爬的。那是他老东家,政府机构。
    dallaslu
    dallaslu
    Jun 2, 2015
    10
    版权所有:国家知识产权局(未经许可不得复制)
    chinabrowser
    chinabrowser
    Jun 10, 2015 via Android
    11
    反向代理解决问题 需要资源的时候再去抓
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   917 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 22:10 · PVG 06:10 · LAX 14:10 · JFK 17:10
    ♥ Do have faith in what you're doing.