如果想在 V2EX 获得更好的推广效果,欢迎了解 PRO 会员机制:
https://www.v2ex.com/pro/about

如果你经常使用铜币置顶主题,持有 V2EX Solana Token 会在每日签到时获得额外铜币:
https://www.v2ex.com/solana
GrahamCloud
V2EX  ›  推广

造数发布详情页/二级页面通用采集功能咯,求探讨研究,求意见。

  •  1
     
  •   GrahamCloud · Feb 27, 2017 · 5478 views
    This topic created in 3537 days ago, the information mentioned may be changed or developed.

    来这里看新功能加持的 造数 zaoshu.io

    撒花! 我们又在大家的意见中改进了 详情页爬取的功能,快来扔砖! 另外我们就之前的功能做了一个详细的讲解视频,欢迎大家看,知名声优配音哦。 欢迎更多的意见。

    讲解视频在这里

    32 replies  •  2017-04-22 15:17:54 +08:00
    eminemcola
    eminemcola
    Feb 27, 2017❤️1
    1
    好!
    GrahamCloud
    GrahamCloud
    OP
    Feb 27, 2017
    2
    @eminemcola 好在哪!
    skywayman
    skywayman
    Feb 27, 2017❤️1
    3
    广告?
    GrahamCloud
    GrahamCloud
    OP
    Feb 27, 2017
    4
    @skywayman 不是不是
    sohoer
    sohoer
    Feb 27, 2017❤️1
    5
    这么久了数据还是对不齐,哈哈
    eminemcola
    eminemcola
    Feb 27, 2017
    6
    @GrahamCloud 哪儿都好!
    mingyun
    mingyun
    Feb 27, 2017❤️1
    7
    还录制视频,赞一个
    seiuneko
    seiuneko
    Feb 28, 2017❤️1
    8
    在 https://dashboard.zaoshu.io/ 隔几秒弹出 [任务列表中没有任务]
    以及 现在竖屏打开首页还是没有显示图标
    GrahamCloud
    GrahamCloud
    OP
    Feb 28, 2017
    9
    @sohoer 哪个数据,很多都改正了啊。
    GrahamCloud
    GrahamCloud
    OP
    Feb 28, 2017
    10
    @mingyun 新功能还会配视频的。
    GrahamCloud
    GrahamCloud
    OP
    Feb 28, 2017
    11
    @F0nebula 竖屏是不支持,弹出这个求问详细。
    Anine
    Anine
    Feb 28, 2017 via iPhone❤️1
    12
    有 API 吗
    GrahamCloud
    GrahamCloud
    OP
    Feb 28, 2017
    13
    @zhouxu417 马上会上,可以提需求一块琢磨。也欢迎加团队微信: Zaoshuio
    lingoerer
    lingoerer
    Feb 28, 2017❤️1
    14
    数据爬出来放 Excel 差评啊……
    GrahamCloud
    GrahamCloud
    OP
    Feb 28, 2017
    15
    @lingoerer 为啥差评,输出 还有很多其他格式可以选择啊。
    seiuneko
    seiuneko
    Feb 28, 2017❤️1
    16
    @GrahamCloud #11 好吧
    没有任务时一直弹出

    在 https://dashboard.zaoshu.io/
    seiuneko
    seiuneko
    Feb 28, 2017❤️1
    17
    GrahamCloud
    GrahamCloud
    OP
    Mar 1, 2017
    18
    @F0nebula 感谢,求加 微信: Zaoshuio
    NirvanaCN
    NirvanaCN
    Mar 1, 2017❤️1
    19
    上次抓 JD 的数据 抓了十分钟 什么也没抓到 还报错了
    GrahamCloud
    GrahamCloud
    OP
    Mar 1, 2017
    20
    @NirvanaCN 现在好了没有,没有就再解决一下。
    jijiwaiwai
    jijiwaiwai
    Mar 2, 2017❤️1
    21
    @NirvanaCN JD 有防爬虫机制,可以切换代理
    http://www.infosec-wiki.com/?p=344
    jijiwaiwai
    jijiwaiwai
    Mar 2, 2017❤️1
    22
    打造自己的云爬虫; http://www.infosec-wiki.com/?p=308
    GrahamCloud
    GrahamCloud
    OP
    Mar 2, 2017
    23
    @jijiwaiwai 文章很有意思。
    GrahamCloud
    GrahamCloud
    OP
    Mar 2, 2017
    24
    @jijiwaiwai 架构很有意思,求加微信: Zaoshuio
    Reign
    Reign
    Mar 3, 2017❤️2
    25
    一直搞不懂这种云爬虫优势在什么地方,实际爬网站的时候遇到的情况千变万化,控制频率、切换代理、验证码、邮箱验证、手机验证、伪装 header 等等,各种网站反爬虫系列一个比一个厉害,遇到没 header 的,加入黑名单,遇到只请求内容不请求 css 的,加入黑名单,遇到 phantomjs 的,加入黑名单,请求次数太猛的,加入黑名单。如果真的是爬一个简单的新闻页面, chrome 一个 F12 ,几分钟就创建一个爬虫,还需要在页面上点过去点过来啊?
    LittleWhiteMouse
    LittleWhiteMouse
    Mar 3, 2017❤️1
    26
    @Reign +1

    想爬的时候用它爬不成,不是工具不好,是肯定被各种反杀。

    可视化选择很好,但是想选中合适的元素并不容易,除非可以自己定制选择器……

    都这么麻烦了,自己写个油猴脚本也就把事情办了,效率是低了点,但是被杀的可能性也低了,工作量不是很大的情况已经足够用了
    GrahamCloud
    GrahamCloud
    OP
    Mar 3, 2017
    27
    @Reign 说的有道理,目前解决一些 完全没编程基础的 分析人士基本采集数据的需求,还是反响不错的。
    你说的反爬,验证,我们都会一个个完善的。
    欢迎加团队微信: Zaoshuio
    期待更多意见
    GrahamCloud
    GrahamCloud
    OP
    Mar 3, 2017
    28
    @LittleWhiteMouse 就是因为有反杀的才有一点商业价值啊, v2 都是程序员背景为主,其实还有很多人还是最原始的方式抓取信息。
    LittleWhiteMouse
    LittleWhiteMouse
    Mar 3, 2017❤️1
    29
    @GrahamCloud #28

    可以自己输入选择器么?作为高级功能,现在的可视选择很多情况下只是让人窝火
    GrahamCloud
    GrahamCloud
    OP
    Mar 3, 2017
    30
    @LittleWhiteMouse 暂时不会支持选择器功能,以后可能会上。
    Livid
    Livid
    MOD
    PRO
    Mar 6, 2017
    31
    duhai973
    duhai973
    Apr 22, 2017
    32
    高不成,低不就
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2951 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 50ms · UTC 12:46 · PVG 20:46 · LAX 04:46 · JFK 07:46
    ♥ Do have faith in what you're doing.