这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
aidevs

奇思妙想:灵光闪现,想搞一个爬虫平台,有没有可能会火?

  •  
  •   aidevs · Nov 20, 2017 · 8319 views
    This topic created in 3271 days ago, the information mentioned may be changed or developed.
    (不喜勿喷:都说了是灵光闪现)

    想法是这样子的:

    首先有这样一个平台,可以让爬虫爱好者提交爬虫上来 (不仅仅是可以爬网站,还可以爬公众号、头条号 ====)

    比如:某爬虫爱好者,提交了一个 V2EX 最新帖子 和 最热帖子的爬虫进来

    然后:这个爬虫可以让其他用户订阅使用

    当聚集了一定的爬虫爱好者,每天会产生很多内容

    主要的意义:聚合碎片化的阅读,为用户节约时间

    当然一个平台需要不断的优化调整才能达到更好的体验,
    这只是一个小小的想法,不知道能吸引到人来写爬虫不
    44 replies  •  2017-11-25 20:38:13 +08:00
    Evrins
    Evrins
    Nov 20, 2017 via iPhone
    1
    好像已经有一个这样的网站了
    aidevs
    aidevs
    OP
    Nov 20, 2017
    2
    @Evrins 求地址
    NanamiMio
    NanamiMio
    Nov 20, 2017 via Android
    3
    @dbfox 即刻
    watzds
    watzds
    Nov 20, 2017 via Android
    4
    那么多爬虫 /反爬虫工程师,那么费劲,一定程度上共享得了
    lneoi
    lneoi
    Nov 20, 2017
    5
    已经有了...V 站里之前不就有在推广
    evlos
    evlos
    Nov 20, 2017
    6
    之前那个搞什么云爬虫的服务在 V2EX 做了那么多推广也没见人再提过 …
    aidevs
    aidevs
    OP
    Nov 20, 2017
    7
    @evlos
    @lneoi

    我也知道那个,用了两下,觉得可玩性不好,而且有点复杂了,不过技术应该很强
    而且他主要是做通用爬虫,而我倾向内容聚合,产品不在一个方向
    ywgx
    ywgx
    Nov 20, 2017
    8
    可爱的
    beastk
    beastk
    Nov 20, 2017 via iPhone
    9
    就怕被不法分子利用
    aidevs
    aidevs
    OP
    Nov 20, 2017
    10
    @ywgx ?_?
    aidevs
    aidevs
    OP
    Nov 20, 2017
    11
    @beastk 安全问题不必考虑太早,技术做产品大忌
    40huo
    40huo
    Nov 20, 2017
    12
    之前好像看到过一个做了个框架,然后上面有各种人写的爬虫,还有些是付费的。
    liangjing414
    liangjing414
    Nov 20, 2017
    13
    网上 搜 “神箭手”,不谢
    qiqico
    qiqico
    Nov 20, 2017
    14
    有个网站 showapi, 提供很多接口调用,其中也包括一些爬虫接口,还可以在线自定义爬取规则
    ersic
    ersic
    Nov 20, 2017 via Android
    15
    @dbfox 聚合话应该就是即刻了
    cheetah
    cheetah
    Nov 20, 2017
    16
    1931
    1931
    Nov 20, 2017 via iPhone
    17
    深蓝阅读?
    em70
    em70
    Nov 20, 2017
    18
    很早前就见过,主打不是共享,而是傻瓜化爬取,还是工具型的产品,不吸引人.

    按楼主的想法,应该是数据驱动的,核心是爬取的数据共享,比工具共享要好,可以试试
    110male
    110male
    Nov 20, 2017
    19
    管理,封他账号,他要爬 v2ex
    aidevs
    aidevs
    OP
    Nov 20, 2017
    20
    @110male
    ^_^

    只爬列表,不抓取内页,最终访问地址还是到源网站上
    weer0026
    weer0026
    Nov 20, 2017
    21
    这个让我想起来 golang 的爬虫框架 pholcus 了,思路很像。
    wmhx
    wmhx
    Nov 20, 2017
    22
    haker
    haker
    Nov 20, 2017
    23
    八爪鱼
    QQ2171775959
    QQ2171775959
    Nov 20, 2017
    24
    爬一下爬,要是能汇聚一批人和信息的也是有一点用处的
    fiht
    fiht
    Nov 20, 2017
    25
    提交了一个爬虫上来:
    提交的爬虫放在你的服务器上跑么...
    不如 rss 靠谱
    ThinkMan
    ThinkMan
    Nov 20, 2017
    26
    几个月前,我也有这种想法。一模一样。
    Zzzzzzzzz
    Zzzzzzzzz
    Nov 20, 2017
    27
    秒变分布式 CC 平台.....
    aidevs
    aidevs
    OP
    Nov 20, 2017
    28
    @ThinkMan 搞个爬虫,以虫会友
    @fiht 也可以在我家用电脑上跑,跑好了提交给服务器也可以,具体没想那么多细节
    wulin
    wulin
    Nov 20, 2017
    29
    订阅 1024
    Shura
    Shura
    Nov 20, 2017❤️1
    30
    v 站有人做了个自动签到平台就是这个思路,我发现最难的是“某爬虫爱好者,提交了一个 V2EX 最新帖子 和 最热帖子的爬虫进来 ”,很难做到让人提交爬虫脚本,到最后平台基本也就是作者自己提供的脚本最多了。
    looplj
    looplj
    Nov 20, 2017
    31
    神箭手
    qfdk
    qfdk
    PRO
    Nov 21, 2017 via iPhone❤️1
    32
    跳蚤大神不是早就搞了 这轮子不用造了
    Arnie97
    Arnie97
    Nov 21, 2017 via Android
    33
    这根 RSS 有什么本质差别…
    yech1990
    yech1990
    Nov 21, 2017 via Android
    34
    Google 阅读器还在的时候,google 和 yahoo 有类似的实现。Google RSS 关闭后,我也有和楼主一样的想法。

    虽然现在有一些类似的方案,但都是闭源收费的服务为主。

    之前打算在 github 开个 organization, 分享一些爬虫代码,定义一套接口规范,最终输出类似 RSS 的 xml 格式。

    零散写了一些脚本后就放弃了。一方面工程浩大,一方面代码水平太差,一个人连 demo 都实现不了,实现不了 demo 的话,不可能有其他人贡献代码。另外就是现在 RSS 阅读似乎是时代的逆流了,不知几年后 RSS 的用户,也就没太多折腾的动力了。

    楼上很多推荐聚合阅读的,应该是没明白楼主的出发点吧。。。
    naiba
    naiba
    Nov 21, 2017 via Android
    35
    即刻+1
    Norie
    Norie
    Nov 21, 2017
    36
    即刻+2
    Aresn
    Aresn
    Nov 21, 2017
    37
    你听说过 feedly 吗
    haogefeifei
    haogefeifei
    Nov 21, 2017
    38
    即刻+3
    haozhu
    haozhu
    Nov 21, 2017
    39
    即刻+4
    dorothyREN
    dorothyREN
    Nov 21, 2017
    40
    我看行
    forestyuan
    forestyuan
    Nov 21, 2017
    41
    这样做会不会有法律风险?
    yangxiongguo
    yangxiongguo
    Nov 22, 2017
    42
    今天头条?
    chenyu8674
    chenyu8674
    Nov 22, 2017
    43
    还不如建个爬虫开发者与反爬虫工程师的约架网站
    dreamin
    dreamin
    Nov 25, 2017
    44
    我直接贴个网址吧,先说不是为了推广。我也是之前网上搜的,用过。http://www.shenjianshou.cn/index.php?r=market/productList
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1462 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 115ms · UTC 19:41 · PVG 03:41 · LAX 11:41 · JFK 14:41
    ♥ Do have faith in what you're doing.