jakeyfly
V2EX  ›  问与答

RQ kafka 都太大了,有没有轻量一点的管道啊

  •  
  •   jakeyfly · Nov 24, 2018 · 3215 views
    This topic created in 2902 days ago, the information mentioned may be changed or developed.

    就是一个爬虫用,抓了数据进管道,然后另一端清洗归类存 SQL。 但抓的东西会分类,有没有可以分类,可以像 KAFKA 那样搞好几个主题分类,不同的数据进不同的管道,另一端也是不同的处理类模块接收处理?

    其实 kafka 看上去极好,就是这种要单独运行一个服务的东西,真的不喜欢,又不是多大的项目,没必要啊。

    8 replies  •  2018-11-25 20:04:57 +08:00
    feverzsj
    feverzsj
    Nov 24, 2018
    1
    你建个表做消息队列不就好了
    fsneak
    fsneak
    Nov 24, 2018 via Android❤️1
    2
    用 Redis 的 channel,够轻量吧
    ericls
    ericls
    Nov 24, 2018 via iPhone
    3
    Elixir/Erlang 自带的消息?
    julyclyde
    julyclyde
    Nov 25, 2018
    4
    抗拒“独立运行一个服务”
    试试 zeromq ?
    GooooooniX
    GooooooniX
    Nov 25, 2018 via iPhone
    5
    NSQ,NATS,推荐用有赞自己 Fork 的 NSQ。。。
    GooooooniX
    GooooooniX
    Nov 25, 2018 via iPhone
    6
    @CodeCore 都是 Go 写的,很轻量。。。性能屌。NATS 更屌。。。
    endoffight
    endoffight
    Nov 25, 2018 via Android
    7
    beanstalk
    BingoXuan
    BingoXuan
    Nov 25, 2018
    8
    zmq ?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1291 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 22:21 · PVG 06:21 · LAX 14:21 · JFK 17:21
    ♥ Do have faith in what you're doing.