就是一个爬虫用,抓了数据进管道,然后另一端清洗归类存 SQL。 但抓的东西会分类,有没有可以分类,可以像 KAFKA 那样搞好几个主题分类,不同的数据进不同的管道,另一端也是不同的处理类模块接收处理?
其实 kafka 看上去极好,就是这种要单独运行一个服务的东西,真的不喜欢,又不是多大的项目,没必要啊。
就是一个爬虫用,抓了数据进管道,然后另一端清洗归类存 SQL。 但抓的东西会分类,有没有可以分类,可以像 KAFKA 那样搞好几个主题分类,不同的数据进不同的管道,另一端也是不同的处理类模块接收处理?
其实 kafka 看上去极好,就是这种要单独运行一个服务的东西,真的不喜欢,又不是多大的项目,没必要啊。
|
feverzsjNov 24, 2018
1
你建个表做消息队列不就好了
|
|
2
用 Redis 的 channel,够轻量吧
|
|
ericlsNov 24, 2018 via iPhone
3
Elixir/Erlang 自带的消息?
|
|
julyclydeNov 25, 2018
4
抗拒“独立运行一个服务”
试试 zeromq ? |
|
GooooooniXNov 25, 2018 via iPhone
5
NSQ,NATS,推荐用有赞自己 Fork 的 NSQ。。。
|
|
GooooooniXNov 25, 2018 via iPhone
6
@CodeCore 都是 Go 写的,很轻量。。。性能屌。NATS 更屌。。。
|
|
endoffightNov 25, 2018 via Android
7
beanstalk
|
|
BingoXuanNov 25, 2018
8
zmq ?
|