python rq 的这个库，可以用于分布式吗？

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3758 days ago, the information mentioned may be changed or developed.

github

查了很多资料，中文资料基本都说可以，但是英文资料基本没有出现过，其可以用作分布式队列处理。即使官方给出的 docs 上也没有说过， v2 上有用过它作分布式处理的吗？

分布式处理要求也就一个 master 进行 enqueue ，多个 worker(多个主机 /ip)进行 dequeue

如果这个不行的话，有什么好用的比较好的分布式处理框架吗?

分布式

处理

资料

dequeue

6 replies • 2016-07-31 01:58:42 +08:00

linnchord

Jul 29, 2016

不能吧，至少官方没有提供。

这个库设计目的就是最简化队列功能，需要分布式建议 celery 。

wuxqing

Jul 30, 2016

可以，你看他自带的例子：
https://github.com/nvie/rq/tree/master/examples

run_worker.py 可以运行在多台主机上

R4rvZ6agNVWr56V0

Jul 30, 2016

只能应付简单的异步计算需求而已。复杂的分布式计算不是很靠谱（因为 rq 实在是太简单了，个人认为它缺少资源调度、稳定性保障和监控机制），而且对中文支持有 bug ，提交过 patch 忘记作者合了没有。

petelin

Jul 30, 2016 via Android

跑肯定能跑，你在本地启动 worker 的时候跟在不在一台机器上有关系？指定 redis 地址就得了。

xinali

Jul 31, 2016 via Android

@GeekGao 你有什么好的分布式方案吗？

R4rvZ6agNVWr56V0

Jul 31, 2016

@xinali Celery+Flower