V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  misoomang  ›  全部回复第 2 页 / 共 2 页
回复总数  26
1  2  
是否可以采用 MySQL 临时表的方案解决该问题

所有的表数据查询后都汇总到临时表中,然后在临时表进行 join 、aggregate 的操作,断开数据库连接后临时表也会自动回收掉
2023 年 11 月 8 日
回复了 misoomang 创建的主题 推广 新鲜赣南脐橙,口感绝佳!欢迎新老 V 友尝鲜呀
第一次发帖还没写好不小心点了发送,麻了
2023 年 11 月 7 日
回复了 stonesirsir 创建的主题 Python Python |图中这样的数据怎么高效存取
https://docs.celeryq.dev/en/stable/userguide/canvas.html#chords

菜鸟一枚,方案不夕勿喷,个人觉得可以采用 celery chord 的方式进行处理,它会等待所有的子任务处理完毕以后触发回调的方法

子任务可以做字段选择和字段去重工作,大致思路是这样
result1 = chord(处理数据源 1 ,处理数据源 2)(记录连接 1 方法)
result2 = chord(处理数据源 3 ,处理数据源 4)(记录连接 2 方法)
reslut3 = chord(result1, result2)
集群里每新增一个 Service 在每个宿主机的 iptables 都会增加一条 iptables 规则,而每条 iptables 规则都有与 Pod 对应的集合

所以 Service 多了 iptables 会变多,Pod 多了对应的规则维护与 Pod 对应关系的集合也会多

故都有关系
2023 年 10 月 25 日
回复了 AboPlus 创建的主题 程序员 1024 快乐!请教下各位大佬一个关于 celery worker 的问题!
似乎使用 celery 的 chord 方法场景更合适,可以并发处理任务的结果,当所有结果准备好以后进行回调做顺序的编排

https://docs.celeryq.dev/en/stable/userguide/canvas.html#chords
2023 年 9 月 4 日
回复了 lzjunika 创建的主题 Python celery 为何部署到服务器上变成同步阻塞了
作为菜鸡提出的验证想法:可以写一个 @worker_process_init.connect() 写个方法打印日志,确定是否有多个 worker

猜想:在服务器上从上面看上传 test_8.png 任务是执行了 0.08s ,间隔接收 test_9.png 有 2s 的时间间隔,是否会是 io 的影响导致接收图片过慢,导致第一个任务再 worker1 执行,第二个任务也在 worker1 中执行
1  2  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2638 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 283ms · UTC 12:11 · PVG 20:11 · LAX 05:11 · JFK 08:11
♥ Do have faith in what you're doing.