我目前正在RabbitMQ生产者-消费者设置中开发一个同步工作流。生产者将向队列发布消息,消费者完成处理并将结果返回给消费者大约需要6 - 8秒。然后生产者将获得结果并继续执行剩余的代码,* 这需要消费者提供结果 *。
我知道Message Queues是设计为同步的,但是有没有什么方法可以实现进程producer call -> consumer process -> consumer return result to producer
synchronous?我四处搜索并找到了the tutorial from RabbitMQ docs,它在生成器端使用了一个忙循环来执行等待:rpc_client.py
(生产商)
# !/usr/bin/env python
import pika
import uuid
class FibonacciRpcClient(object):
def __init__(self):
self.connection = pika.BlockingConnection(
pika.ConnectionParameters(host='localhost'))
self.channel = self.connection.channel()
result = self.channel.queue_declare(queue='', exclusive=True)
self.callback_queue = result.method.queue
self.channel.basic_consume(
queue=self.callback_queue,
on_message_callback=self.on_response,
auto_ack=True)
def on_response(self, ch, method, props, body):
if self.corr_id == props.correlation_id:
self.response = body
def call(self, n):
self.response = None
self.corr_id = str(uuid.uuid4())
self.channel.basic_publish(
exchange='',
routing_key='rpc_queue',
properties=pika.BasicProperties(
reply_to=self.callback_queue,
correlation_id=self.corr_id,
),
body=str(n))
while self.response is None:
self.connection.process_data_events()
return int(self.response)
fibonacci_rpc = FibonacciRpcClient()
print(" [x] Requesting fib(30)")
response = fibonacci_rpc.call(30)
print(" [.] Got %r" % response)
rpc_server.py
(消费者)
# !/usr/bin/env python
import pika
connection = pika.BlockingConnection(
pika.ConnectionParameters(host='localhost'))
channel = connection.channel()
channel.queue_declare(queue='rpc_queue')
def fib(n):
if n == 0:
return 0
elif n == 1:
return 1
else:
return fib(n - 1) + fib(n - 2)
def on_request(ch, method, props, body):
n = int(body)
print(" [.] fib(%s)" % n)
response = fib(n)
ch.basic_publish(exchange='',
routing_key=props.reply_to,
properties=pika.BasicProperties(correlation_id = \
props.correlation_id),
body=str(response))
ch.basic_ack(delivery_tag=method.delivery_tag)
channel.basic_qos(prefetch_count=1)
channel.basic_consume(queue='rpc_queue', on_message_callback=on_request)
print(" [x] Awaiting RPC requests")
channel.start_consuming()
但是我不认为忙循环while self.response is None:
是一个好主意,因为它给运行这段代码的服务器增加了非常重的负载。我尝试使用锁在生产者端获取锁,并将锁对象发送到消费者端,这样消费者就可以在处理完成并释放锁时释放锁。然而,Python的RabbitMQ客户端Pika不允许在队列中传递锁定对象。
在这里,什么是避免忙等待以实现同步工作流的优雅方法?
2条答案
按热度按时间6qfn3psc1#
消费者应该在 * 别处 * 发布结果,而生产者可以等待结果可用。注意,在AMQP消息代理中发布结果通常是个坏主意。
这是Celery中的 * 结果后端 * 的设计,所以我建议你做一些非常相似的事情,如果不立即安装Celery,放弃手动使用Pika。
https://docs.celeryq.dev/en/latest/userguide/tasks.html#result-backends
qqrboqgw2#
您发布的代码是正确的方式来做您想做的事情。如果您对
while
循环有问题,我建议您查看类似asyncio
的事件循环。您可以为响应创建一个未来,并且只有当响应返回到回调队列时才能解决该未来。但最终还是一样的。事件循环是一个花哨的while True循环。我也警告不要做这样的事情。公平的警告,如果你正在建立一个合适的系统,有很多事情要考虑...