如何在RabbitMQ中实现同步生产者调用

qvk1mo1f  于 2022-11-08  发布在  RabbitMQ
关注(0)|答案(2)|浏览(131)

我目前正在RabbitMQ生产者-消费者设置中开发一个同步工作流。生产者将向队列发布消息,消费者完成处理并将结果返回给消费者大约需要6 - 8秒。然后生产者将获得结果并继续执行剩余的代码,* 这需要消费者提供结果 *。
我知道Message Queues是设计为同步的,但是有没有什么方法可以实现进程producer call -> consumer process -> consumer return result to producer synchronous?我四处搜索并找到了the tutorial from RabbitMQ docs,它在生成器端使用了一个忙循环来执行等待:
rpc_client.py(生产商)


# !/usr/bin/env python

import pika
import uuid

class FibonacciRpcClient(object):

    def __init__(self):
        self.connection = pika.BlockingConnection(
            pika.ConnectionParameters(host='localhost'))

        self.channel = self.connection.channel()

        result = self.channel.queue_declare(queue='', exclusive=True)
        self.callback_queue = result.method.queue

        self.channel.basic_consume(
            queue=self.callback_queue,
            on_message_callback=self.on_response,
            auto_ack=True)

    def on_response(self, ch, method, props, body):
        if self.corr_id == props.correlation_id:
            self.response = body

    def call(self, n):
        self.response = None
        self.corr_id = str(uuid.uuid4())
        self.channel.basic_publish(
            exchange='',
            routing_key='rpc_queue',
            properties=pika.BasicProperties(
                reply_to=self.callback_queue,
                correlation_id=self.corr_id,
            ),
            body=str(n))
        while self.response is None:
            self.connection.process_data_events()
        return int(self.response)

fibonacci_rpc = FibonacciRpcClient()

print(" [x] Requesting fib(30)")
response = fibonacci_rpc.call(30)
print(" [.] Got %r" % response)

rpc_server.py(消费者)


# !/usr/bin/env python

import pika

connection = pika.BlockingConnection(
    pika.ConnectionParameters(host='localhost'))

channel = connection.channel()

channel.queue_declare(queue='rpc_queue')

def fib(n):
    if n == 0:
        return 0
    elif n == 1:
        return 1
    else:
        return fib(n - 1) + fib(n - 2)

def on_request(ch, method, props, body):
    n = int(body)

    print(" [.] fib(%s)" % n)
    response = fib(n)

    ch.basic_publish(exchange='',
                     routing_key=props.reply_to,
                     properties=pika.BasicProperties(correlation_id = \
                                                         props.correlation_id),
                     body=str(response))
    ch.basic_ack(delivery_tag=method.delivery_tag)

channel.basic_qos(prefetch_count=1)
channel.basic_consume(queue='rpc_queue', on_message_callback=on_request)

print(" [x] Awaiting RPC requests")
channel.start_consuming()

但是我不认为忙循环while self.response is None:是一个好主意,因为它给运行这段代码的服务器增加了非常重的负载。我尝试使用锁在生产者端获取锁,并将锁对象发送到消费者端,这样消费者就可以在处理完成并释放锁时释放锁。然而,Python的RabbitMQ客户端Pika不允许在队列中传递锁定对象。
在这里,什么是避免忙等待以实现同步工作流的优雅方法?

6qfn3psc

6qfn3psc1#

消费者应该在 * 别处 * 发布结果,而生产者可以等待结果可用。注意,在AMQP消息代理中发布结果通常是个坏主意。
这是Celery中的 * 结果后端 * 的设计,所以我建议你做一些非常相似的事情,如果不立即安装Celery,放弃手动使用Pika。
https://docs.celeryq.dev/en/latest/userguide/tasks.html#result-backends

qqrboqgw

qqrboqgw2#

您发布的代码是正确的方式来做您想做的事情。如果您对while循环有问题,我建议您查看类似asyncio的事件循环。您可以为响应创建一个未来,并且只有当响应返回到回调队列时才能解决该未来。但最终还是一样的。事件循环是一个花哨的while True循环。
我也警告不要做这样的事情。公平的警告,如果你正在建立一个合适的系统,有很多事情要考虑...

相关问题