我创建了一个aws msk群集,并通过在同一vpc中运行ec2生产者/消费者示例测试了设置。我使用同一vpc和子网创建了一个aws lambda,其中msk群集主题作为事件源。我的所有子网都是专用子网。
群集设置工作正常,因为我已经从ec2示例验证了相同的设置。lambda总是被禁用,并出现一个错误“last processing result:problem:connection error.please 检查事件源连接配置。
我在下面的aws博客中看到,我们需要一个nat网关,在每个配置msk群集的区域的公共子网中运行,以确保连接。这是我需要尝试做的事情吗?我仍然不明白在同一个vpc和子网中运行的ec2示例如何能够访问msk群集而不是我的lambda。有人可以吗救命啊?
https://aws.amazon.com/blogs/compute/using-amazon-msk-as-an-event-source-for-aws-lambda/
换言之,我有多个kafka主题,我需要从中使用数据并将它们接收到elasticsearch群集。我可以选择在ec2中运行kafka connect接收器,还可以创建一个以msk主题作为事件源的aws lambda。我知道我可以在aws lambda中配置多个msk主题。有人能建议哪种方法比较好吗?
1条答案
按热度按时间llmtgqce1#
您是否将lambda函数部署在与msk集群相同的子网/vpc中?